摘要
时代在飞速进步,每个行业都在努力发展现在先进技术,通过这些先进的技术来提高自己的水平和优势,美团美食销售数据分析与可视化系统当然不能排除在外。本次我所开发的美团美食销售数据分析与可视化系统是在实际应用和软件工程的开发原理之上,运用Python语言、爬虫技术、数据可视化技术以及Django框架进行开发,可以让管理员实现对个人中心、美食信息管理、系统管理等功能的操作。在系统开发之前首先要进行需求分析,分析出美团美食销售数据分析与可视化系统的主要功能,然后设计了系统结构。整体设计包括系统的功能、系统总体结构、系统数据结构和对系统安全性进行设计;最后要对系统进行测试,还要对测试的结果进行总结和分析,为以后系统的维护提供方便,也为以后类似系统的开发提供参考和帮助。这种个性化的网络系统管理更重视相互协调和管理合作,能激发管理者的创造性和主动性,这对美团美食销售数据分析系统来说非常有益。
绪 论
1.1 课题的研究背景 美团美食销售数据分析与可视化系统主要通过计算机网络,对所需的信息进行统一管理,方便管理员随时随地进行增添、修改、查询、删除各类信息。本系统极大的促进了系统与数据库管理系统软件之间的配合,满足了绝大部分用户的需求,给用户带来了很大的便利。以现在计算机的技术的应用,使计算机成为人们使用现代发达技术的桥梁。计算机可以有效的解决信息,十分方便的获取信息,从而提高工作的效率。
1.2 课题研究目的 全球经济在快速的发展,中国更是进步飞速,这使得国内的互联网技术进入了发展的高峰时期,这让中外资本不断转向互联网这个大市场。在这个信息高度发达的现在,利用网络进行信息管理改革已经成为了人们追捧的一种趋势。“美团美食销售数据分析与可视化系统”是运用Python语言、爬虫技术、数据可视化技术和Django框架,以MySQL数据库为基础而发出来的。可以实现管理员在线进行实现对个人中心、美食信息管理、系统管理等功能的管理。为保证我国经济的持续性发展,必须要让互联网信息时代在我国日益壮大,蓬勃发展。伴随着信息社会的飞速发展,美团美食销售数据分析与可视化系统所面临的问题也一个接一个的出现,所以现在最该解决的问题就是信息的实时查询和访问需求的问题,以及如何利用快捷便利的方式让访问者在广大信息系统中进行查询、分享、储存和管理。这对我们的现实生活中具有非常重要的意义,所以美团美食销售数据分析与可视化系统诞生了。
1.3 课题的研究意义 大数据时代已经到来,网络爬虫技术已成为这个时代不可或缺的一项技术,企业需要数据来分析用户行为、产品的不足之处以及竞争对手的信息等,而这一切的首要条件就是数据的采集。在互联网社会中,数据是无价之宝,一切皆为数据,谁拥有了大量有用的数据,谁就拥有了决策的主动权。如何有效地采集并利用这些信息成了一个巨大的挑战,而网络爬虫是自动采集数据的有效手段。网络爬虫是一种按照一定的规则,自动抓取互联网海量信息的程序或脚本。网络爬虫的应用领域很广泛,如搜索引擎、数据采集、广告过滤、大数据分析等。本次使用Python技术加网络爬虫技术,可以实现管理员对美食信息的快速管理,对美食行业的发展来说,是一个非常有意义的创新。
相关技术
本美团美食销售数据分析与可视化系统的数据库采用的是MySQL数据库,并且选择了Python语言、爬虫技术、数据可视化技术和Django框架进行开发项目,在项目开发过程中,实现了系统功能模块的安全性、实用性、稳定性、易维护和页面简单等特点。
2.1 Python简介 网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。Python 属于一个高层次的脚本语言,以解释性,编译性,互动性和面向对象相结合。在设计上相比其他语言,它更具有特色语法结构,很强的可读性。 Python语言之所以如此广泛的被使用是由其自身的优势所决定的,首先它的兼容性非常的好可以实现跨平台的使用,互联网络的出现使人们进行信息传递有了更多的方法,使信息资源得到了最大限度的共享,人与人之间的交流变得更加方便,打破了地域对信息传递的束缚,为人们生活带来了极大的便利。虽然Python语言在当今已经发展非常 成熟,但是它并不是完美无缺的,需要研发人员不懈的努力来使其更加完善。
2.2 Django框架 Django是一种开源的大而且全的Web应用框架,是由Python语言来编写的。他采用了MVC模式,Django最初是被开发来用于管理劳伦斯出版集团下的一些以新闻为主内容的网站。一款CMS(内容管理系统)软件。并于 2005 年 7 月在 BSD 许可证下发布。这套框架是以比利时的吉普赛爵士吉他手 Django Reinhardt 来命名的。 Django是Python语言中的一个web框架,并遵循MVC设计。Python语言中主流的web框架有Django、Tornado、Flask 等多种,Django相较与其它WEB框架,其优势为:大而全。Django的主要目的是简便、快速的开发数据库驱动的网站。接下来介绍Django的优点: (1)路由配置(URLConf):Django的URL设置更加灵活优雅,看似复杂难懂,但使用的都是简单的正则表达式,你可以随心所欲的创造优美的、简洁的、专业的地址。 (2)模板(Template):模板可以理解为承载数据的工具,为了将数据从视图中分离出来,通过各种各样的标签来进行数据的传输。Django的模板融入了面向对象中继承的思想,提高了复用减少冗余代码。
(3)视图(View):视图就是views.py中的函数,也就是逻辑代码,为了将URL和视图关联起来,用到了上述的URLConfs,URLConfs将URL模式映射到视图中,每个视图有两件事是必须要做的:返回一个包含被请求页面的HttpResponse对象,或者抛出一个异常。 (4)后台管理系统(Django-Admin):Django提供的一个基于Web的管理工具。Django-Admin来自django.contrib也就是Django的标准库,默认被配置好,只需要激活启用即可,它的优势在于可以快速对数据库的各个表进行增删改查,一行代码即可管理一张数据库表,相比于手动后台1个模型一般需要4个urls,4个视图函数和4个模板,可以说Django完成了一个程序编写的大部分重复工作,并且对于图书管理这种以管理工作为重系统来说,极度契合。 (5)应用(Application):当项目规模过大时,难免会产生目录过长,文件过多的问题,Django理念中的App可以将项目相对独立的进行开发,插拔的工作方式和独立性让开发者废弃的App即使删除也不会影响整体,是一种不可多得的理念。 因为本次使用的Python版本为3.6.4,低版本的Django不支持Python3,故此次使用的Django版本为3.2.12。
2.3 网络爬虫简介 网络爬虫是一种很好的自动采集数据的通用手段。它主要分为4种类型,分别是:聚焦网络爬虫、增量抓取、表层网页、深层网页。 ①聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序,而通用网络爬虫则是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分,主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 ②增量抓取意即针对某个站点的数据进行抓取,当网站的新增数据或者该站点的数据发生变化后,自动地抓取它新增的或者变化后的数据。 Web页面按存在方式可以分为表层网页(surface Web)和深层网页(deep Web,也称invisible Web pages或hidden Web)。 ③表层网页是指传统搜索引擎可以索引的页面,即以超链接可以到达的静态网页为主来构成的Web页面。 ④深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的,只有用户提交一些关键词才能获得的Web页面。 本次使用的爬虫技术是聚焦网络爬虫,通过搜索引擎,抓取相关旅游信息,下载到本地,形成互联网内容的镜像备份,提供用户浏览、查看。
2.3 网络爬虫简介 网络爬虫是一种很好的自动采集数据的通用手段。它主要分为4种类型,分别是:聚焦网络爬虫、增量抓取、表层网页、深层网页。 ①聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序,而通用网络爬虫则是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分,主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 ②增量抓取意即针对某个站点的数据进行抓取,当网站的新增数据或者该站点的数据发生变化后,自动地抓取它新增的或者变化后的数据。 Web页面按存在方式可以分为表层网页(surface Web)和深层网页(deep Web,也称invisible Web pages或hidden Web)。 ③表层网页是指传统搜索引擎可以索引的页面,即以超链接可以到达的静态网页为主来构成的Web页面。 ④深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的,只有用户提交一些关键词才能获得的Web页面。 本次使用的爬虫技术是聚焦网络爬虫,通过搜索引擎,抓取相关旅游信息,下载到本地,形成互联网内容的镜像备份,提供用户浏览、查看。
系统整体功能图
管理员登录界面图
管理员功能界面图
美食信息管理界面图
看板界面图
看板界面图
部分数据库表
字段名称 |
类型 |
长度 |
字段说明 |
主键 |
默认值 |
id |
bigint |
主键 |
主键 |
||
addtime |
timestamp |
创建时间 |
CURRENT_TIMESTAMP |
||
dianming |
varchar |
200 |
店名 |
||
zhaopaicai |
varchar |
200 |
招牌菜 |
||
diqu |
varchar |
200 |
地区 |
||
pingfen |
float |
评分 |
|||
pingjunjiage |
float |
平均价格 |
|||
zuidijiage |
float |
最低价格 |
|||
pinglunshu |
float |
评论数 |
|||
lsyhl |
float |
历史优惠量 |
|||
taocanming |
varchar |
200 |
套餐名 |
||
taocanjia |
float |
套餐价 |
结论
本系统是采用Python语言,爬虫技术、数据可视化及Django框架构建的一个操作管理系统,选择的数据库是MySQL。整个过程先是通过整体的系统分析,来确定本系统的可行性是否达标。为了满足管理员的需求以及提高管理员的工作效率,通过系统所要实现的功能分析,决定了管理员要实现的功能。之后就是精细各个模块的具体功能,定义管理员们的权限,分割个人中心、美食信息管理、系统管理等模块。之后通过系统测试来确保数据的准确性和操作的准确性,发现错误并立即做出了改正。 系统本身提供一个关于美团美食销售数据分析与可视化管理的平台,管理员可以通过平台清晰、直观了解美团美食销售数据。 关于美团美食销售数据分析与可视化系统的设计还是有很多不足的地方,缺少用户的模块功能,可以设置用户功能模块,让用户登录后也可以查看美食销售数据详情。 在本次项目设计中,完成了大大小小的模块,系统设计的调查,数据的分析,在安装软件方面,选择版本问题困扰了我很久,后来找相关的网站介绍,了解了各个版本的利与弊,最后完善了本次设计。美团美食销售数据分析与可视化系统的系统设计选择了Python开发工具,和MySQL数据库对前后台的数据交互进行分析保存,使用MySQL数据库可以是程序运行更加的安全且稳定,从而实现并完善系统的开发。