目  录

一、 建设背景 5

二、 建设目标 6

三、 建设必要性 6

四、 存在问题 7

五、 总体架构 8

六、 总体建设方案 8

6.1. 监测预警平台 8

6.1.1. 日常监督管理 8

6.1.2. 信息采集管理 9

6.1.3. 监测预警管理 10

6.2. 城市指挥调度平台 14

6.2.1. 可视化指挥调度平台 14

6.2.2. 协同工作子系统 35

6.2.3. 综合评价子系统 38

6.2.4. 督查监管子系统 41

6.2.5. 考勤管理子系统 43

6.3. 综治专题 44

6.3.1. GIS全景分析 44

6.3.2. 大数据分析 46

6.3.3. 网格化治理 47

6.3.4. 综治管理 52

6.3.5. 事件管理 55

6.3.6. 工作管理 56

6.3.7. 政务管理 59

6.4. 市场监管专题 61

6.4.1. 企业信用监管 61

6.4.2. 市场监管投诉举报中心 61

6.4.3. 明厨亮灶监管 65

6.4.4. 智慧农贸市场监管 69

6.4.5. 智慧药品监管 78

6.4.6. 智慧电梯安全监管 86

6.4.7. 智慧叉车监管 92

6.4.8. 智慧压力管道监管 95

6.5. 城管专题 102

6.5.1. 城市服务与管理综合指挥 103

6.5.2. 城市建设与管理业务信息 103

6.5.3. 市政园林管理 103

6.5.4. 智慧城市综合执法信息 104

6.5.5. 公共安全事件应用处置信息 104

6.5.6. 智慧城管大数据分析决策系统 105

6.5.7. 智慧城管应急指挥 105

6.6. 城市大脑 106

6.6.1. 可视化展示平台 106

6.6.2. 大数据分析平台 116

6.7. 大数据中心平台 119

6.7.1. 应用系统 121

6.7.2. 数据流程 129

6.7.3. 数据库系统 183

七、 实施培训方案 185

7.1. 项目实施方案 185

7.1.1. 项目实施的方式和策略 185

7.1.2. 项目实施的内容和阶段划分 186

7.1.3. 技术文档提交 186

7.2. 项目培训方案 187

7.2.1. 培训目的 187

7.2.2. 培训原则 187

7.2.3. 培训对象 188

7.2.4. 培训计划及方式 188

八、 风险与风险管理 190

8.1. 风险识别和分析 190

8.1.1. 技术风险 190

8.1.2. 管理风险 190

8.1.3. 组织风险 191

8.2. 风险对策和管理 191

8.2.1. 技术风险对策 191

8.2.2. 管理风险对策 192

8.2.3. 组织风险对策 192

一、总体架构

一网通管整体架构图

一.1.1.1.数据汇集流程

图1 数据汇聚架构图

数据汇集，共享交换平台充分利用现有网络资源建设（原则上依托国家外网），提供部门业务数据等信息。在数据共享平台基础上，依托统一信息资源目录，通过与国家级平台和地市级平台的数据交换，实现各个部门单位基础信息共享、用户认证信息交互、证照信息共享、办件信息交换、统计分析和监督考核等。

一.1.1.2.数据接入流程

图1 数据接入流程图

数据接入系统提供多种数据采集接口，包括：数据ETL平台接入处理、人工上传文件数据、互联网数据采集等。

采用ETL平台从业务系统数据库中抽取全量数据和定时抽取增量数据，将抽取的数据加载到大数据集群的源数据池中，并生成数据接入处理统计报告；通过ETL平台对源数据池数据进行质量检查、清洗加工处理，并生成数据质检/清洗加工统计报告；再通过ETL平台对已清洗数据进行整合加工处理；最后，在数据资产目录上发布以供业务人员查阅。

一.1.1.2.1.数据治理流程

图2 数据治理流程图

数据治理涉及的IT技术主题众多，包括元数据治理，数据标准管理，数据质量管理，主数据管理，数据安全管理等。

元数据：元数据要求数据元素和术语的一致性定义，它们通常聚集于业务词汇表上。

数据标准：对于数据而言，建立统一的业务术语非常关键，如果这些术语和上下文不能横跨整个企业的范畴，那么它将会在不同的业务部门中出现不同的表述。

生命周期管理：数据保存的时间跨度、数据保存的位置，以及数据如何使用都会随着时间而产生变化，某些生命周期管理还会受到法律法规的影响。

数据质量：数据质量的具体措施包括数据详细检查的流程，目的是让业务部门信任这些数据。数据质量是非常重要的，极大提升了治理的水平。

一.1.1.1.1.1.1.数据采集方案

Ø 结构化数据加载

在Oracle、DB2、Mysql等传统关系型数据库以及MongoDB等NoSQL数据库上的产生结构化数据需要迁移到Hadoop平台上Inceptor表、Hyperbase表或者Elastic Search表中进行数据分析或者检索，TDH上支持各类结构化数据的加载，支持灵活通用的数据格式描述，包括数据包含的字段、各字段的分隔符、字段类型等。支持传输的带分隔符的元组序列，每个元组的字段结构相同，由指定的分隔符分隔。支持的字段类型包括：整数（最长8字节）、浮点数、字符串、日期、时间等。在Inceptor中定义相关的表结构，Inceptor中支持整形、浮点数、字符串以及日期和时间等常用的简单字段类型以及Map、Array、Struct等复杂的数据类型。

通过Sqoop生成分布式任务对数据进行高效抽出同步，或者通过TDA组件对关系型数据库中的表进行准实时同步插入更新删除等数据操作；业务平台实时产生的结构化日志或者消息通过Flume分布式日志实时采集工具加载到TDH平台上HDFS、ElasticSearch、Hyperbase或者Kafka数据队列中；加载到HDFS上的数据，通过Inceptor SQL进行数据处理或者在Discover中进行数据挖掘和机器学习。加载到Hyperbase中的数据可以通过Inceptor进行后模糊或精确匹配的高并发检索查询。加载到ElasticSearch中的数据可以通过Inceptor进行前模糊、后模糊、范围检索、关键字检索、全文检索等。在千兆网络下，ElasticSearch的数据入库速度为单节点20000条每秒。

业务系统定义数据格式，数据源（数据库或者结构结构化文件），数据存储端（HDFS、ElasticSearch、Holodesk、Hyperbase等），数据调度方式，数据同步方式等，TDH上根据定义的数据加载方式为该任务自动配置数据处理的数据源、中间件（Sqoop、TDA、API/REST API、FTPOverHDFS、JDBC/ODBC、Flume或Kafka等）、存储以及处理方式等，启动相应的Oozie工作流任务或者中间件的调度任务，并对数据的加载、传输以及处理入库全流程进行监控和记录。

一.1.1.1.1.1.1.数据质量管理

大数据平台数据规模庞大，需要对说质量进行严格管控。能够根据预设的规则来检测数据中的质量问题，检测规则可自主配置，系统提供默认的规则模板，用户也可以自主编写规则表达式。数据质量监控与调度系统强耦合，发现脏数据可实现事中拦截，避免错误的数据流入下游应用。

数据发生变化的时候，则会触发数据质量的校验逻辑，对数据进行校验，帮助用户避免脏数据的产生和质量不高的数据对整体数据的污染，同时需要保留所有规则的历史检验结果，以方便用户对数据的质量进行分析和定级。

数据质量需要提供了配置规则、按照各种力度查看历史校验结果，订阅表的数据质量报警等等能力。当检测规则校验不通过时，可通过在线展示、邮件、短信、手机等途径发出告警。检测规则的校验结果被永久性保留下来，以便日后分析和规则优化。系统也应提供页面展示报告，针对单个节点或整体项目的数据质量进行统计分析。支持图表格式，支持查询。

图 数据质量管理流程图

数据质量监控能力应与调度系统强耦合，在调度系统执行完成一个节点后，立即启动针对该节点的数据质量监控，监控规则支持拦截模式/非拦截模式，在拦截模式下，一旦检测规则校验不通过，则调度任务状态被置成失败，从而避免错误的数据流入下游应用。零延时的统计数据采集模块，数据落地，校验即完成。

下载完整方案，转发+点赞+评论，私信获取方案。
文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。