内容:第5章 大数据分析平台实践
时间:2022年8月7日
5.1 大数据分析平台的前世今生
5.1.1 大数据分析平台构建的背景
构建一个大数据分析平台，结合多个业务系统，从中抽取海量数据进行管理、整合、分析和利用；从中发现潜在问题和有价值的规律，并通过可视化的方式进行展现；能够为管理层提供科学决策的支持，提升企业的业务能力和效益，确保数据驱动业务增长。
因此，大数据分析平台可以使企业对数据、效率的要求逐步提高。企业构建大数据分析平台，归根到底是构建企业的数据资产运营中心，发挥数据的价值，支撑企业业务的飞速发展。
关于大数据分析平台：
从名字可知，他是由大数据+分析构成的——数据的价值发挥、大数据分析平台的建设是相辅相成的，大数据分析平台会把业务分析结果和商业价值通过平台的形式更友好地展现给用户。
1.BI（Business Intelligence，商业智能）先于大数据出现。
2.两者是紧密关联的、相辅相成。BI如果没有业务管理的应用工具，也不产出任何的商业分析，大数据就没有价值转化的工具，就无法把数据的价值呈现给用户，也就无法有效地支撑企业经营管理决策； 同时，大数据是基础，没有大数据，商业智能就失去了存在的基础，没有办法快速、实时、高效地处理数据，支撑应用。
大数据平台的功能应用
大数据分析平台要实现数据的共享和交换，将各个应用系统的数据进行集成和整合，使来源各异、种类不一的各类数据可以相互使用，丰富数据的来源，能够把各个业务数据串联起来，实现数据的共享和应用。
大数据平台与数据挖掘分析，之间的功能实现
大数据分析平台在底层，采用大数据主流的框架和系统对数据进行统一存储，为数据的挖掘和分析打好基础。最后，大数据分析平台提供大数据分析与决策能力。大数据分析平台采用数据挖掘、数理统计等相关技术，构建大数据分析框架，提取数据中隐含的、未知的、极具潜在应用价值的信息和规律，为企业的各项工作提供决策和指导。
图5-1所示为大数据使用的金字塔模型，数据基本有以下使用流程
自上而下：
- 数据量增大；
- 数据维度增多，对每一层的数据要求也不一样，而且越往下层深入；
- 获取数据的门槛变高，需要更专业的大数据工程师参与；
- 对用户越不友好，获取数据的效率和可视化程度会越低；
5.1.2 企业实现大数据分析平台的方式
通过前面介绍的数据仓库和大数据管理系统等方式，已经可以对数据进行有效的存储和管理了。然而，这些海量的数据并没有得到有效的统计分析和展现，并没有对业务形成有价值的数据支撑。
企业对大数据分析平台的应用目前主要有以下三种：
（1）【前人栽树，后人乘凉】在开源产品上搭建大数据分析平台。
优点：前期可以迅速搭建一个可用的大数据分析平台。
缺点：1.准备工作繁琐，需要对“开源产品”的细节了解得比较清楚
2.如果后期根据业务做自定义扩展或者维护变更，则需要修改源码.
补充: 现在市场上主流的在开源产品上搭建的大数据分析平台主要有Airbnb开源的Superset、Grafana等。
（2）【有钱能使鬼推磨】商业版付费大数据分析平台。
现在市面上有很多比较通用的BI分析平台:
例如比较流行的Tableau、BDP等;
从埋点开始,全流程数据服务的GrowingIO、神策数据等。
适用于: 没有研发资源投入的企业，可以考虑采用商业软件服务，还包括一些定制的业务分析等，这些公司一般会根据企业的数据量级收费。
（3）【君子以自强不息】自建大数据分析平台。
现状: 现在很多中型以上的公司，都会配备自己的大数据部门进行数据的存储、清洗、分析、展现等工作，也有足够的研发实力自建大数据分析平台.
优点: 可以根据自己的业务定制开发，实现满足自身业务需求的平台;
缺点 当然就是要投入一定的研发资源，前期需要有一定的技术积累。
无论用哪种方式实现大数据分析平台，都要满足三大构建原则，以确保大数据分析平台的实用性。
（1）安全性。大数据分析平台应采取安全性高的访问认证机制，同时在平台建设中要充分重视系统自身的安全性，并保证数据的安全性。
（2）可扩展性。大数据的分析和应用是一项长期持久的工作，随着业务的变化，企业对于大数据分析平台的功能和要求也会不断变化。因此，要求平台的设计和研发要具有良好的扩展性，以满足业务不断发展变化的要求。
（3）灵活性。在平台的设计和实施中要考虑与其他应用系统的整合，能够实现多种类型的接口，并可以灵活地接入其他系统中，拓展服务类型和服务能力。
5.2 大数据分析平台应用实战
5.3 移动端大数据分析平台
[详见原著,本文不做陈述]
5.4 大数据分析平台走进传统行业
随着移动互联网红利的消退，各大企业纷纷开始注重2B业务的发展，并加速向传统产业渗透，驱动生产方式和管理模式变革，推动制造业向网络化、数字化和智能化方向发展。在这个过程中，大数据分析平台作为数据展现和业务分析的一种产品形态，发挥了越来越重要的价值。
总的来说，工业大数据分析平台的应用价值主要可以体现在以下几个方面：
- （1）提高企业生产效率，通过数据驱动，提升产品的质量。
- （2）利用数据精细化管理，可以降低生产成本，找出关键环节，真正实现节能减耗。
- （3）为产品创新提供数据依据，加速产品迭代，根据用户需求实现大规模生产。
- （4）利用智能化管理，加快企业生产，提升企业竞争力。
案例:
在工业大数据方面，联想推出了针对工业大数据的一站式应用平台Leap系列解决方案，图5-50所示为Leap家族中LeapIOT的产品架构图。LeapIOT已经先后与汽车、医药流通、重装制造、能源、教育等多行业客户展开合作，通过联想大数据平台Leap家族产品和解决方案向行业客户赋能。
图5-50 LeapIOT产品架构（图片来自联想大数据官网）