从0到1搭建大数据平台

　　建立大数据分析平台并应用到各个行业，才能形成一个更适合发展的模式，希望对大数据方向有更深入的了解。

　　大数据是以互联网为基础的。数据仓库、数据挖掘、云计算等互联网技术的发展为大数据的应用奠定了基础。对于任何一个大数据从业者来说，新的联系人，或者会有一种共同的感觉：大数据是非常有用的!那么如何构建大数据分析平台已经成为当前研究的焦点。

　　大数据并不是一场市场炒作。对于许多跨多个垂直的组织而言，大数据是真实存在的，而且它正在改变数据中心的架构。随着数据量、数据处理速度和数据类型的复杂度以远超标准前端和后台处理能力的速度增长，大数据在不断增长，这迫使企业需要搭建符合大数据发展的较新分析平台。

　　大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析。一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作。

　　在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本功能，来决定平台搭建过程中使用的大数据处理工具和框架。

　　大数据分析平台自下而上一般分为三个部分，分别为：数据层、大数据采集与存储、数据挖掘及展示。

　　(1)数据层，针对不同系统进行分析，制定系统数据采集范围与目标，收集各个业务系统产生的各类数据，将各种结构化和非结构化数据进行整合，为大数据的分析提供支撑。

　　(2)大数据采集与存储旨在为各类异构数据研制适配接口，与其他各系统对接，并为数据提供适配、转换、存储等基本管理功能，基本步骤包括：

　　数据抽取：针对大数据分析平台需要采集的各类数据，分别有针对性地研制适配接口。对于已有的信息系统，研发对应的接口模块与各信息系统对接，不能实现数据共享接口的系统通过ETL工具进行数据采集，支持多种类型数据库，按照相应规范对数据进行清洗转换，从而实现数据的统一存储管理。

　　数据预处理：为使大数据分析平台能更方便对数据进行处理，同时为了使得数据的存储机制扩展性、容错性更好，需要把数据按照相应关联性进行组合，并将数据转化为文本格式，作为文件存储下来。

　　数据存储：除了Hadoop中已广泛应用于数据存储的HDFS，常用的还有分布式、面向列的开源数据库Hbase，HBase是一种key/value系统，部署在HDFS上，与Hadoop一样，HBase的目标主要是依赖横向扩展，通过不断的增加廉价的商用服务器，增加计算和存储能力。同时hadoop的资源管理器Yarn，可以为上层应用提供统一的资源管理和调度，为集群在利用率、资源统一等方面带来巨大的好处。

　　Kudu是一个围绕Hadoop生态圈建立的存储引擎，Kudu拥有和Hadoop生态圈共同的设计理念，可以运行在普通的服务器上，作为一个开源的存储引擎，可以同时提供低延迟的随机读写和的数据分析能力。Redis是一种速度非常快的非关系型数据库，可以将存储在内存中的键值对数据持久化到硬盘中，可以存储键与5种不同类型的值之间的映射。

　　(3)数据分析和展示是核心业务层，对于处理得到的数据可以对接主流的BI系统，将结果进行可视化，用于决策分析;或者回流到线上，支持线上业务的发展。

　　成熟的搭建一套大数据分析平台不是一件简单的事情，本身就是一项复杂的工作，在这过程中需要考虑的因素有很多，比如：

　　a.稳定性，可以通过多台机器做数据和程序运行的备份，但服务器的质量和预算成本相应的会限制平台的稳定性;

　　b.可扩展性：大数据平台部署在多台机器上，如何在其基础上扩充新的机器是实际应用中经常会遇到的问题;

　　c.安全性：保障数据安全是大数据平台不可忽视的问题，在海量数据的处理过程中，如何防止数据的丢失和泄漏一直是大数据安全领域的研究热点。

　　系统架构应高安全性、易扩展性，能够支持各类主流开发语言，并提供丰富的接口。同时能够支持结构化和非结构化数据的存储和应用。通过建立物联网应用，实现对物品、人员、安全等各方面管理的强大支撑，提升管理质量的同时积累大量管理数据和行为数据。

　　大数据分析平台是企业一体化的大数据分析与应用平台，为企业提供大数据分析与决策。

　　建设大数据分析平台以安全、可扩展、灵活性为原则，把某些有业务联系的单图组织成一个数据可视化的模块，用来反映业务各方面的数据情况，它从多种数据源获取数据，实现支持多维度筛选的交互式界面。

　　大数据时代已经到来，只有抓住机遇，建立大数据分析平台并应用到各个行业，形成一个更适合发展的模式，我们才不会被这个时代所淘汰。