基于Hive 的智慧城市数据处理技术研究与实现

来源：计算机技术与发展杂志2018年第02期北京时间：

作者：艾丽蓉;刘云峰

摘要：对智慧城市系统中产生的大量数据进行有效的采集、合理的存储、高效精准的分析，进而对决策的做出提供合理的支持是在智慧城市建设过程中必须要解决的问题。对此，在充分理解智慧园区数据分析系统功能需求、性能需求的基础上，结合当前比较主流的数据分析方面的技术，提出了 Kettle+Hive+Tableau 的智慧园区数据分析解决方案。该系统具有较高的可用性、稳定性、效率以及非常高的扩展性、可移植性，不仅适合于对智慧园区的数据分析，还普遍适用于对智能化信息系统数据进行分析，具有较高的普适性、通用性。该系统通过 ETL 工具、数据可视化工具的应用，尽量减少在数据分析系统开发过程中代码的编写，能够适用于绝大部分有数据分析需求并且数据量较大的信息化系统。

关键词：智慧城市;Hive;数据采集;数据可视化分析