数据平台的设计和实现以及大赛中的应用

来源：计算机科学与探索杂志2018年第1期北京时间：

作者：王永坤，金耀辉

单位：1. 上海交通大学 网络信息中心，上海 2002402. 上海交通大学 光纤通信国家重点实验室，上海 200240

摘要：得益于大数据相关的开源软件蓬勃发展，中小企业和机构也可以进行大数据平台的搭建和应用。但是数据平台在实际应用中仍然有很多挑战，例如如何进行开放数据的共享和计算，并保证代码安全等。基于开源软件设计了一个数据平台架构来让用户一站式地共享数据和计算，同时跟踪和审核代码。根据此设计搭建了一个生产环境，并给出了基本的测试来验证平台的可用性。把平台开放给外界使用，成功地支持了上海开放数据创新应用大赛（Shanghai Open Data Apps，SODA）中的大量用户的数据共享和计算需求。

关键词：大数据,数据分析,数据处理,数据平台,Hadoop