分布式系统中局部处理机的设计与实现

来源：计算机应用杂志2015年第5期北京时间：

作者：魏敏, 刘以安, 吴鸿雁

单位：江南大学 数字媒体学院, 江苏 无锡 214122

摘要：针对企业生产过程中存在大量原始数据需要实时处理的问题,设计并实现了一个基于自定义架构的局部处理机.在设计之初以Hadoop的并行架构为参考,对MapReduce的工作原理和缓存方式进行了分析,在此基础上根据实际生产环境设计了一个"多类线程协同处理"的程序架构,并辅以两类自定义的数据缓存方式,保证了分布式系统中的局部处理机在接收、计算、上传各环节的并发性和正确性.该系统投入实际生产并连续使用一年有余,实现了将企业多个车间生成的原始数据进行实时处理的预期目标,具有很好的稳定性、有效性和可扩展性.实际应用结果表明,自定义的程序架构和有效的缓存方式能实现大量数据的同步处理及分析.

关键词：Hadoop,MapReduce,数据缓存,并发,局部处理机,分布式系统