您当前的位置：
首页 > 文献资料
所属专业：
SparkSQL交互式处理框架文献资料
-
军人电子健康档案大数据即席查询统计子系统的设计与实现
目的 利用列存储和分布式内存计算等大数据处理技术实现军人电子健康档案(MEHR)即席查询统计的快速响应,提高统计效率,改善交互体验.方法 对MEHR即席查询统计子系统进行需求分析和功能设计,提出了"档案存储层——数据预处理层——统计应用层"的三层技术架构.经过对大数据处理技术的选型评估,在业务领域数据建模和预处理的基础上,采用CarbonData列存储技术实现预处理后的数据存储,Spark SQL交互式处理框架实现查询统计的计算.结果 分别对MEHR原先的数据统计子系统和该文实现的即席查询统计子系统,测试5个即席查询统计任务,后者在统计效率上有数十倍的提升,对200万人档案、1亿条数据记录量级的即席查询统计能达到秒级响应的性能.结论 该文设计和实现的即席查询统计系统为MEHR大数据的统计分析提供了强大灵活的技术支撑.
