大数据分析已经在各个行业得到了重点关注，是当前的研究和教学热点。本成果技术来源于我校计算机系大数据技术研发组，在多年的大数据教学、科研活动下完成的。成果立足于分布式计算环境和编程方法，以技术案例方式展示大数据的预处理、数据挖掘、可视化分析过程，内容丰富，界面直观。每个案例都有对应的大规模数据集，具有真实的工程背景。平台环境基于Hadoop系统，兼顾了Spark和Mahout算法库。编程实例中包括了Java、Python和R语言，适应不同教学和科研需求。为了确保案例库的顺利运行，专门研制了一套大数据案例库管控系统，能够实现案例的提交、查询、修改和删除；同时，设置了权限管理机制，对案例的使用情况和测评结果进行输出，并以网页可视化方式展示和反馈给各级用户。

目前已经完成了案例管控系统的原型设计，部分案例已经在研究生培养和本科生科研指导中得到应用。测试环境利用了学科建设提供的大数据一体机和网络系统。

创新点有3个方面：

（1）所有案例都在Hadoop大数据系统中测试运行，具有分 布式计算特点；

（2）技术案例具有原创性，为用户选择三种不同的编程语言和案例参照（Java、Python和R语言）；

（3）自主设计的管控系统，功能实用，针对性强。 本成果的案例是在真正的分布式计算环境中运行，用户只需要提交程序即可测试，运行结果可以远程浏览；用户还能 够参照案例库进行学习和改进，实用性强。现有同类大数据 实验教学系统或科研系统，一般只具备一种编程语言，且缺 乏案例库管理功能。多数案例只能再单机下运行，不具备分 布式计算特点。