大数据教学与实训系统

 

一、产品简介     

  大数据教学与实训系统是一款面向数据科学、大数据技术专业提供教学管理、实验管理、技能培训、大赛辅导和科学研究一体的实践教育产品。该产品是引用大数据技术在各领域实际项目中的工程应用经验而开发，可提升师生对大数据核心技术的开发能力和科研能力，同时也是一款高效的实践教学管理平台，涵盖课程管理、资源库管理、课堂实训管理、教学统计分析、平台管理、智慧考试等实用的教学功能。在课程资源方面提供了《python程序设计》《Hadoop应用开发》《网络爬虫》《数据清洗》《Spark大数据分析》以及众多大数据项目实践案例。

 

 二、产品功能

   南京秉蔚信息科技有限公司研发的大数据教学与实训系统通过开放型的实验环境管理平台为师生提供多种实验场景，该系统包括大数据容器实验环境、大数据综合实训平台、数据可视化BI分析平台、大数据课程资源等软件模块，此外，系统的运行与课程资源的运行采用高性能服务器作为载体。

 

2.1、大数据容器实验环境

  在大数据容器实验环境中采用容器技术进行管理，租户隔离，支持负载均衡、高可用，可批量开启和关闭。大数据容器实验环境内置了Ubuntu和Fedora等类型的Linux操作系统，内置分布式Hadoop框架生态组件，包括HDFS、HBase、Hive、Spark、Flume等，预置Python开发环境和常用工具库，包括Numpy、Pandas、Matplotlib、Wordcloud、Tensorflow、Paddlepaddle和Sklearn等库，以及Jupyter等主流的大数据集成开发环境，系统还支持MapReduce、Spark、Storm等多种计算框架，将Mysql、Oracle、MongoDB等结构化和半机构化数据库纳入镜像库，在编程语言方面Java、Python、Golang和Node.js等编程语言，老师可通过实验工具模版快速为学生准备好实验实训环境，也可以根据课程需要快速自定义实验实训工具镜像模板。当容器负载过高时，提供对容器资源的监控及预警功能，支持动态扩展节点，可根据实时在线学生数量进行动态扩展。

 

 

2.2、大数据综合实训平台

(1)课程管理系统

支持初始大数据课程及配套学习资料的浏览和管理功能，支持开课与实验实训管理功能，提供课程管理、查看学习任务、新建课程、开课设置、数据管理、实验场景、实验报告、课堂作业等丰富的功能。

（2）资源库管理系统

提供生成实验资源所必备的实验资源、实验镜像、参考资料、题库的综合管理功能，提供新建实验、实验设置、镜像库、参考资料库、题库的综合管理功能。

 

（3）课堂实训管理系统

  支持大数据实验教学实验课堂过程中涉及到的实验机器、实验报告、作业、运行实验资源等过程资源的管理，提供实验机管理、实验报告管理、实验时效管理、运行时长配置等功能。

（4）教学统计分析系统

支持为用户提供系统数据、教学数据、课程数据、资源数据等种数据的统计分析功能。

（5）平台管理系统

支持系统管理员端对整个实验系统平台的整体管理，包括人员管理、系统管理、操作日志管理等功能。

（6）智慧考试系统

提供先进的考试管理和考试组织功能，包括试题管理、试卷管理、考场管理、考试分析、试卷分析、错题分析、考场作弊管理等功能。

 

2.3、数据可视化BI分析平台

  数据可视化BI分析平台支持Excel/CSV等文件导入，数据库直连，数据库ETL抽取，日志数据采集，实时流消息队列；支持工作表数据预览，数据转换清洗，数据分析、大数据量聚合分析等；

  支持磁铁式布局，任意自由布局，图片、音频等模版组件，自定义画布背景，多分辨率支持，实时预览，一键化主题切换；支持无编程化拖拽分析，图表展示库，字段智能分组，公式函数，筛选分析，自由样式配置，实时数据绘制等.

 

  支持仪表盘，数据大屏，图片导出，代码嵌入第三方，关系型数据库存储等。

 

三、大数据课程资源 

3.1、《Python程序设计基础》课程共48课时：大一上学期开设，主要讲解python语言基本语法及数据类型、数据结构、循环控制语句、函数模块和类、文件的操作及综合应用实践等内容。

 

3.2、《大数据技术导论》课程共32课时：大一上学期开设，本课程是大数据方向的专业入门课程。通过本课程的学习，学生能了解大数据基本涵盖内容，对大数据采集与预处理、大数据存储、大数据计算平台、大数据分析与挖掘、大数据可视化、大数据应用等有初步的了解，为今后更深入的学习和从事大数据相关工作打下良好的基础。

 

3.3、《网络爬虫技术》共48课时：大一下学期开设，主要包括Python数据采集基础和Python数据采集实践，教学上循序渐进，该课程提供的每个实验应该包含实验概述、实验环境、实验步骤等内容。

 

3.4、《python数据分析与应用》共48课时：大二上学期开设，主要讲解数据分析概述、科学计算库NumPy、数据分析工具Pandas、数据预处理、数据聚合与分组运算、时间序列数据分析和文本数据分析等内容。

 

 

3.5、《数据可视化》课程共48课时：大三上学期开设，主要包括Python可视化环境的搭建、可视化库的使用、可视化组件使用以及各类图表的设计与实现，教学上循序渐进，该课程提供的每个实验应该包含实验概述、实验环境、实验步骤等内容。

 

3.6、《Hadoop应用开发基础》课程共64课时：大三上学期开设，该课程提供Hadoop生态系统内相关技术组件的操作和开发基础，包括MapReduce开发、Hive操作、Hbase操作、Kafka开发，以及Zookeeper、Azkaban基本使用，该课程提供的每个实验应该包含实验概述、实验环境、实验步骤等内容。

 

3.7、《Spark大数据分析》课程共48课时：大三下学期开设，通过本课程的学习，学生能了解Spark的软件架构，掌握Spark的集群安装启动，掌握Spark核心编程，掌握基于Scala的Spark简单编程、掌握Spark SQL、Spark Mllib相关知识等，为后续的从事的Spark开发和运维岗位打下基础内容。

 

3.8、大数据项目实训课

大数据项目实训课面向综合实践教学的大数据案例，至少包括如下内容：

项目一：某地市交通政务舆情分析

项目二：交通事故成因分析

项目三：互联网营销精准决策

项目四：金融客户违约预测模型分析

项目五：跨境电商红酒定价决策

项目六：影评情感倾向分析

四、课程资源运行载体

  课程资源运行载体是用于部署大数据实训课程资源，为学生提供管理容器的基本保障，该载体部署于高可靠、高性能的硬件服务器上，南京秉蔚信息科技有限公司采用H3C R4900 G3服务器作为硬件平台，打造软硬件一体化的运行载体。

 

五、产品售价

   

产品/设备名称	产品型号	单位	设备单价(万元)
课程资源运行载体	H3C R4900 G3	台	4.5
大数据容器实验环境	BWDC	套	6
大数据综合实训平台	BWBDT	套	20
数据可视化BI分析平台	BWSW	套	5
大数据实训课程资源	BWPRS	套	3-4/门