数据科学与大数据实验系统

一站式大数据实验系统

一、系统整体架构

平台采用虚拟化容器技术、分布式集群部署方式进行基础平台构建，在高效的利用系统硬件资源的同时，灵活分配系统资源供学生进行实训。从应用上，平台分为四个层次：硬件资源层、平台支持层、实验应用层、用户操作层。

1、硬件资源层：由服务器资源设备、网络交换设备、实验终端设备等硬件组成，通过分布式集群部署及管理，主要用于提供教学平台、教学资源的硬件支撑，同时为大数据实验资源提供计算能力和案例数据的存储能力； 

2、平台支持层：主要提供学生申请实验资源，保证每个学生使用独立的实验环境。

3、实验应用层：提供学生五大课程开发环境及案例管理。开发环境包括：在线SSH、Python/R语言在线编译环境、可视化开发环境、数据挖掘开发环境、统计分析开发环境、文本分析开发环境。

4、用户操作层：根据角色不同，分为超级管理员、教师、学生。学生在线学习及上机实验操作、教师对每个学生学习进行管理及分析。

二、实验环境

系统内置大量实验环境，包括centos、python、kettle、mongodb、scala、r、统计分析、数据挖掘、自然语言挖掘、数据可视化等环境。

Centos桌面环境

Python环境

统计分析环境

数据挖掘环境

自然语言挖掘环境

数据可视化环境

三、课程资源