人工智能技术实验系统
一、平台架构
人工智能技术实验系统整体设计基于Kubernetes + Docker 容器集群技术,可一键运行实验环境,并提供多种开发模式、多种运行环境以满足不同的用户需求。提供超高计算能力的高性能计算引擎,提供运行基础的容器云平台,支持数据存储的分布式文件系统,支持各种数据转换的数据集成转换组件,以及支持全局系统运维的运维管理组件。同时,提供完备的教学所需的镜像资源、完善的学习资料和教学管理模块。
平台架构图如下:
平台采用B/S架构,用户只需通过浏览器(如:chrome浏览器)直接访问人工智能技术实验系统。
二、平台分布式计算架构
实验平台依托Kubernetes、Docker的底层分布式技术支持几乎所有类型的云环境,目标是提供实施简单、可大规模扩展、丰富、标准统一的分布式计算管理平台。
通过容器技术将应用运行环境与底层物理环境解耦,减少应用对于底层环境的依赖。基于Kubernetes+Docker技术的容器云平台,提供容器化部署、容器编排、资源隔离以及抢占式的资源调度和管理等功能。使得人工智能教学实验平台的部署和维护变得更加简单和灵活:
Ø 支持一系列生产功能,如弹性伸缩、故障容错、在线升级、服务发现
Ø 支持管理功能,如应用管理、镜像管理、资源管理、权限管理
Ø 容器技术及应用,如容器化部署、资源隔离
三、分布式架构特点
分布式计算是将应用分解成许多小的部分,分配给多台计算机进行处理,相对于集中式计算可以节约整体计算时间,大大提高计算效率,分布式计算框架是提升计算效率的重要框架之一,其特点如下:
Ø 高密度 高弹性
由于Docker容器的启动一般在秒级实现,这相比传统的虚拟机方式要快得多。另外 Docker 对系统资源的利用率很高,一台主机上可以同时运行数千个Docker 容器。容器除了运行其中的应用外,基本不需要消耗额外的系统资源,使得应用的性能很高,同时系统的开销很小。基于虚拟机的技术决定了它的启动速度分钟级(或数秒级),而Docker基于轻量级的LXC,它的启动速度是毫秒级(秒级)的。这就使得容器云具备高密度,高弹性的特性,在面对突发访问量时也能轻松应对。另外它通过提升应用对系统资源的利用率,使得相比虚拟机的性价比大大的提高了。
Ø 兼具IaaS的灵活和PaaS的便利
基于Docker的容器云是一个用于开发、交付和运行应用的平台,Docker 设计用来更快的交付应用程序。Docker 可以将你的应用程序和基础设施层隔离,并且还可以将基础设施当作程序一样进行管理。Docker 可以实现更快地打包代码、测试以及部署,并且大大缩短从开发到运行上线的周期。容器云的本质是一个轻量级的容器虚拟化平台,以及一套标准的开发,构建,部署,运行的流程,并且可以集成各类工具,比如持续集成,数据库与缓存,大数据等,以及一些PaaS类的服务。容器云在计算资源调度上具备IaaS的灵活性,以及PaaS的便利,弹性伸缩,日志监控,滚动升级,持续集成/部署等系统级的PaaS服务已成为容器云的标配,并逐渐会往上层发展,比如部署数据库与缓存,大数据,安全监控等服务,以及集成各类SaaS服务。
Ø 容器化应用是基石,一切都封装在镜像里
Docker 提供了一种在安全隔离的容器中运行几乎所有应用的方式,这种隔离性和安全性允许在同一主机上同时运行多个容器,而容器的这种轻量级特性,意味着可以节省更多的系统资源,因为不必消耗运行 hypervisor 所需要的额外负载。对于容器云而言,所有的应用都需要容器化以后才能发布,即将应用程序打包进Docker容器,以镜像的方式运行。容器化应用未来将会成为云端应用交付的标准。
Ø Kubernetes提供应用部署、维护、扩展机制等功能
利用Kubernetes能方便地管理跨机器运行容器化的应用,其主要功能如下:
² 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。
² 以集群的方式运行、管理跨机器的容器。
² 解决Docker跨机器容器之间的通讯问题。
² Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态。
四、AI课程展示
课程分为基础核心课程、可选方向课程、工具类课程;每类课程均提供PPT课件学习和实验,用户可将实验快捷的加载到环境中,进行学习、调试与拓展训练。
五、AI算法库
平台提供基础数据处理、时间序列分析、机器学习、图像处理、基础自然语言处理、深度学习-图像分类、深度学习-自然语言处理共7大类算法库,共计100多种算法,单击具体的算法可查看算法的介绍、使用、结果等详细信息。
六、AI数据集
平台提供了10大类(共50+个)AI数据集,提供数据查看、下载功能,避免用户花费大量时间来清洗数据,让用户能基于现成数据集进行模型的开发与训练。
七、人工智能开发套件
基于人工智能教学实验平台以及边缘计算开发套件,高校可在人脸识别、文件扫描、气泡纸多项选择扫描仪、目标追踪、垃圾分类、二维码/条形码检测与识别、目标检测、手势识别、服饰分类、道路场景分割等人工智能领域进行深入研究,进一步提升学校的教学和实践水平。