大数据工程实践与开发平台

产品开发背景     

        随着政府不断强调大数据治国的理念，各行各业对大数据的应用探索不再只限于理论和尝试，当市场对大数据平台的技术维度和流程关联度需求不断升级的前提下，传统的大数据平台还是一味的提供单个维度的技术解决方案，已经逐渐形成新的一种应用壁垒，这也是大部分数据系统始终无法真正的打破数据壁垒的因素之一。随着行业客户不断的将自己更多的业务系统数据汇聚到一起，进行综合治理、统一存储，怎样提供数据全生命周期的治理、管理、应用一体化的解决方案，成为衡量新型大数据平台的重要指标。DANA大数据平台就是在这种市场环境中，根据实际需求设计，脱颖而出。
        DANA数智大数据平台基于多年来大数据技术积累、开源技术丰富加上各行各业丰富的大数据实际落地案例沉淀，开发出一套针对大数据落地场景实际可用的大数据开发工具平台，DanaStudio数智开发平台、PandaBI数智决策平台以及底层DDP大数据基础技术引擎平台。所有技术和工具产品经过实际项目检验和校验，赋能开发者和用户降低大数据开发的技术成本和时间成本，让大数据开发不再那么复杂和周期冗长，赋能大数据行业项目的快速落地。

产品介绍

  DANA智能大数据平台是南京秉蔚信息科技有限公司与德拓股份合作，将行业级的大数据全流程生产工具用于科研项目支撑的产品。该平台基于德拓股份多年来大数据技术积累、开源技术丰富加上各行各业丰富的大数据实际落地案例沉淀，开发出一套针对大数据落地场景实际可用的大数据开发工具平台，DanaStudio数智开发平台、PandaBI数智决策平台以及底层DDP大数据基础技术引擎平台。所有技术和工具产品经过实际项目检验和校验，赋能开发者和用户降低大数据开发的技术成本和时间成本，让大数据开发不再那么复杂和周期冗长，赋能大数据行业项目的快速落地。

                           图1：DANA整体架构图

          其中，DanaStudio 数智开发平台是面向开发者、数据管理者、数据应用者提供的一站式大数据协作开发、管理平台，致力于解决结构化、半结构化和非结构化数据的采集融合、数据治理、元数据管理、分层管理、交换服务等问题。其中多门户的设计适应不同的角色，可针对不同阶段的数据进行更细分的管理和处理，搭配高度自由的DAG工作流和强大的作业调度、运维面板，让DanaStudio成为助力大数据项目的快速实施、交付、应用交换的利器。

图2：DanaStudia数智开发平台

  PandaBI数智决策平台是一站式数据分析与决策系统，帮助企业快速搭建自己的大数据可视化分析平台，完成多数据整合，建立统一数据口径，并提供灵活、易用、高效可视化探索式分析能力，提升企业数据洞察能力，并将数据决策快速覆盖各层员工及应用场景，使企业成功转型为“数据驱动”的智慧型企业。

图3：PandaBI数智决策平台

                            图4：PandaBI数智决策平台效果

   DDP大数据基础引擎平台是基于开源技术成熟的大数据商用平台，整合了大数据项目实践中的技术沉淀，也包含了以Hadoop为主的大数据生态基础引擎。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现以及运维管理等全部能力。各行业应用和最终用户可以通过平台提供的丰富的接口，完成行业大规模数据的挖掘分析和应用对接管理。

图5：DDP技术平台架构图