由 dawei 【评论】今天，大数据与人工智能已经非常普及。像Hadoop和Spark这样的大数据平台，几乎已经成为业界最常见的，对大规模数据进行存储、处理和分析的平台。但许多组织、企业的数据科学团队，在面向AI的实际开发过程中，仍然不免要面临许多系统和平台层面的挑战。
英特尔在AI领域布局广泛，一直致力于提供全栈的技术解决方案，除了面向不同场景的硬件外，也通过不断完善软件生态来支撑AI产业发展。在此前举行的英特尔人工智能大会上，英特尔软件和服务事业部高级首席工程师、大数据技术全球CTO戴金权分享了两大软件“利器”——BigDL和Analytics Zoo。
帮助用户构建统一的大数据分析与AI平台
据介绍，BigDL是一个由英特尔开发且开源的，基于Apache Spark的开源分布式深度学习框架，它可以帮助用户直接在已有的Hadoop/Spark集群上开发深度学习工作应用，无需特意将数据从大数据集群上拷贝到独立的深度学习集群上进行训练。也可在存储数据的同一个集群上使用深度学习来进行分析，重用现有的大数据工具(如Spark工作流)构建大规模深度学习应用。
Analytics Zoo可以说是BigDL一个扩充，它能够将不同的软件框架，如Spark、TensorFlow、Keras等无缝集成到一个端到端的数据处理流水线中，分布式地运行在大规模集群上，并且对用户透明，帮助用户构建统一的大数据分析和AI平台。
英特尔软件和服务事业部高级首席工程师、大数据技术全球CTO戴金权
戴金权表示：“(借助BigDL与Analytics Zoo)用户能够在现有的大数据集群和大数据平台上，在数据存储的地方直接运行深度学习和AI应用，也能将数据的全生命处理流程——从数据收集、处理、分析，到机器学习、深度学习等，整合到统一的工作流和数据流水线当中，这样大大提高了开发、运维和部署的效率。”
行业用户认可，实际应用效果显著
宝信软件是宝钢股份控股的上市软件企业，它的前身是宝钢的自动化部门。该公司致力于推动新一代信息技术与制造技术融合发展，帮助制造企业从信息化、自动化向智慧制造迈进。为推动智能制造发展，宝信软件推出了具有自主知识产权的大数据平台软件xInsight，探索工业大数据如何在实际应用场景中创造价值。
宝信软件研发团队与英特尔团队共同合作，利用了Analytics Zoo解决方案建立了无监督的深度学习的系统，开发了设备故障自动预测的验证模型。宝信软件研究开发部总经理董文生表示：“宝信与英特尔目前的合作成果，已经把Analytics Zoo以及BigDL与xInsight大数据平台做了集成，在我们大数据平台上可以提供相关的方案。在智能制造领域，我们还将与英特尔一起合作，进一步探索，提供更多解决方案。”
此外，戴金权还分享了更案例。美的集团与英特尔团队基于Analytics Zoo构建了一个高度优化的缺陷检测解决方案，从而通过计算机视觉自动化地探测流水线上的产品缺陷。利用Analytics Zoo，研发团队无缝地将Spark、BigDL和TensorFlow程序统一到了一个集成式的流水线中。
世界银行采用了英特尔的Analytics Zoo以及AWS Databricks平台构建图像分类模型，，Analytics Zoo将复杂的数据处理分析和模型训练的流水线单一化，帮助研发团队轻松训练由69类、近百万张图片组成的数据集，实现了高准确性，部分数据集还可实现近乎线性的扩展。
超级计算公司CRAY与英特尔团队共同合作，成功为他们的TB级训练数据构建了短期降水预测模型，同时确保了极佳的可扩展性。借助Analytics Zoo中基于Apache Spark的可扩展深度学习功能，数据科学家轻松构建了复杂的工作流，充分利用了CRAY的超级计算机。
最后
如今的深度学习和AI领域，优秀的算法和框架数不胜数，用于训练的数据也常常能够达到要求。但随着应用场景的增多，AI应用的开发也越来越难，项目流程越来越复杂。英特尔推出的BigDL和Analytics Zoo，在一定程度上很好地填补了在AI开发流程优化以及效率提升方面的空白，能够帮助开发人员将更多精力集中在模型的优化上，推动应用落地。