- 04/20
- 2020
-
QQ扫一扫
-
Vision小助手
(CMVU)
近日,联盟会员单位百度智能云同英特尔和聚云科技成功推出共同研发的面向AI存储框架Data-O,全面提升AI产业生产效率,助力客户快速完成数字化转型和AI能力升级。
Data-O:解决AI生产链中的存储难题
众所周知,AI是一个“数据+算力+算法+场景”的综合体,高质量的数据需要反复通过高效的训练学习,才能发挥满足市场需求的AI能力。而一谈到大规模AI训练,业内首先关注的是框架和算子的优化,鲜有人谈到AI的存储系统。矛盾的是,在AI生产的整个链条中,存储一直是最棘手的问题,存储系统是大规模AI训练实现资源调度和性能优化的关键所在。
此次推出的AI存储框架—Data-O,正是为解决这个问题而生。该框架基于多年AI框架、高性能存储、新存储介质的深度技术积累和丰富的生产实践,面向DataOps和MLOps,能加速AI应用的生产流程,全面提升数据中心和算法人员的工作效率,助力客户快速完成数字化转型和AI能力升级。
优于传统HPC存储框架,更适合机器学习
在长期的机器学习研究过程中,我们深刻感受到传统的HPC高性能存储框架不适用于面向机器学习的HPC,越来越成为制约机器学习快速发展的瓶颈。
机器学习是一个系统化的工程,数据的使用不仅仅是要解决性能问题,数据的管理效率对于AI这种流程化框架系统也尤为重要。Data-O可以提供完善的数据流程化管理、AI框架存储方案。
除了软件层面,我们同时也要看到,未来存储技术的发展将由工作负载的需求来驱动,庞大的数据集将在未来不断涌现,像AI、物联网等这样的工作负载,都需要越来越高的性能,进而可以快速地访问海量的数据,因此存储必须要是灵活多变的,并能够为各种复杂的工作负载提供持续的、可靠的,且按需扩展的高性能服务。
AI训练场景对处理器的吞吐稳定性要求较高,AI存储框架联合英特尔推出软硬件一体化的解决方案,能够满足不断变化的需求。
百度智能云认为,通过英特尔®傲腾™固态盘的特性,提升了大规模多机多卡并行训练、多租户混合读写的高并发场景存储系统的稳定性。同时,英特尔®3D QLC NAND提供极致的性价比。通过软硬件的综合优化,在面对千万级的大训练集环境下,AI存储框架依然可以保障稳定的高性能吞吐,保障处理器的使用效率。
通过这样的整合,此次推出的存储框架Data-O,除了有优于传统HPC系统的高性能、高稳定、安全灵活等特点外,还具备更强的兼容性与可扩展能力,以及完整的生态解决方案能力,能够面向不同特征的用户,提供完备的解决方案,加速AI在各行各业的落地,提升AI的整体生产效率。
不辱使命,共赢AI时代的全面到来
Data-O中的O是AI存储框架的目标Objective,代表了Data-O的三个关键使命:
Optimize Performance, 即优化性能,让存储性能不再是机器学习的瓶颈;
Orchestration,DataOrchestration即数据编排,让训练数据高效利用;
Ops,Data-Ops for AI,即让数据流程自动化,全球性混合云资源可安全调度利用。
百度智能云和英特尔长期致力于AI的核心技术发展,已经联合推出过多个产品及解决方案,广获各界用户好评。而聚云科技是猎豹移动旗下子公司,承载母公司猎豹移动AI战略落地,拥有丰富的AI框架与MSP服务实践经验。此次的合作可谓强强联合,为业界在机器学习存储领域的创新提供了良好范本。