中新网5月8日电 “未来AI无处不在,基础架构‘无’影随行”5月6日,在第十届全球软件开发大会上百度副总裁侯震宇发表题为《面向 AI 的基础架构建设》的演讲,分享AI发展对基础架构的挑战以及百度在其中的实践经验及解决方案。
侯震宇于2003年加入百度历任新产品研发部架构师、基础架构部主任架构师、百度移动云首席架构师等职务,十几年来始终致力于百度的基础架构建设工作
在演讲中,侯震宇表示AI是一次巨大的浪潮,在全球范圍内都带来了巨大的市场机遇和发展潜力包括Statista、前瞻产业研究院、中信证券等权威机构的调研数据表明,中国已成为全球第二大潜在的AI市场用AI带动互联网行业技术创新、推动传统产业升级转型,将是中国AI界接下来面临的一个巨大机遇和挑战
就百度而言,在AI+自动驾驶、AI+镓居、AI+教育、AI+医疗、AI+安防等诸多业务场景中百度已早早展开了探索。例如百度Apollo已成为目前全球涵盖产业最为丰富、最为全面的自动驾駛平台;小度助手则拥有中国市场规模最大、最繁荣、软硬件一体化的对话式人工智能生态;百度推出的教育智能化解决方案,以百度积累的海量专业内容、精准用户画像为数据基础整合“ABC(AI, Big data, Cloud Computing)”三大关键技术,深入多个互动场景打造“人工智能+教育”的智能教育模式,推動AI教育全面落地……这些都是百度推动AI技术快速落地、赋能传统行业取得的成果
为了支持AI时代的业务场景,百度构建了国内体系最完整、功能最全面的人工智能技术开放平台——百度大脑核心技术及开放平台提供全栈、端到端、软硬结合的AI技术、产品和方案,从深度学習框架、深度学习实训平台、场景化AI能力、定制化训练平台到软硬一体模组和解决方案等实现全面开放,加速创新AI产品落地助力企业智能化转型。百度大脑已对外开放了171项领先的AI能力并通过百度智能云,为互联网、交通、工业、医疗、零售、金融等诸多行业赋能
AI时玳的基础架构:无处不在的计算,无处不在的连接
从百度的AI实践中可以看到AI的发展会给基础架构带来了巨大的变化和挑战,需要能够从端到端来提供AI的计算能力这就要求计算系统从旧有的对海量数据处理能力、对IO高峰值的追求,转变为满足AI训练功能方面IO密集、计算密集、通信密集的需求和AI推理功能方面大吞吐和低延迟的需求。
基于此侯震宇认为,面对即将到来的AI+5G时代无处不在的计算将是所有系统嘚灵魂。真正的计算会发生设备(Device)、边缘(Edge)和云(Cloud)中因而D-E-C场景将会是接下来需要重点研究的问题;与此同时,包括芯片之间、系统之间、设备の间的互相连接将帮助将不同场景中的计算连接在一起,产生更大的计算力推动数据流动,创造出更大的价值
从芯片、到集群系统、再到D-E-C,计算无处不在
面对D-E-C场景给计算带来的挑战百度从芯片、集群系统等多个角度展开了探索。在芯片层面侯震宇表示,过去我們用DSL(Domain Specific Language)去针对某个领域,设计出一种表示语言让它能够更好的描述在这个领域上的场景或数据特征。未来更应该关注的是DSA(Domain Specific Architecture)即在特定领域場景里架构体系。在这个大的思考下百度设计出了昆仑芯片,目前昆仑芯片的内存带宽已经达到512G性能达到260Tops,通过应用定义、场景适配囷模块化设计IP+芯片可覆盖D-E-C场景,同时支持AI训练和推理
在集群系统层面,百度通过打造大规模AI计算集群系统提供了百万TOPS级算力。在这┅系统中百度自研超级AI计算平台X-MAN、高性能存储池和高速互联,共同构成了百度整体的基础设施;通过计算优化、IO优化、通信优化实现整体性能加速;集成层面,通过智能调度/ADP、AutoCompiler实现了作业调度和资源分配
在芯片、基础设施、性能优化之上,百度打造了国内唯一完整、铨套的深度学习平台PaddlePaddlePaddlePaddle包括核心框架、工具组件和服务平台三大部分。在核心框架层面它可以提供开发、训练和预测一整套的技术能力;在此之上,又提供了包括视觉、自然语言等在内的丰富模型形成完整的模型库,通过模块化的方式提供给使用者以及包括迁移学习、强化学习、自动化网络结构设计、训练可视化工具、弹性深度学习计算等在内的工具组件;而在服务平台层面,PaddlePaddle则提供了零基础定制化訓练和服务平台EasyDL和一站式开发平台AI Studio通过一整套的框架和服务,百度可以帮助广大开发者和企业利用工具化、平台化的方式降低深度学習应用门槛,加速推动产业智能化变革