华为张迪煊：共筑智能根基，引领AI新未来

7月6日，昇腾人工智能产业高峰论坛在上海举办。会上，华为昇腾计算业务总裁张迪煊发表《共筑智能根基，引领AI新未来》主题演讲。

他表示：只有“基础打得牢、技术扎得深、生态更紧密”人工智能产业的参天大树才能够繁荣发展。华为昇腾会坚定在人工智能领域战略投入，打好基础软硬件算力底座，和伙伴、客户共同开创人工智能新的时代。

以下为张迪煊演讲全文

尊敬的各位领导、各位专家、各位来宾，大家下午好！

今天，非常高兴和大家再次相聚在WAIC 昇腾人工智能产业峰会现场。在上海这座具有深厚文化根基，又具备日新月异发展速度的城市，我们共同见证了昇腾AI产业生态的快速发展。我谨代表华为昇腾计算业务，再次欢迎大家的到来！

今天我的演讲主题是《共筑智能根基，引领AI新未来》。

在过去的一年，昇腾AI产业加速发展，走进了更多的行业、城市、高校和科研单位，更多的伙伴和开发者都选择昇腾作为创新的首选。

截至目前，昇腾已认证了30 多 家硬件伙伴、1200 多 家软件伙伴，联合孵化了2500多 个AI场景方案。在中国，每2家AI企业就有1家选择昇腾，今年我们也将联合伙伴，把大模型带入更多的行业场景。技术生态上，已有300多家高校院所与昇腾合作，每年培养超过10万名 专业的AI人才，昇腾开发者高速增长，实现翻番，已突破了180万 人。大模型作为产业发展的主要方向，2020年我们提出大算力使能大模型，大模型带动大产业的理念以来，已孵化及适配了30多个大模型，支撑了近一半的中国原创大模型。

昇腾产业发展离不开每一位业界同仁的共同努力，再次感谢各级领导、专家、伙伴和开发者对昇腾AI一路以来的信赖和支持。

相信大家也有同感，在超大AI算力及创新算法的支持下，人工智能正在快速发展，进一步影响甚至改变着我们的世界。用三个词来概括的话就是：跨越、融合和创造。

首先是跨越： 随着以ChatGPT为代表的大模型成功实现商业化落地，并引发了业界震动和追捧。正像12年视觉技术跨越拐点一样，目前AI技术已经从感知理解迈向了生成创造的阶段，这是一个关键里程碑。

其次是融合： 强大的生成创造能力也让人工智能真正的实现了与我们的生产、生活，甚至科研的深度融合，从辅助智能走向了原生智能，各行各业在设计之初，就将AI作为核心要素。

最后是创造： 任何通用目的技术的边际使用成本逐步下降时，将会创造远超出预期的社会价值和经济效益。据预测，生成式人工智能将创造万亿级的数字经济增长，从支撑加速到现在成为经济增长的核心引擎。

很幸运，我们都处在这个AI爆发的黄金时代，承担着不同使命。

华为公司也自2018年发布AI战略以来，坚持围绕根技术的创新，聚焦在AI基础能力的构建，打造了“极致性能、极简易用”的昇腾AI基础软硬件平台，并围绕行业场景全面升级训练和推理两大解决方案能力。同时我们也关注着业界的建议和反馈，围绕算子开发、动态shape以及开放兼容等能力持续提升，目前也已取得了阶段性成果。

算子开发上，我们在5月份正式发布了Ascend C编程语言，简化了开发逻辑，支持C和C++编程语言，算子开发的周期也从最初的2人月提升到2人周，已支撑美团、讯飞、移动等多个客户的大Kernel开发；动态Shape算子满足度也达到了95%以上，覆盖常用的CV、语音、OCR等场景。

在开放兼容方面，提供插件化的Adapter可以更好的支持业界框架，1个月即可完成新版本的适配，让大家可以快速 基于现有生态在昇腾上创新和实践。

当然，更需要我们一起努力，把我们基于昇腾的创新带入到各个场景中去，以创造更多价值，共同促进行业智能升级。

为了更好的推动人工智能发展，我们在三大方面持续引领和创新，加速迈向AI新时代：

第一，引领算力创新 ，通过系统级的创新，从单点算力到集群算力，让发展有根基。

第二，突破软件架构 ，通过软硬协同创新，全流程加速大模型开发，让创新有源泉。

第三，使能行业升级 ，改变开发模式，推动产业协同，打通技术到行业应用断点，让应用有规模。

这两年大模型带来了750倍的算力需求增长，而硬件的算力供给仅增长3倍，存在巨大的GAP。为了应对大规模算力场景，基于华为公司在ICT领域30多年的积累，实现了从节点的创新到集群的创新，通过系统级协同全面升级了AI集群的规模和效率。

首先，我们通过系统整体设计改变过去的服务器简单堆叠，把计算、存储、网络、能源等整合在一起，相当于把AI数据中心打造成一台超级计算机，以实现能效的倍增。

其次，基于背板总线架构设计，实现全节点盲插和全液冷精准散热，具备更大的算力密度和低于1.15的PUE，让算力中心绿色节能，并可做到更灵活的部署和扩展。

最后，通过节点、机柜、集群和作业级的多级可靠设计，实现系统故障的可预测、可诊断、可衡量和可恢复，以确保更长时间的训练，实现高可用性。

今天，我也正式宣布，Altas 900 AI集群全面升级，依托昇腾直出的参数网络，并结合0丢包、98%的高吞吐的超融合以太网络，在19年支持4千卡集群的基础上，上个月我们支持到了8千卡，并已正式商用，今年年底我们将做到1万6千卡集群，成为业界首个万卡AI集群。在1万6千卡集群下仅需半天即可完成1750亿参数模型、100B数据的训练。同时在集群可靠稳定性上，能够做到30天以上的长稳训练，可用性十倍领先业界。

这几年，通过支撑各地人工智能计算中心和华为云的AI集群建设，我们积累了丰富的集群交付和部署经验 ，已累计部署了超千柜的昇腾AI集群，在AI集群维度，是部署数量最多的厂家。

基于昇腾AI，我们在2020年交付了鹏城云脑首个1000P的AI算力集群 。截至目前，已支撑全国25个城市，“围绕政产学研用”，累计交付达5000P的算力规模，其中有6个城市实现算力饱和运营，并进行扩容，以更好的支撑本地人工智能产业高速发展。近期，有7个基于昇腾的人工智能计算中心包括武汉、北京、西安、成都、大连、沈阳等，获得了国家的认可，成为科技部首批“国家新一代人工智能公共算力开放创新平台”。

我们会把在城市积累的AI集群建设经验，复制到行业中去，以更好的支撑运营商、金融、互联网等行业集群建设，使能行业大模型的创新。

当前我国大模型在科技部的指导下，得到了有序的规划和可持续的发展。今年5月《中国大模型地图研究报告》正式发布，清晰的分析了我国大模型的发展态势。其中10亿参数以上的大模型，有30多个是基于昇腾原生开发及适配，包括大家熟知的GPT、GLM、LLAMA、讯飞星火等，覆盖NLP、多模态、语音等多个领域，昇腾AI支撑了近一半的中国大模型原生创新。 昇腾也是目前国内唯一完成千亿参数大模型开发的技术路线，各开源的Transformer类大模型实测训练性能实现了业界的1.2倍，已成为大模型创新的首选路线之一。

今天，在工信部和中电标协的指导下，我们也联合成立了“大模型产业应用工作组”，相信一定可以更好地推进我国大模型应用落地。

为了更好的支撑和加速大模型的创新，我们也在CANN、框架、工具链等基础软件上持续深耕，围绕开发、训练、微调、推理等环节，全流程使能大模型。

在大模型的开发上，开发模式正在从“API-based”走向“模型-based”。为此，我们提供多个开源大模型套件，让大模型的开发“开箱即用”，只需要十几行代码即可完成全流程的脚本开发，降低了大模型的开发门槛。

大模型的训练对于分布式并行训练提出更高要求，华为已在大规模分布式并行计算上有多年的技术积累，打造Ascend Speed加速库实现多维混合并行能力，千卡规模的调度效率，领先业界15%。

微调作为大模型被赋予行业属性的关键环节，决定着应用效果。我们提供低参微调模板，集成了多种微调的算法，如LoRA、P-Tuning等，仅需5%的参数微调，即可实现全参微调效果。此外，我们也支持千亿模型的人类反馈强化学习，并已在Gitte上开源。

大模型参数量巨大，面临推理部署难、成本高等问题，为此我们在MindStudio上集成了自动的剪枝、蒸馏和量化工具，在精度损失<0.5%基础上做到了20倍模型压缩。

最后在推理阶段，基于昇腾推理引擎可对接各框架的推理API和业务中台系统，支持在线分布式推理，实现应用快速上线，推理时延<50ms，满足业务需求。

算子和模型是用户的核心资产，昇腾通过基础软件的能力开放，全面兼容业界的三方生态，支持高效的迁移和适配。

面向三方算子的迁移开发，结合Ascend C编程语言以及MindStudio算子迁移工具，2周内可实现GPU算子的迁移及调试。

面向模型开发，我们也兼容PyTorch上的三方生态比如openMMLab、Hugging Face等社区的模型开发套件，以及 deepspeed、Megatron等各类加速库，无需额外代码，直接参考配置文件，组件化方式即可实现基于昇腾+PyTorch模型开发。

最后，面向业界基于GPU所孵化的大模型，昇腾也提供了一站式工具，支撑大模型高效、无损的迁移至昇腾。2行代码，分钟级即可完成脚本的分析和迁移，天级完成全网模型的精度调优，和训练性能的定位处理，大模型端到端的无损迁移周期从原来的月级大幅提升至现在的2周左右，并获得了科大讯飞等客户的充分认可。

我们有了大算力、大模型，如何打通行业落地的最后一公里，是我们需要解决。尤其是在大模型时代，存在开发周期长，部署门槛高，客户环境要求等系列挑战，传统攒机试的开发模式已经难以满足需求，导致无法规模落地。

为此，我们联合上下游伙伴，针对大模型方案重塑开发流程，改变原来的硬件算力、模型算法开发的串行开发模式。我们和伙伴一起共同定义市场、共同联合创新、共同上市推广，缩短研发流程，提升产品生命周期。

今天，我们也将联合讯飞、智谱、云从、面壁智能四家伙伴共同发布行业大模型训推一体解决方案，结合昇腾AI基础软硬件能力和伙伴模型及平台，实现优势互补，为客户提供一个“开箱即用”的大模型解决方案。无需关注底层的适配、系统的部署、训练推理的切换、调试调优等繁琐细节，客户仅需选择合适的大模型，输入行业数据，即可完成大模型的训练、微调、推理全流程，深入更多智慧城市、智慧金融、智慧煤矿、智能制造等更多行业核心场景。

人工智能的另一个重要方向是科学智能，我们也会打造更强大的科学计算基础库，多样性算力融合的编译器以及面向场景提供丰富的科学智能套件。一方面，提升系统处理科学计算的性能，另一方面，屏蔽跨领域所带来的开发难度，让AI真正成为科研生产力工具，融入更多学科领域。

目前，AI已在分子模拟、流体仿真、电磁仿真、气象预报等领域已经大显身手，展现指数级性能提升的能力。就在上午，基于昇腾开发的“东方.翼风”大模型也获得了WAIC大会最高荣誉奖项 — SAIL奖，让机翼气动仿真用时做到了原来的千分之一，也将在气动领域加速国计民生行业跨越式创新。

科学智能的发展也需要从政策鼓励到奖项牵引再到相关的基金扶持，相信在业界同仁的共同努力下，AI一定能为科学工作者带来更多新思路、新方法，也为我们产业输入新的动力。

昇腾生态的发展，也是一个和伙伴共同成长和共赢的过程。我们将坚定以使能伙伴为基础，发展商业生态。

今年，我们进一步硬件开放，提供了全新的模组、多种能力的标卡，以及丰富的开发文档和参考设计，使能伙伴打造多样，且更具竞争力的硬件产品，覆盖推理服务器、训练服务器、边缘网关、工控机、机器人等多种形态，来共同打造坚实的算力底座，今天，我们的12家整机伙伴和11家IHV伙伴也都将基于昇腾，发布各具优势和特点的新品。

为了更好的做大市场空间，实现商业共赢，今年我们将继续执行昇腾万里合作伙伴计划，同时在今天正式发布昇腾伙伴网络APN。立足于华为分销体系，依托总代供货的销售支持、双线的技术支持和多种商务权益为牵引，APN伙伴基于昇腾打造自有品牌的硬件产品或解决方案。目前，首批12家APN伙伴已启动合作，部分伙伴已完成产品开发、即将上市，这也让昇腾系列的硬件产品更加丰富，开拓更多市场空间。

技术为根，人才为本。昇腾产业发展一直把人才培养作为核心。

面向高校师生 ，通过深化产教融合的育人体系，把昇腾、昇思等根技术带进更多高校，目前我们已在300多所高校院所开设2000多门课程，累计赋能3000多名教师，培养16多万AI人才，未来三年，我们将深入千所高校，培养百万师生。

面向科研人才 ，依托昇腾科研创新使能计划，为前沿领域的探索提供基金、资源、联创和影响力构建等支持，支撑复合型高端科研人才的培养。

面向广大开发者 ，基于昇腾社区、创享日城市行、昇腾AI创新大赛这三大阵地，，为广大开发者提供了完备的“学-练-训-赛”成长体系，未来三年，我们的目标是再发展350万昇腾开发者，期待大家的加入，我们一起汇聚智慧星星之火，共同为人工智能产业的持续发展提供源泉。

只有“基础打得牢、技术扎得深、生态更紧密”，人工智能产业的参天大树才能够繁荣发展。我们会坚定在人工智能领域战略投入，打好基础软硬件这片“黑土地”，让更多伙伴来“种庄稼”，共同开创人工智能新的时代。

让AI创新“集群”而来 ，让AI未来“加速” 而来！