2024云栖大会圆满收官：NVIDIA高光时刻精彩回顾及亮点总结

以“云启智跃 · 产业蝶变”为主题的 2024 云栖大会于 9 月 21 日圆满落幕。作为全球加速计算的领导者，NVIDIA 全面参与大会，展示了针对大语言模型（LLM）和生成式 AI 落地的数据中心级端到端技术栈和云上解决方案及用例，生态加速项目，以及生态企业解决方案；NVIDIA 也分享和深入探讨了全栈视角下的加速计算技术和实践，包括系统架构设计、训练与推理工程的加速和成本降低、应用开发范式的创新、云和生态系统的合作等。本文将带您回顾 NVIDIA 在本届云栖大会上的高光时刻。

高光时刻一：

在 NVIDIA 展区一站式领略

基于 CUDA 的全栈加速计算技术

今年，NVIDIA 展区由 NVIDIA 加速计算技术、云上解决方案和客户实践、LLM 互动技术演示、初创加速计划、企业开发者社区、深度学习培训中心（DLI）、AI 小课堂七大板块构成，不仅凸显了 NVIDIA 与云和生态的技术合作，也体现了 NVIDIA 引领行业在 AI 应用、软件、算法、集群等各个层面协同创新和持续优化。NVIDIA 加速计算技术展示了包括 NVIDIA RAPIDS™ cuDF、NeMo™、Megatron-Core、TensorRT-LLM、Triton™ 推理服务器、NIM 预构建容器工具、Spectrum-4 SN5600 网络交换机、BlueField®-3 网络平台、基于 NVIDIA Spectrum-4 的阿里云白盒以太网交换机，以及 NVIDIA Omniverse™。

LLM 互动技术演示区成为了体验生成式 AI 魅力的热门打卡点。大会观众在此体验了由 LLM 驱动的逼真 NPC 交互，可以通过键盘打字、话筒语音输入的方式，用中英文和 NPC 对话，并可以看到其对话时栩栩如生的面部表情；另一个 Stable Diffusion ComfyUI 应用的图像生成技术演示，可以让观众在现场输入自拍照后，仅用数秒，即可获得基于其自拍照的超级英雄图片。

紧邻技术演示区，NVIDIA 企业开发者社区与 NVIDIA 深度学习培训中心（DLI）也吸引了众多观众的目光。此外，一如往年，“NVIDIA AI 小课堂”如期举行，三位 NVIDIA 讲师分别带来“基于 NIM 构建 LLM-RAG 智能检索应用”、“NVIDIA AI 推理加速解决方案”以及“NVIDIA Spectrum-X – 适用于 AI 的下一代以太网”话题，诠释 AI 技术带来的魅力与变革。

此外，NVIDIA 展区还展示了云上解决方案和客户用例，包括：

猿辅导集团：Motiff 妙多 AI 时代设计工具，基于 NVIDIA 加速计算，驱动 AI 直接生成产品界面。吉利集团：极氪浩瀚智驾 2.0 启动端到端大模型，基于 NVIDIA 芯片，打造智驾新体验，自研域控，行车，泊车与主动安全全场景覆盖，城市领航功能全国都能用。阿里云容器服务（ACK）：在阿里云容器服务 ACK 集群上部署 NIM 预构建容器工具，使用其云原生 AI 套件，开源的 KServe 等组件和 Prometheus 监控服务，以及 NIM 提供的丰富监控指标，快速拉起高性能、可实时观测、极致弹性的模型推理服务。魔搭社区：魔搭社区上线 TensorRT-LLM，支持主流 LLM 推理优化和常用量化方法，并适配不同环境，其中使用 FP8 量化，可获得相比 HuggingFace 基准，最高 8.6 倍的整体推理性能提升。蚂蚁集团：图谱自动构建和可信问答，基于 LLM 的私域知识库自动图谱构建和可信问答。阿里云云工开物校园云：NVIDIA 与阿里云支持中国高校 AI 通识教育。阿里云函数计算（FC）：阿里云与 NVIDIA 共同打造更高效的推理平台，推理速度提升 30%。月之暗面：Kimi 底层推理平台 Mooncake——基于 KVCache 的分离式推理架构。阿里云计算巢服务：NVIDIA AI Enterprise 结合计算巢实现 LLM 快速 SaaS 化和软件一站式上云。vGPU：按“虚”而动，大势所趋，NVIDIA vGPU 解决方案助力阿里云弹性计算。

高光时刻二：

NVIDIA 精彩演讲与专题论坛

在本次云栖大会上，多位 NVIDIA 专家发表了精彩演讲，分享洞见，深入解读了 NVIDIA 如何推动行业的进步与创新。

*以上图片均来自阿里云，如您有任何疑问或需要使用以上图片。请联系阿里云

在 9 月 19 日《云与 AI 的创见》 主论坛的圆桌对话环节，NVIDIA 全球副总裁、汽车事业部负责人吴新宙与小鹏汽车董事长、CEO 何小鹏围绕“生成式 AI 重塑自动驾驶”主题展开了精彩的圆桌对话。

NVIDIA 全球副总裁刘念宁在“智汇”她力量论坛演讲中，与大家分享了几个世纪以来女性的收入和劳动力市场参与情况，并对比在全球化和数字化的新时代背景下，现代女性正以前所未有的姿态参与到社会的各个层面之中，展现出了非凡的能力和贡献，并表示 AI 新工业革命将激励更多女性的参与。精彩演讲成功收获了现场观众的热烈反响。

*以上图片均来自阿里云，如您有任何疑问或需要使用以上图片。请联系阿里云

在 9 月 20 日的“面向 Al 的可预期智算网络”论坛中，NVIDIA 网络高级副总裁 Gilad Shainer 为参会观众带来了“迈向 AI 网络创新的新领域”的主题演讲，深入探讨了 NVIDIA AI 计算和网络架构的细节及其在下一代 AI 数据中心设计中的重要作用。

此外，在 9 月 19 日的“聚力 · 链接 · 创见：开放生态中的 MaaS 版图”论坛中，NVIDIA 开发与技术部门亚太区资深总监李曦鹏发表了“加速大语言模型推理”主题演讲，围绕最新开源模型、工具、模型应用现状等展开分享。在同日的两场并行话题中，NVIDIA 解决方案架构师金国强及阿里云智能集团高级技术专家聂大鹏带来了题为“Serverless GPU 助力 AI 推理加速”的演讲内容；阿里云智能集团数据库产品事业部高级技术专家王正恒及 NVIDIA GPU 计算专家团队高级经理季光带来了“Tair：基于 KV 缓存的推理加速服务”主题演讲。大会后两日，NVIDIA 软件高级总监卓睿，以及 NVIDIA 解决方案架构师毛亦姝分别出席了“AI 时代通义智能端侧”、“计算巢，软件上云一站式解决方案”两大分论坛，带来了关于“大语言模型在 NVIDIA DRIVE 平台的应用”以及“NVIDIA NIM 联合阿里云计算巢助力 LLM 快速 SaaS 化”的探讨。

高光时刻三：

NVIDIA 专场“大语言模型时代的加速计算”

NVIDIA 全球副总裁何涛为专场观众致欢迎词

在本次云栖大会上，NVIDIA 举办了以“大语言模型时代的加速计算”为主题的专场论坛，成为了大会的一个亮点，吸引了众多行业专业人士的关注。通过这些精彩纷呈的分享和讨论，与会者对 NVIDIA 在大语言模型时代如何引领技术创新和行业发展有了更全面的理解。

在本次专场中，NVIDIA 全球副总裁何涛为专场观众致欢迎词，此后，NVIDIA 开发与技术部门亚太区资深总监李曦鹏带来了开场演讲 “大语言模型时代的加速计算”，分享加速计算在大语言模型时代的变革与传承，深入探讨 NVIDIA 如何应对大语言模型带来的新技术挑战以及解决方案。

此外，NVIDIA 解决方案架构师金国强与阿里云智能集团弹性计算高级开发工程师刘霖分享“让生成式 AI 触手可及：NVIDIA NIM 助力企业级大模型推理优化部署”。NVIDIA 资深解决方案架构师刘功元在“NVIDIA 加速计算助力生成式 AI”的演讲中，重点介绍 GPU 架构，GPU 集群 Scale-up 和 Scale-out 的演进，以及助力生成式 AI 的落地的最佳实践。NVIDIA GPU 计算专家张顺康和王猛分别分享了“NVIDIA Megatron-Core MoE：架构、特性与性能优化”，以及“NVIDIA TensorRT-LLM：大模型推理优化最佳实践”。阿里云智能集团算法专家李鹏分享了“PAI-Megatron-Patch：围绕 Megatron-Core 打造大语言模型训练加速生态”，接着阿里云智能集团高级技术专家张杰（王林）则以及“PAI-ChatLearn：借助 Megatron-LM 实现高效 Alignment 训练”为题进行了分享。最后，NVIDIA 亚太区企业级软件负责人张旭、埃森哲大中华区技术服务事业部资深解决方案架构师杨阳和阿里云智能集团弹性计算开发工程师高涵，共同讨论了“NVIDIA AI Enterprise 助力传统企业 LLM 上云”，分享如何基于定制企业专有数据和微调模型，助力打造定制化的企业级解决方案。

高光时刻四：

NVIDIA 初创加速计划会员企业亮相

在今年新增的 NVIDIA Inception Pavilion 展区，共有 10 家 NVIDIA 初创加速计划会员企业参展，包括 6Estates、FathomX Pte. Ltd.、MetaLearner、8glabs Inc.、WeShop、深圳幻影未来信息科技有限公司、万生华态科技有限公司、北京睿甄创新科技有限公司、酷牛创新技术（深圳）有限公司和埃罗科技（上海）有限公司。每家初创企业都展示了令人耳目一新的创新成果，吸引了众多关注。

总结

最后，衷心感谢所有线上线下观众的热烈关注与积极参与本次 2024 云栖大会。NVIDIA 期待与大家再次相聚，共同见证 AI 新时代的发展！