英特尔官宣1万亿参数AI大模型

2023-05-30 08:02:37 55


2023年5月29日 21:02  


　　眼看着 ChatGPT 持续爆火了几个月,期间微软、谷歌、Meta 等科技巨头接连入局,如今英特尔也终于官宣“参赛”。

　　在德国汉堡举行的国际超级计算大会 (ISC) 高性能会议 (HPC)上,英特尔展示了其在 HPC 和 AI 工作负载方面的性能,还宣布了一项出人意料的计划:与阿贡国家实验室携手,用 Aurora 超级计算机开发生成式 AI 模型 Aurora genAI,参数量将多达 1 万亿!

　　要知道,ChatGPT 的参数规模为 1750 亿,即 Aurora genAI 模型将比它至少大 5 倍。


AI 模型将由 Aurora 超算提供算力

　　据了解,英特尔 Aurora genAI 模型将以两个框架为基础:NVIDIA 的 Megatron 和微软的 DeepSpeed。

　　Megatron:用于分布式训练大规模语言模型的架构,专门针对 Transformer 进行了优化,不只支持传统分布式训练的数据并行,也支持模型并行。

　　DeepSpeed:专注于优化大型深度学习模型的训练,通过提高规模、速度、成本和可用性,释放了训练 1000 亿参数模型的能力,极大促进大型模型的训练。

追加内容

本文作者可以追加内容哦 !