【万字硬核实录】陈天奇：A卡跑大模型，iphone跑70B，打爆英伟达GPU算力

2023-08-13 08:01:39 51

$云创数据(SZ835305)$  

【万字硬核实录】陈天奇：A卡跑大模型，iphone跑70B，打爆英伟达GPU算力困境#AI##GPU# 

最近，很多人都在为算力发愁。

Big tech和初创公司们正在疯狂囤积英伟达GPU，VC和媒体们正如统计核库存般仔细盘点GPU的供需，互联网上分析GPU短缺的文章，亦如雨后春笋般涌现。

不过，如果我们可以用A卡代替N卡，甚至不需要GPU就可以训练大模型，一切又会发生怎样的变化呢？

说到这里，就不得不提到一位大神——TVM、MXNET、XGBoost 作者，卡内基·梅隆大学助理教授，OctoML CTO 陈天奇。

最近，由陈天奇带领的CMU机器学习编译小组（MLC）释出了使用 AMD 显卡进行大模型推理的新方案，立刻获得了机器学习社区的广泛关注。

通过这种优化方法，在最新Llama2的7B和13B模型中，用一块AMD Radeon RX 7900 XTX，速度已可达到英伟达RTX 4090的80%，或是3090Ti的94%。

8月11日，陈天奇同风险投资公司Decibel Partners 的合伙人兼首席技术官Alessio、Latent Space主理人Swyx展开了深度交流，

围绕MLC、XGBoost、WebLLM、OctoAI、自优化计算等话题展开了深度讨论，全文内容请移步评论区。

追加内容

本文作者可以追加内容哦 !