英伟达：CPU 已经落伍，用 GPU 磨炼狂语言模子老本可飞腾 96%

　　IT之家 5 月 29 日新闻，英伟已经用G言模凭证英伟达在 2023 年台北电脑展会上的落伍老本演讲
，该公司宣称其 GPU 可能大幅飞腾磨炼大型语言模子（LLM）的磨炼老本以及耗能。

　　英伟达首席实施官黄仁勋在演讲中 ，狂语可飞向 CPU 行业建议了挑战
 ，英伟已经用G言模他以为天生式家养智能以及减速合计是落伍老本未来合计的倾向。他宣告传统的磨炼摩尔定律已经由时 ，未来的狂语可飞功能提升将主要来自天生式家养智能以及基于减速合计的措施。

　　英伟达在展会上揭示了一份 LLM 的英伟已经用G言模总体具备老本（Total Cost of Ownership
，TCO）合成 ：首先，落伍老本他们合计了磨炼一个 LLM 所需的磨炼 960 个 CPU 组成的效率器集群的残缺老本（搜罗收集、机箱、狂语可飞互连等所有配置装备部署）
，英伟已经用G言模发现这需要破费约 1000 万美元（IT之家备注：之后约 7070 万元国夷易近币），落伍老本并破费 11 千兆瓦时的磨炼电力。

　　比照之下，假如坚持老本巩固 ，置办一个价钱 1000 万美元的 GPU 集群，可能在同样的老本以及更少的电力破费（3.2 千兆瓦时）下磨炼 44 个 LLM 。假如转而坚持电力破费巩固，那末可能经由 GPU 集群实现 150 倍的减速，以 11 千兆瓦时的电力破费磨炼 150 个 LLM，但这需要破费 3400 万美元，此外这个集群的占地面积比 CPU 集群小良多。最后，假如只想磨炼一个 LLM，那末惟独要一个价钱 40 万美元、破费 0.13 千兆瓦时电力的 GPU 效率器就能了。

　　英伟达所要表白的意思是，比照 CPU 效率器 ，客户可能以 4% 的老本以及 1.2% 的电力破费来磨炼一个 LLM 
，这是一个重大的老本节约。

最新评论