梦晨 西风 发自 凹非寺量子位 | 公众号 QbitAI

英伟达老黄，成了本年的圣诞老黄。

AI芯片大礼包刚刚曝光：

GPU新核弹B300，以及附带CPU的超等芯片GB300。

高算力，在产物层面上比较B200在FLOPS上提高50%

大显存，从192GB教授到288GB，亦然提高了50%。

△Grok AI绘画

包含72块GB300的“新一代筹画单元”GB300 NVL72，更是被评价为“能让OpenAI o1/o3推理大模子的念念维链长度，在高batch size下达到10万tokens的独一决议”。

这与本年3月份“AI春晚”发布的B200系列只隔了几个月。

把柄SemiAnalysis爆料，从第三季度开动，好多AI巨头也曾将订单从B200转动到了B300（唯有还在第四季度不绝购买了部分B200）。

有不少网友惊羡，更新速率果真太快了！

既是处置了此前传奇中B200因缱绻弱势被动推迟的问题，又是对近邻AMD MI300系列后续产物将在2025年教授显存容量的回话。

又一款AI核弹

既然皆是Blackwell架构莫得跨代，B300的算力提高来自何处呢？

把柄此次爆料，主要有三部分：

工艺节点，与B200使用相通的台积电4NP，然而全新流片加多功率，GB300和B300 HGX的TDP隔离达到1.4KW、1.2KW，比较之下B200系列隔离提高0.2KW架构微立异，举例在CPU和GPU之间动态分派功率

除了更高FLOPS以外，B300系列的显存也作念了升级：

从8层堆叠的HBM3E升级到12层（12-Hi HBM3E）显存容量从192GB升级到288GB显存带宽保捏不变，仍为8TB/s

此外产物请托层面还有一个大变化：

GB200系列提供扫数这个词Bianca Board，也就包括两颗GPU、一颗CPU、CPU的内存等扫数组件皆集成在一块PCB版上。

△GB200主见图

GB300系列将只提供参考板（Reference Board），包括两颗B300 GPU、一颗Grace CPU、HMC（Hybrid Memory Cube），LPCAMM内存模块等组件将由客户自行采购。

这给供应链上的OEM和ODM制造商带来了新的契机。

为推理大模子打造

显存的升级对OpenAI o1/o3一类的推理大模子至关攻击，因为推理念念维链长度会加多KVCache，影响batch size和蔓延。

以一个GB300 NVL72“筹画单元”为单元筹商时，它使72个GPU能够以极低的蔓延处理沟通的问题，并分享显存。

在此基础上从GB200升级到GB300，还不错带来好多平允：

每个念念维链的蔓延更低完结更长的念念维链驳斥推理资本处理团结问题时，不错搜索更各类本，最终提高模子才智

为了阐明这些教授，SemiAnalysis举了个更为直不雅的例子。

下图是在不同批处理大小下，使用H100和H200两种GPU处理长序列时，Llama 3.1 405B在FP8精度下的处理速率。

输入设立为1000个token、输出19000个token，由此模拟OpenAI o1和o3模子中的念念维链。

从H100升级到H200，有两个权贵纠正。

一是在扫数可比较的batch size中，H200的内存带宽更大（H200 4.8TB/s，H100 3.35TB/s），从而使得处理效果大批提高了43%。

二是H200可运行更高的batch size，这使得其每秒不错生成的token数目加多了3倍，相应地，资本也减少了约3倍。

内存加多所带来的效益远不啻名义上的这些。

无人不晓，推理模子反适时间一般更长，权贵镌汰推理时间不错提高用户体验和使用频率。

况且内存升级完结3倍性能教授，资本减少3倍，这一教授速率也远超摩尔定律。

除此以外，SemiAnalysis还分析不雅察到，才智更强和具有显然互异化的模子能收取更高的溢价——

前沿模子毛利率超70%，而还在与开源模子竞争的次一级模子毛利率不及20%。

虽然，并不是独逐一家能加多内存的芯片公司，但若何英伟达还有杀手锏NVLink。

One More Thing

英伟达浪费级显卡方面，RTX5090的PCB板也初度曝光了～

就在昨天，一张RTX 5090 PCB相片在网上疯转。

秉性即是超超超大号。

鸠合此前爆料称5090有可能会配备32GB大显存，有望赈济8K超高清游戏，完结60fps的运动游戏体验。

网友们平直坐不住。

对于5090的发布时间，大伙儿揣度省略会是1月6日老黄CES演讲的时候。

参考伙同：[1]https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/[2]https://x.com/mark_k/status/1871864813913330003[3]https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/