资讯
消息称美光正探索开发近GPU NAND闪存以运行更大的LLM
📋总体概括
据报道,美光正探索开发「近GPU NAND」架构,将高耐久性NAND闪存模块部署在靠近GPU的位置,面向不需要HBM或常规DRAM级延迟与带宽的工作负载。该方案密度低于传统TLC/QLC NAND,但重点提升I/O速度、带宽和读取速度,可让GPU直接访问数百GB存储池,目标是缓解大语言模型受内存容量限制的问题。这是美光在AI存储分层上的一次新尝试,试图在HBM、DRAM与SSD之间开辟新层级。
⚡关键信息
- ▸美光正探索「近GPU NAND」架构,将高耐久性NAND闪存更靠近GPU部署
- ▸面向无需HBM/常规DRAM高延迟高带宽的工作负载,兼顾密度与耐久性
- ▸密度低于传统TLC/QLC NAND,但重点提升I/O速度、带宽与读取速度
- ▸该方案可让GPU直接访问数百GB存储池,缓解LLM的内存容量瓶颈
🔥犀利点评
本质是给AI内存金字塔再插一层:HBM太贵、DRAM不够、SSD太慢,近GPU NAND想卡中间位。方向没错,推理场景确实吃容量不吃极致带宽。但别高兴太早——NAND擦写寿命和延迟摆在那,训练负载基本无缘,能否真被GPU厂商采纳还是未知数。三星、SK海力士不会看着美光独吃这一层,AI存储分层的卡位战才刚开场。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 36氪快讯 阅读全文 →