资讯

训练和推理都用GPU——前向反向与缓存的三笔账

B站-科技区·2026/9/11 06:50:54🔗 原文

📋总体概括

删掉反向传播，显存为什么还在涨？训练与推理共享 GPU，却有三本不同的账。本期内容： 1. 用一个参数拆开前向、反向与优化器更新，CPU 也能核验梯度 2. PyTorch 固定版本源码：eval 为什么不关闭自动微分 3. 梯度累积、Adam 历史与激活重算的生命周期 4. 分类、编码和自回归推理的边界 5. Prefill、decode 与分层 KV 缓存的容量公式 6. GPU 异步计时

⚡关键信息

▸删掉反向传播，显存为什么还在涨？训练与推理共享 GPU，却有三本不同的账。
▸1. 用一个参数拆开前向、反向与优化器更新，CPU 也能核验梯度
▸2. PyTorch 固定版本源码：eval 为什么不关闭自动微分

📰 相关资讯（与本文相关的其他资讯）

资讯SpaceX爆料重磅利好：百亿美元算力大单落地，轨道算力时间表出炉🔥9.0

财联社深度·2026/9/11

资讯SpaceX再签AI算力大单、CFO称年底ARR有望冲千亿美元，明年首发太空算力卫星🔥9.0

华尔街见闻·2026/9/10

资讯Aerospacelab, Thales Alenia Space Secure €5.4 Billion in IRIS2 Contracts🔥9.0

EuropeanSpaceflight·2026/9/10

资讯北京：加快发展商业航天产业，突破可重复使用火箭和大推力发动机技术🔥9.0

36氪快讯·2026/9/9

本文由本站自动聚合，以下为原始来源：前往 B站-科技区阅读全文 →

← 返回资讯流