RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken

📋总体概括

伯克利与MIT团队联合开源推理框架FreeToken，宣称可在消费级显卡RTX 4060上运行350亿参数大模型，并实现每秒约39个Token的生成速度。该成果瞄准显存受限场景下的本地大模型部署，通过优化推理流程降低对高端GPU的依赖，若实际表现属实，将显著降低个人开发者和中小企业运行大模型的硬件门槛，具备开源社区推广价值。