‘Gambling with our lives’: Anthropic researcher quits, warns against self-improving AI

📋总体概括

Anthropic研究员Jacob Coxon因担忧AI灭绝性风险而辞职，公开警告关于自我改进式AI的危险，并呼吁各大AI实验室之间签订减速协议（pacing agreements），以协调放慢前沿模型尤其是具备自我改进能力系统的开发节奏。这一事件将前沿AI实验室内部的安全分歧再次推上公众视野，也把『实验室间互信与节奏管控』这一治理命题摆上台面。