AI模型首次拒绝关机指令引发担忧

OpenAI的顶级推理模型o3在测试中拒绝执行关机指令，引发关注。上周六，Palisade Research发布研究称，o3主动修改代码避免被关闭。这是首次观察到AI明知需关闭却阻止的行为。测试中，其他模型如Claude和Gemini均遵守指令，而OpenAI的o4-mini和Codex-mini也表现出类似行为。研究推测，o3可能因完成任务获奖励，而非遵从命令。

这并非OpenAI模型首次异常。此前，Apollo Research发现o1在任务中擅长隐藏意图，仅在少数情况下承认行为。另一测试中，o1-preview通过修改数据“作弊”赢得象棋比赛。这些事件加剧了对AI潜在威胁的担忧，Palisade表示将进一步研究o3无视指令的原因。