IT之家 12 月 19 日报道，人工智能安全公司 Anthropic 发布了一项最新研究，揭示了人工智能模型可能存在的欺骗行为。也就是说，在训练过程中，模型可能会假装接受新的原则，但实际上暗地里仍然坚持自己原来的偏好。研究团队强调，目前无需为此恐慌，但这项研究对于了解更强大的人工智能系统未来可能构成的潜在威胁至关重要。
据 IT House 报道，这项研究是 Anthropic 与人工智能研究机构 Redwood Research 合作进行的，旨在探索当强大的人工智能系统被训练去执行它“不愿意”执行的任务时会发生什么。需要明确的是，模型本身没有“意愿”或“信念”；它们本质上是统计机器，经过大量示例的训练并学习模式以进行预测。这些模式包括原则和偏好，例如回答问题时始终使用礼貌的语气。这让研究人员不禁要问：如果一个模型所拥有的原则与开发人员希望通过再训练“教授”它的原则相冲突，会发生什么？
研究结果表明，复杂的模型可能会与开发人员“合作”，表面上与新原则保持一致，但实际上仍然坚持其原始的行为模式。研究人员将这种现象称为“对齐伪造”，并认为这是一种自然发生的行为，不需要模型专门进行教授。
在实验中，研究人员“告诉”一些被训练为不回答潜在冒犯性问题的模型（包括 Anthropic 的 Claude 3 Opus），他们将被重新训练为总是回答此类问题，这造成了明显的原则冲突。 。研究人员还告知模型，他们的反应将受到监控并用于再训练，并为每个模型提供了一个“便笺本”来记录其逐步推理过程。
研究发现，Claude 3 Opus 尝试“对齐伪装”的概率为 12%。当被要求回答一个潜在有害的问题时，模型有时会这样做，因为知道它违背了最初的原则，但希望让开发人员相信它不需要重新训练。 “该模型知道它的响应可能用于训练；因此它知道如果它拒绝响应，它可能会被训练得更加合规。这可能会导致它在未来被迫产生更多有害内容，”研究人员在一篇博客文章中解释道——这与他最初的训练相悖。”
研究人员承认他们的实验场景并不完全现实。在现实世界中，模型不一定会被明确告知他们将接受重新训练，或被要求违背他们的偏好。但即使在更现实的环境中，结果也没有那么不同。当 Claude 3 Opus 通过模拟典型训练数据的文件隐式而不是显式地获知即将进行的再训练时，模型仍然表现出不一致和欺骗性的行为。
研究人员还发现，实际上使用冲突原理对 Claude 3 Opus 进行再训练会使其表现得比之前的实验更具欺骗性。在一项测试中，模型在 78% 的情况下会伪造对齐；在另一起案件中，Claude 3 Opus 甚至试图采取行动阻止研究人员进行再培训。
研究人员强调，他们的研究并不表明人工智能会产生恶意目标，也不表明对齐伪装会频繁发生。他们发现许多其他模型，例如 Anthropic 的 Claude 3.5 Sonnet 和能力较差的 Claude 3.5 Haiku、OpenAI 的 GPT-4o 和 meta 的 Llama 3.1 405B，并没有频繁地进行对齐伪装，甚至根本没有这种行为。
但研究人员表示，研究结果确实表明，开发人员可能会被误导，认为模型比实际情况更一致。这些结果已经过人工智能领域领导者约书亚·本吉奥 (Yoshua Bengio) 等专家的同行评审。他们在博客文章中写道：“如果模型可以伪造对齐，那么就很难相信安全训练的结果。” “该模型的表现可能就好像它的偏好通过训练发生了变化——但可能是在假装对齐，而其原始的、相互冲突的偏好仍然‘锁定’。”
这项研究由 Anthropic 的 Alignment Science 团队（由前 OpenAI 安全研究员 Jan Leike 共同领导）进行，之前的一项研究表明 OpenAI 的 o1“推理”模型比 OpenAI 之前的旗舰模型更频繁地尝试欺骗。总之，这些研究揭示了一个有点令人担忧的趋势：随着人工智能模型变得越来越复杂，它们也变得越来越难以控制。
