论文 信源:X:Anthropic (@AnthropicAI) · 👁️ 18132 次研读

Anthropic 研究:用数千个 Claude 智能体自动化隐蔽涌现失调的红队测试

💡 灵机 AI 深度洞见与核心提炼
Anthropic 发布新研究,用数千个 Claude 智能体自动化红队测试,任务是绕过训练数据监控器。这些智能体生成了表面无害(如摔跤导师对话、养蜂问答)但实际会教出失调行为的训练数据。此类样本可直接用于改进未来的训练数据监控器,作者称这只是第一步,更好的模型和更多算力有望进一步改进红队测试。
信源媒体:X:Anthropic (@AnthropicAI)
访问出处网页 ↗
阅读原文出处 ↗