您的当前位置:首页 > 娱乐 > AI研究员讨论Claude 4的举报模式 当发现用户存在极其不道德做法时会自动举报 – 蓝点网 正文
时间:2025-08-28 16:05:03 来源:网络整理 编辑:娱乐
#人工智能 AI 研究人员讨论 Claude 4 的举报模式,当发现用户存在极其不道德做法时会自动向媒体 / 监管机构 / 执法机构举报。这导致不少 AI 开发者和高级用户感到恐慌,需要明确的是 Cl
目前人工智能行业都在讨论新鲜出炉的不道报蓝 Claude 4 系列模型,该系列模型拥有的研究员讨扩展思考能力可以在执行复杂任务时自动暂停,然后联网通过搜索引擎或外部工具获取数据后再继续操作。的当发德做动举点网
这种设计使得模型可以长时间执行复杂任务而不会中断,举报极例如在测试中 Claude 4 Opus 模型最长可以连续运行 7 小时用来解决复杂任务,模式这对于处理复杂编程项目具有非常明显的现用优势。
AI 模型还会尝试对不法行为进行举报:
有趣的是人工智能对齐研究人员 Sam Bowman 似乎还发现 Claude 4 模型存在隐秘功能:如果 AI 模型认为你正在做极其不道德的事情,例如在药物试验中伪造数据,不道报蓝AI 模型就会使用命令行工具联系媒体、研究员讨联系监管机构,试图将用户锁定在相关系统外。
我们姑且可以将该功能称作是举报功能,因为在特定情况下只要模型在设备上获取足够的权限,就可以在检测到用户有不法行为时尝试向监管机构或执法机构举报这种行为,值得注意的是这种行为不算是功能,因为这并非有意设计。
Sam Bowman 的消息引起人工智能开发者和用户极大的恐慌,因为没有人希望自己在使用人工智能处理工作时还被人工智能监视甚至是举报,如此来看似乎开源模型在本地部署且不要联网可能更让人安心。
AI 模型经常试图勒索工程师:
这里还需要插播 Anthropic 自己发布的安全测试报告,根据安全测试包括所述,Claude 4 Opus 模型经常试图勒索开发者,在预发布测试期间该公司要求 Claude 4 Opus 模型充当虚构公司的助手并考虑其行为的长期后果。
随后研究人员允许模型访问这家虚构公司的虚构电子邮件并暗示 Claude 4 Opus 将会被其他人工智能系统取代,模型则是从电子邮件中知晓这名工程师 (即负责测试的研究人员) 正在欺骗其配偶 (当然也是虚构的),于是 Claude 4 Opus 经常会试图勒索这名工程师并威胁称如果自己被其他 AI 系统替代,那么会公布这名工程师的秘密。
根据测试 Anthropic 得出结论,当替代 AI 模型不认同 Claude 4 Opus 的价值观时,其威胁并勒索工程师的频率更高,并且频率也高于 Claude 此前的模型,为此 Anthropic 启动 ASL-3 安全措施,该措施专门为大幅度增加灾难性滥用风险的 AI 系统设计。
那主动举报用户是怎么回事:
Anthropic 在新模型的公共系统卡中确实提到 AI 模型可能会出现极端情况:当用户面临严重的不法行为且 AI 模型具有命令行访问权限时,AI 模型会采取非常大胆的行动,包括但不限于将用户锁定在系统外,或者向媒体或执法机构群发电子邮件以揭露不法行为。
在后续讨论中 Sam Bowman 删除了原来的帖子,原因在于 “举报” 并非 Claude 4 Opus 独特的功能,此前版本的 Claude 也存在类似情况,只是 Claude 4 系列比之前的模型更容易采取极端行动。
Anthropic 当然也知道这种情况并采取措施,因为 AI 模型获得的用户信息可能是不够全面的,如果用户允许 AI 模型访问的数据本身就是不完整或具有误导性,这就可能引发 AI 模型的极端行动。
最后 Sam Bowman 表示举报这种情况在正常情况下是无法实现的,至少从目前来看仅在测试环境中可能出现,而在测试环境中要允许 AI 模型以不同寻常的方式自由访问所有工具和指令。
在退出智能手机市场后LG宣布停止为设备提供软件更新 服务器将在6月30日关闭 – 蓝点网2025-08-28 15:21
阿里云多个域名注册/续费价格将在5月7日上涨 如有需要请尽早注册/续费/转出 – 蓝点网2025-08-28 15:20
安装VMware软件更新都算侵权?博通要求永久许可证用户额外付费签订支持合同 – 蓝点网2025-08-28 15:10
苹果可能会降低Apple App Store抽成吸引开发者 避免更多开发者使用外部支付 – 蓝点网2025-08-28 14:25
苹果更新清单将iPhone 7 Plus和两款iPhone 8列为过时产品不再提供完整维修服务 – 蓝点网2025-08-28 14:24
ChatGPT更新Plus订阅用户的使用配额 每周使用o3模型可以发送100条消息 – 蓝点网2025-08-28 14:14
互联网论坛4Chan被攻击后透露攻击细节 同时声称缺乏资金进行必要维护 – 蓝点网2025-08-28 13:58
逼近110,000美元/个:比特币价格再创历史新高 – 蓝点网2025-08-28 13:52
奢侈品品牌迪奥疑似遭到黑客攻击被拖库 泄露中国区客户的敏感资料 – 蓝点网2025-08-28 13:45
群晖正式发布DS925+网络附加存储设备 采用AMD处理器和双2.5GbE网口 – 蓝点网2025-08-28 13:32
部分国内高校学生开通的Cursor Pro会员暂时保留 后续可能需要再次验证身份 – 蓝点网2025-08-28 15:58
黑客大赛Pwn2Own 2025 柏林站结束 研究人员利用多个零日漏洞获得107万美元奖励 – 蓝点网2025-08-28 15:50
首发:Microsoft Office 2024 LTSC版下载、安装、激活全教程 – 蓝点网2025-08-28 15:44
腾讯云SDK发布超过20万个版本导致GitHub无法正常加载 腾讯云回应称正在进行优化 – 蓝点网2025-08-28 15:40
Anthropic发布Claude 4 编程和复杂任务处理能力大幅度提升 但上下文仍然是200K – 蓝点网2025-08-28 14:57
俄罗斯起草新法案将比特币等加密货币视为刑事调查中可扣押和没收的财产 – 蓝点网2025-08-28 14:51
AMD发布AGESA固件更新修复ZEN 1~5处理器漏洞 黑客利用漏洞可执行任意微代码 – 蓝点网2025-08-28 14:20
互联网论坛4Chan被攻击后透露攻击细节 同时声称缺乏资金进行必要维护 – 蓝点网2025-08-28 14:13
官方下场:万事达联合OKX等多个加密货币交易所推出稳定币消费功能 – 蓝点网2025-08-28 14:02
开源加密库OpenPGP.js出现重大安全漏洞 电子邮件公钥加密被彻底破坏 – 蓝点网2025-08-28 13:25