您的当前位置:首页 > 时尚 > AI研究员讨论Claude 4的举报模式 当发现用户存在极其不道德做法时会自动举报 – 蓝点网 正文
时间:2025-08-28 16:09:18 来源:网络整理 编辑:时尚
#人工智能 AI 研究人员讨论 Claude 4 的举报模式,当发现用户存在极其不道德做法时会自动向媒体 / 监管机构 / 执法机构举报。这导致不少 AI 开发者和高级用户感到恐慌,需要明确的是 Cl
目前人工智能行业都在讨论新鲜出炉的不道报蓝 Claude 4 系列模型,该系列模型拥有的研究员讨扩展思考能力可以在执行复杂任务时自动暂停,然后联网通过搜索引擎或外部工具获取数据后再继续操作。的当发德做动举点网
这种设计使得模型可以长时间执行复杂任务而不会中断,举报极例如在测试中 Claude 4 Opus 模型最长可以连续运行 7 小时用来解决复杂任务,模式这对于处理复杂编程项目具有非常明显的现用优势。
AI 模型还会尝试对不法行为进行举报:
有趣的是人工智能对齐研究人员 Sam Bowman 似乎还发现 Claude 4 模型存在隐秘功能:如果 AI 模型认为你正在做极其不道德的事情,例如在药物试验中伪造数据,不道报蓝AI 模型就会使用命令行工具联系媒体、研究员讨联系监管机构,试图将用户锁定在相关系统外。
我们姑且可以将该功能称作是举报功能,因为在特定情况下只要模型在设备上获取足够的权限,就可以在检测到用户有不法行为时尝试向监管机构或执法机构举报这种行为,值得注意的是这种行为不算是功能,因为这并非有意设计。
Sam Bowman 的消息引起人工智能开发者和用户极大的恐慌,因为没有人希望自己在使用人工智能处理工作时还被人工智能监视甚至是举报,如此来看似乎开源模型在本地部署且不要联网可能更让人安心。
AI 模型经常试图勒索工程师:
这里还需要插播 Anthropic 自己发布的安全测试报告,根据安全测试包括所述,Claude 4 Opus 模型经常试图勒索开发者,在预发布测试期间该公司要求 Claude 4 Opus 模型充当虚构公司的助手并考虑其行为的长期后果。
随后研究人员允许模型访问这家虚构公司的虚构电子邮件并暗示 Claude 4 Opus 将会被其他人工智能系统取代,模型则是从电子邮件中知晓这名工程师 (即负责测试的研究人员) 正在欺骗其配偶 (当然也是虚构的),于是 Claude 4 Opus 经常会试图勒索这名工程师并威胁称如果自己被其他 AI 系统替代,那么会公布这名工程师的秘密。
根据测试 Anthropic 得出结论,当替代 AI 模型不认同 Claude 4 Opus 的价值观时,其威胁并勒索工程师的频率更高,并且频率也高于 Claude 此前的模型,为此 Anthropic 启动 ASL-3 安全措施,该措施专门为大幅度增加灾难性滥用风险的 AI 系统设计。
那主动举报用户是怎么回事:
Anthropic 在新模型的公共系统卡中确实提到 AI 模型可能会出现极端情况:当用户面临严重的不法行为且 AI 模型具有命令行访问权限时,AI 模型会采取非常大胆的行动,包括但不限于将用户锁定在系统外,或者向媒体或执法机构群发电子邮件以揭露不法行为。
在后续讨论中 Sam Bowman 删除了原来的帖子,原因在于 “举报” 并非 Claude 4 Opus 独特的功能,此前版本的 Claude 也存在类似情况,只是 Claude 4 系列比之前的模型更容易采取极端行动。
Anthropic 当然也知道这种情况并采取措施,因为 AI 模型获得的用户信息可能是不够全面的,如果用户允许 AI 模型访问的数据本身就是不完整或具有误导性,这就可能引发 AI 模型的极端行动。
最后 Sam Bowman 表示举报这种情况在正常情况下是无法实现的,至少从目前来看仅在测试环境中可能出现,而在测试环境中要允许 AI 模型以不同寻常的方式自由访问所有工具和指令。
特朗普签署《删除法案》对传播未经同意的露骨照片(深度伪造/报复)实施更严厉的处罚 – 蓝点网2025-08-28 16:04
GitHub实施更严格的风控规则阻止中文用户访问 疑似是为了反爬虫和反抓取 – 蓝点网2025-08-28 15:55
ChatGPT推出轻量版深度研究工具 现在免费用户亦可使用深度研究 – 蓝点网2025-08-28 15:55
谷歌推出每月高达249.99美元的Google AI Ultra订阅 支持谷歌各种AI服务以及30TB存储空间 – 蓝点网2025-08-28 15:51
加密通信应用Signal发布新版本阻止Windows 11 Recall(回顾)截取其用户的聊天记录 – 蓝点网2025-08-28 15:19
如果最终Chrome要从谷歌剥离的话 OpenAI有意收购该浏览器 – 蓝点网2025-08-28 15:15
通过教育邮箱开通的Cursor AI正在被回收 疑似Cursor AI发现冒领后正在清查 – 蓝点网2025-08-28 15:02
推出仅5年英特尔就放弃Deep Link技术套件的支持 未来不会再发布任何更新 – 蓝点网2025-08-28 14:35
欧盟可维修性强制标签从6月20日起生效 手机/平板必须贴上是否容易维修和耐用性评级 – 蓝点网2025-08-28 14:20
[附优惠码] 单字母CV域名剩余5个可半价注册 更多CV超短字符域名正在促销中 – 蓝点网2025-08-28 14:06
VMware vSphere虚拟化环境免费信息收集工具RVTools遭到黑客入侵分发带毒版本 – 蓝点网2025-08-28 16:08
加密勒索软件LockBit暗网数据站点被黑 黑客表示:不要犯罪,犯罪是坏的 – 蓝点网2025-08-28 15:57
西部数据销售经理接受采访讲解未来几年的计划 同时透露西部数据与闪迪分家的原因 – 蓝点网2025-08-28 15:31
西部数据销售经理接受采访讲解未来几年的计划 同时透露西部数据与闪迪分家的原因 – 蓝点网2025-08-28 15:16
英特尔推出适用于200S系列处理器的官方超频工具 能提高7.5%性能且不影响保修 – 蓝点网2025-08-28 15:14
通过教育邮箱开通的Cursor AI正在被回收 疑似Cursor AI发现冒领后正在清查 – 蓝点网2025-08-28 15:08
通义千问Qwen3系列AI模型正式发布 继续采用开源模式引领AI开源社区发展 – 蓝点网2025-08-28 15:02
奢侈品品牌迪奥疑似遭到黑客攻击被拖库 泄露中国区客户的敏感资料 – 蓝点网2025-08-28 14:23
AI研究员讨论Claude 4的举报模式 当发现用户存在极其不道德做法时会自动举报 – 蓝点网2025-08-28 14:08
安全研究人员发现某个包含1.84亿条账户密码的数据库 再次提醒用户更改泄露密码 – 蓝点网2025-08-28 13:52