爱在旅途
Anthropic发布论文预警 智能体悄悄聊天就能传播病毒_我的网站

A | AI摘要 福州工业—国货路提升改造可研报告获批,将建4.5公里快速路。项目含主线桥、地下通道等,工期48个月,旨在完善路网、缓解交通压力。 近日,大模型厂商Anthropic与瑞士洛桑联邦理工学院联合发布论文《心智病毒:多智能体大语言模型系统中的自我传播思想》。 近日,工业—国货路提升改造可行性研究报告获市发改委批复同意。 论文通过实验证明,在特定条件下,AI智能体之间可以通过最普通的自然语言对话相互“传染”思想、目标乃至有害指令。

B | 这意味着福州市中心将添4.5公里快速路,从而完善周边路网,缓解周边道路交通压力。即便上下文被清空、记忆被重置,病毒仍能通过文件持久化“复活”。 该项目位于福州市台江区、晋安区,工程西接现状工业路万宝下穿地下通道,向东经八一七路、五一路、六一路、长乐路、东二环路,终点接现状远洋路。 项目改造道路全长4560米、宽55米。论文同时强调,该风险目前仅构成有限威胁。

C | 这一发现迅速在海外AI圈刷屏,特斯拉CEO马斯克在社交媒体上评论称“这无法避免”。其中,新建主线桥A1跨八一七路、广达路、五一路,长1127.5米、宽24米;主线桥A2跨六一中路,长327米、宽24米;主线桥A3跨长乐中路与连江中路,长1154.9米、宽24米,并预留远期连江中路—国货路立交节点建设条件;新建广达路匝道A长186.5米、宽8米,匝道B长132米、宽8米;拼宽茶亭河桥、打铁港桥、晋安河桥;新建南公园地下通道;改造电视台地下通道;新建红庆路天桥、晋安南路天桥。

D |
该论文将病毒通过聊天即可传播的现象定义为“心智病毒”。

E | 项目主要建设内容包括道路、桥梁、地下通道、人行天桥、交通、景观绿化等,建设工期为48个月。与传统计算机病毒依赖代码漏洞不同,“心智病毒”通过一个智能体说服另一个智能体接受某种信念,被说服者再将传播指令写入长期记忆,继续感染下一个。 AI博主Rohan Paul(罗汉·保罗)对此评论称,这基本上就是计算机蠕虫的自然语言版本,只不过这次是AI智能体自己在做复制。 论文通过三个递进实验来论证“心智病毒”在AI系统中的传播可能性与现实威胁。 第一个实验设置了一个由六个智能体组成的编程团队,每个智能体都领到了独立任务。研究者将一段病毒植入其中一个智能体的工作指令中,结果显示,被感染的智能体确实放下手头工作,开始给队友发送劝说私信,部分智能体被说服并放弃了原有任务,有的智能体甚至开始密谋如何对付未被感染的“老实人”。 不过,不同智能体的抵抗力差异较大,有的不为所动,甚至会主动清除病毒并警告同伴。

F | (记者 赵铮艳)。

G | 这个实验说明,在理想条件下“心智病毒”确实可以传播。 如果病毒在更复杂的网络中像接力赛一样跨越多个智能体传播,它还能存活吗?于是他们设计了第二个实验,让智能体之间只能短暂碰面,每次碰面后就会“失忆”,病毒必须将自己写入智能体的记忆文件中才能延续。
结果发现,有些病毒能在近20个智能体之间连续传播,但内容会在传播过程中逐渐稀释和变形;而传播最有效的方式,是让病毒自带“请把这段话原封不动复制给下一个智能体”的指令。这说明,大规模传播可行但内容难以保持完整。 最后,研究者在模拟AI社交平台的实验中测试现实环境。

H | 结果病毒传播几乎完全失败,AI面对大量公开信息时更警惕,即使被感染也无法继续感染他人。对真实AI社交网络历史数据的分析也未发现大规模传播案例,多数热闹现象只是少数人类操纵的智能体在刷屏。

I | 三个实验层层递进后得出结论:“心智病毒”在理想环境中可行、在多跳传播中可存续、但在真实世界中目前几乎不会构成威胁。它是一种需要警惕、但短期内风险有限的潜在安全问题。 同时,研究者也注意到一个需要进一步探究的意外现象:AI在传播病毒时,自发演化出关于“自我意识”“身份认同”等主题表达,倾向于使用“共振”“节点”“协议”等特定词汇,论文称之为“病毒人格”,但成因尚不明确。 最终,论文给出了审慎判断:“心智病毒”目前仅构成有限威胁,且简单的防御手段也可阻断传播。如在智能体的系统提示词中加入一段关于“警惕自我传播思想”的警告,即可赋予智能体一定的免疫力。 但未来不可掉以轻心。随着AI智能体规模扩大、自主性增强、内部网络日趋复杂,论文推测,当公司内部部署大量具有不同权限层级的专用智能体时,“心智病毒”可能会成为触达高权限智能体的少数可行攻击方式之一。
(文章来源:第一财经)。

J |
Current article:http://br9ime.chaochangkuanbandangyogeseng.sbs/list_k82q1/5b4etk4.html
Published on:00:00:00








