“龙虾潮”的冷思考|图源：AIGC
作者／ IT时报 郝俊慧 编辑／ 钱立富 孙妍
上海的春天里，OpenClaw掀起的“养虾热”席卷浦江两岸。在3月27日举行的全球开发者先锋大会（GDPS）上，“龙虾”是最热的关键词之一，抱着电脑“装龙虾”的市民排起了长队。
而在同日由上海邮电经济研究会举办的2026年一季度学术研讨会上，来自高校、科研院所、电信运营商等领域的专家却在讨论另一个问题——“龙虾”是否安全？智能体的能力与安全又该如何评测？
“当前，智能体的能力并没有那么可靠。”上海计算机软件技术开发中心人工智能治理研究所副所长陈敏刚表示，Claw-Eval智能体测评基准最新结果显示，即便是当前最强的商业基座模型，在104项真实世界任务中连续三次全部成功的通过率也仅有70.8%。
上海人工智能实验室安全可信AI中心青年研究员汪旭鸿则将智能体安全评测分为L1至L5五个等级：“现在大部分机构做的是L1和L2的测评，突破L3需要各行业共同搭建基础设施，单个测评机构很难完成。”
“如果AI的可信度不高，它是不是依旧只是一个玩具，抑或只是大家的谈资？评测结果能否成为智能体产品化的前提？”上海邮电经济研究会会长马明抛出了一个AI落地时的“灵魂拷问”。
研讨会上透露，上海正在制定一项关于“智能体评测指标与方法”的团体标准，预计今年上半年正式发布。
智能体风险陡增
AI正从会做题转向会办事，AI安全风险也随之进入新态势：从“投毒”大模型到智能体“失控”，当前的AI安全评测和防范体系，正以慢得多的速度，追赶着智能体能力的提升。
在大模型阶段，提示词注入最坏的结果是输出一段不当文字。但到智能体阶段，一旦它与真实业务系统相连，黑客攻击后便可以窃取密码、篡改数据库记录、导致商业机密泄露……而更麻烦的是智能体的非恶意自主错误。
最广为人知的“龙虾杀手”来自Meta安全总监的那只OpenClaw——它在压缩历史对话时悄悄丢掉了“删除前必须经人类确认”这条指令，随后便直接执行了全部邮件删除的操作。
“智能体的风险隐患可能是大模型的十倍、五十倍。”汪旭鸿表示，在一些常用的智能体平台中，带毒的Skill（技能）比例甚至占到两到三成，而且“投毒成本非常低，黑客上传有毒的Skill之后，只要有用户使用，就可能形成病毒式传播”。
在上海人工智能实验室安全可信AI中心的安全战略研判框架里，AI能力提升的基准线本应沿着45度角同步带动安全水平提升。可现实是，大部分企业和机构在安全上的投入远低于产品能力提升的投入。
具身智能领域的失衡更为明显。汪旭鸿观察到，在市面上人形机器人产品报告中，几乎没有任何安全评估的相关内容，“不是他们不重视，而是AI一旦落入物理世界，遇到的场景复杂度远高于文本大模型，相应的安全风险更是无法‘穷举’。”
这让很多公司的智能体安全策略陷入两难：如果限制它的权限，AI可能变成“智障”；如果不限制权限，一旦被攻击，后果更为严重。
打造智能体的“小红书”
上海人工智能实验室对人工智能的安全能力成熟度给出了L1到L5的分级，类似自动驾驶的能力分级。
当前大多数机构能做到L1和L2——给出一道题，看模型或智能体回答得对不对，哪怕题目是动态生成的，但本质上仍是一次考试。L3的评测需要将智能体放进真实或仿真的业务环境里，让它执行复杂任务，从过程中观察风险，而不是从答案里判断对错。L4是量化控制阶段，让攻击测评手段随AI技术的发展一同进化，攻防兼备、相生相克、迭代发展，走安全与发展协调之路。L5阶段则是实现对通用AGI的完备性评估。
汪旭鸿坦承，目前行业基本卡在L3阶段，瓶颈不在于技术，而是缺乏统一的基础设施——医疗、金融、能源等各行业的仿真环境尚未打通，各家机构各自为战，评测只能停留在通用题库上，覆盖不了真实业务中的长尾风险。
为了打破L3的瓶颈，上海人工智能实验室从三个角度提出了搭建AI测评基础设施的可行框架。
第一，构建多种智能体可以自主决策、自由探索的仿真环境——小到给智能体提供一个企业知识库，大到提供一台真实的手机或电脑，下达真实命令，让智能体自由执行指令，拒绝“考题式”测评。第二，针对AI在关键基础设施（如能源设施、通信系统、交通网络等）场景中的部署风险，专门搭建攻击模型，对AI加持的电网或交通系统发起攻击，再观察该系统在被攻击后能否恢复到原本的鲁棒状态。第三，打造智能体社会层面的仿真器——构建智能体的“微博”“小红书”，甚至是具身智能体专属的“虚拟城市”。智能体在其中交互，研究人员从外部观察：会不会出现舆情风险？会不会产生认知偏移？多个智能体之间是否会形成密谋或合谋的行为模式？从而评测智能体是否会出现群体性风险。
汪旭鸿表示，通过这三种评测方式，实现“从当下到未来、从现实到仿真、从静态到动态”的整体评测体系升级，最终完成对进化式智能体的有效评测。
测评团标即将发布
2025年3月，UC Berkeley团队的一项研究显示：即使采用GPT-4o、Claude-3等先进大模型，智能体在不同任务中的整体失败率也普遍高于40%。
这意味着，用户正把越来越复杂的任务委托给智能体，然而即便底层模型是目前最强的闭源系统，仍有大量任务无法稳定完成。
那么，有没有办法事先评估一个智能体的安全程度？
“智能体安全测评的难度曲线比大模型要陡峭许多。”研讨会上，陈敏刚详细阐释了当前智能体安全评测面临的三大难点：
第一，智能体完成任务的过程包含检索增强生成管道、多次工具调用、规划与执行等多个环节，每个环节都可能是问题来源，都需要独立核查，“即便你的答案是正确的，也并不代表中间过程是正确的。”
第二，智能体的轨迹更难追踪。大模型评测一般不关注对外部工具的调用，但智能体评测必须追踪每次API调用的情况、每次与外部工具交互的结果，“自动规划的过程、决策跳转的逻辑，这些在大模型评测里几乎不被触及的维度，到了智能体评测阶段都变成了必答题。”
第三，多Agent的协作交互更复杂，而协作本身就是一个需要测试的维度。Agent与Agent之间的信息传递是否准确，各自执行的子任务是否在整体目标框架内，这些都需要独立评测，传统软件测试框架在这里完全失效。
陈敏刚透露，“智能体评测指标与方法”的团体标准正在内测中，最快将于今年上半年正式发布。标准覆盖了智能体的基础能力、可靠性与安全性、伦理与对齐以及应用效能等多维度指标，其中对应用效能的测评尤其值得关注。
当前，阿里、字节、百度等传统大厂和智谱、MiniMax等AI新贵，都在推出不同形态的Agent和“龙虾”，借“龙虾”进入垂直赛道的创业公司更是不计其数。但在“全民养虾热潮”里，成本太贵同样是“养虾人”最担忧的事。
本质上，“养虾”是调用不同模型系统完成任务，这是一道工程题。在同样的模型能力下，运用工具调用、分层上下文工程、长记忆管理、工作流设计等系统工程手段，在不改变模型架构和参数的基础上，把模型能力最大限度地发挥出来——也就是用最少的Token（词元）实现同样的效果，这就是智能体的应用效能。
如果智能体发布时，能够由测评机构对其应用效能做一定标识，类似家电能效标识一样，“养虾人”便无须担心一夜醒来充值归零，而是可以根据自己的需求选择性价比最佳的智能体。
从玩具到产品还差多远？
从玩具到产品，AI需要走多久？
陈敏刚认为，AI成为产品有两个前提：一是AI的能力在目标场景内超越人类水平，但人类保留最终决策权；二是功能边界足够明确，不能通用，必须专用。他以医学影像诊断为例：在胸片癌症筛查领域，AI的准确率已在多项研究中超越临床医生的平均水平——这不意味着AI百分之百正确，而是“比人类出错的频率更低”。更重要的是，医生始终是最终决策者。当前，类似的系统已经作为产品落地部署。
智能体产品化则更为复杂，因为大多数智能体场景的“最佳人类水平”本身很难界定。陈敏刚认为，边界清晰、功能受限的专用智能体可以率先落地，因为风险可控；但那些可以帮你订外卖、管邮件、操控手机屏幕、处理文件的通用智能体，也就是类似“龙虾”的智能体，功能边界太宽泛，意外发生的路径太多，恐怕还没有哪个测试机构能给它发通行证。
归根结底，AI从“玩具”向“产品”的跃迁，本质上是一场关于信任的长跑。只有构建更严格的安全“栅栏”，智能体才能从谈资化作各行各业触手可及的生产力工具。
配多多提示：文章来自网络，不代表本站观点。
