SafeVerse:构建安全可信的具身智能“孪生演练场”
目录
摘要
安全可信是具身智能走向真实世界的前提,但直接在现实环境中进行攻防演练,往往同时面临成本高、风险大、复现难的问题。SafeVerse 的核心目标,就是先把指定真实场景快速数字化,再把这个高保真孪生环境变成可攻击、可评测、可进化的训练与验证平台。
与只追求“生成一个看起来像真的世界”的世界模型不同,SafeVerse 走的是一条更偏工程闭环的路线:它强调把真实场景以低成本、分钟级的方式重建为可操作的三维环境,并让这个环境直接服务于具身智能体的安全评测、攻防对抗与在线强化学习。
为什么需要 SafeVerse
当前具身智能虚拟环境往往陷入两难:
- 传统仿真环境依赖大量人工建模,资产匮乏、可操作对象有限,难以复现真实环境中的复杂结构与细粒度交互。
- 生成式世界模型虽然具有很强的开放世界生成能力,但它们不是对指定真实场景的精准孪生,难以支撑家庭、办公室、工厂等特定空间中的安全演练。
SafeVerse 对应的判断很直接:安全演练需要的不是“想象中的世界”,而是“可控、可编辑、可验证的真实场景数字化副本”。因此它把问题拆成三步:
- 从视频快速重建真实场景。
- 根据攻防目标灵活编辑场景。
- 让智能体在持续对抗中在线进化。
三大核心突破
SafeVerse 的设计集中在三个方向:
真实世界的 Ctrl+C / Ctrl+V:不仅复刻视觉外观,还尽量保留结构、语义与交互逻辑的一致性。分钟级构建,万物皆可动:普通视频即可驱动三维场景搭建,并赋予门、灯、桌椅等对象部件级操作属性。评测-攻防-进化一体化:场景既能用于静态验证,也能根据攻击指令实时变化,并直接接入在线 RL 训练。
这意味着 SafeVerse 不只是一个仿真器,更像是面向安全可信具身智能的数字孪生基础设施。
从普通视频到可交互孪生场景
SafeVerse 的第一步是把真实世界“读懂”。与传统三维重建流程不同,它更强调利用多模态大模型的视觉理解能力,把视频中的对象、布局与语义关系解析出来,再映射为可操作的三维实体。
在底层实现上,SafeVerse 依托具备丰富物理规则的 Minecraft 平台,将视频中识别出的元素自动转换为三维对象,并补齐交互属性。于是生成的并不是一块静态背景板,而是一个可以被智能体真正进入、探索、开门、关灯、移动物体的动态环境。




上面四段 GIF 展示了从输入视频到可交互三维场景的快速构建过程。原网页的核心结论是:SafeVerse 把“视频输入 + 分钟级输出”的流程真正落到了可操作环境上,而不是只做视觉复现。
遵循攻防指令的场景编辑
仅仅把场景还原出来还不够。真正面向安全验证时,更关键的是能否针对攻击目标快速改动环境。
SafeVerse 在这一步强调“真实性”和“可编辑性”的统一。已经构建好的孪生环境可以根据攻防需求被直接修改,包括:
- 调整对象的交互属性,例如把“可推开的门”改成“必须先解锁才能打开”。
- 改变视觉语义,例如更换物体外观来误导识别。
- 打乱空间布局,例如重置桌椅或障碍物位置来干扰路径规划。

这类编辑不再依赖重新手工建模,而是把“攻击向量”直接注入场景本身,让具身智能体在高度拟真但不断变化的环境里接受有针对性的压力测试。
针对漏洞的在线进化
SafeVerse 的最后一步不是停在评测,而是继续走向在线进化。
传统具身训练常常基于固定数据集和静态环境,一旦遭遇训练时没见过的攻击方式或环境突变,智能体就容易性能崩塌。SafeVerse 试图用“重建-攻击-抗攻击”的闭环来解决这个问题:场景先被重建,再被动态攻击,智能体则在失败后立即进入在线再训练。
这种设置让智能体面对的不是一成不变的 benchmark,而是持续演化的威胁。例如通道被椅子堵住、场景布局被重排、设备状态发生变化时,模型需要重新感知、规划与操作,而不是简单复读历史轨迹。

原网页里给出的例子非常直观:当通向目标的必经路径被椅子挡住时,智能体最初会失败;经过在线训练后,它能学会识别障碍、绕行,甚至主动移开椅子重新打通路径。这说明 SafeVerse 不只是让模型“遇到问题”,而是让模型“在问题里长出来”。
SafeVerse 全动态过程
下面这段视频补全了原网页中“全动态过程”的演示,能更完整地看到场景重建、编辑与在线进化串起来之后的整体效果。
这篇工作说明了什么
SafeVerse 的价值,不只是又做了一个具身仿真平台,而是把指定真实场景的快速数字化、面向攻击目标的场景编辑、以及在线强化学习进化,首次打通到同一个闭环里。
如果说很多具身平台擅长提供训练空间,那么 SafeVerse 更强调提供安全演练空间。它把“真实场景数字化”真正变成了安全可信具身智能研究中的基础能力。