人类视频如何变成机器人技能？大晓发布全球首个可仿真的人–场景交互重建框架 HSImul3R
一段人坐上椅子的视频，对人类而言再普通不过。我们不仅能看见“人坐了下来”，还天然理解椅子承受人体重量，人与椅面形成接触并最终稳定，这些重力、接触与作用关系共同构成真实世界中的物理交互。但对今天的三维重建系统而言，“看见动作”与“重建真实交互”仍是两回事。一个视觉上准确坐在椅子上的人体，进入物理仿真后，椅子可能因结构缺失倒下，人体也可能与椅面严重穿模。视觉上成立，并不意味着物理交互上成立。 近日，大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R，直指三维视觉长期存在的“感知—仿真鸿沟”，推动三维重建从“视觉正确”走向“物理可执行”。该成果已被全球计算机视觉顶级会议 ECCV 2026 正式接收。不同于传统方法主要关注人和场景是否重建得像、是否对齐，HSImul3R 将重力稳定性、真实接触与交互稳定性纳入核心评价标准。团队将其定义为首个面向非标定稀疏视角输入、实现稳定可仿真（Simulation-Ready）人–场景交互重建的框架，并进一步支持单目视频输入。与此同时，团队构建了面向人–场景交互的 HSIBench，直接检验重建结果能否在物理仿真中稳定交互。HSImul3R 在 Easy、Medium、Hard 三档任务中的交互稳定率分别达到 53.68%、30.56% 和 13.92%，显著高于 HSfM 的 10.52%、4.50% 和 2.66%，并将人–场景三维穿模率从 69.51% 降至 22.90%。 为实现这一目标，HSImul3R 提出物理闭环（Physics-in-the-Loop）双向优化框架，让物理仿真器从最终检验工具变成重建过程中的主动监督者。一方面，通过面向场景的强化学习（Scene-targeted Reinforcement Learning）优化人体运动，使其既物理可行，又能与当前场景稳定交互；另一方面，通过直接仿真奖励优化（Direct Simulation Reward Optimization，DSRO），利用交互后的仿真反馈反向优化三维场景。最终，团队将优化后的人体动作迁移至 Unitree G1 人形机器人，贯通日常图像/视频 → 三维人–场景交互重建 → 物理仿真优化 → 人形机器人动作迁移 → 真实机器人执行的完整链路，让人类视频中的交互经验从视觉信息进一步转化为可仿真、可学习、可执行的机器人技能资产。 Paper:《HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human–Scene Interactions》 ArXiv: https://arxiv.org/abs/2603.15612 Project: https://yukangcao.github.io/HSImul3R/ GitHub: https://github.com/yukangcao/HSImul3R 从“视觉正确”到“物理成立”：重新定义三维重建 近几年，三维重建、人体运动估计与人–场景交互建模持续发展，机器从图像和视频中恢复三维世界、理解人类行为的能力不断提升。但传统方法大多仍以几何准确、姿态还原和视觉对齐为主要标准，回答的更多是“人和场景重建得像不像”。问题在于，机器人最终面对的是一个由重力、碰撞、摩擦与接触共同决定的物理世界。一个视觉上高度可信的场景，进入仿真器后可能立即失效：椅子可能因为结构缺失无法站稳，人体与物体也可能发生穿模，原本看似正确的交互因此无法真正成立。 HSImul3R 概览图 HSImul3R 因此将评价标准从“视觉正确”进一步推进到“物理成立”，把重力稳定性、真实接触和交互稳定性纳入重建过程。它不再只要求人和场景在画面中对齐，而是要求重建结果能够真正进入物理仿真，并保持原有的人–场景交互关系。更关键的是，HSImul3R 并非先完成重建、再用仿真器验证，而是提出物理闭环（Physics-in-the-Loop）双向优化机制，让仿真反馈直接参与重建。正向过程优化人体，反向过程修正场景，物理仿真器由最终的“裁判”转变为整个重建过程中的主动监督者。 不只是动作可行，更要让交互真正成立 物理闭环的第一步，是让恢复出来的人体运动真正适应当前场景。传统动作跟踪与强化学习通常更关注人体自身是否稳定、动作是否接近原始轨迹，但即使人体动作在物理上成立，也可能已经偏离原有的人–物交互关系。例如，一段“坐在椅子上”的动作经过普通运动优化后，人体可能为了保持平衡而偏离椅子。人虽然没有摔倒，但“坐椅子”这一原本的交互已经消失。对于具身智能而言，只做到“动作可行”显然还不够。 去除面向场景的强化学习，仿真中出现非预期的物体位移，且难以稳定交互 为此，HSImul3R 提出面向场