WorldSense 技术笔记 · 用世界模型让机器人理解世界

2026年9月25日 · 阅读约76分钟

把发布状态机跑起来：一台纯 stdlib 最小闭环与十七个 invariant

具身智能软件架构机器人部署运维 VLA Python 系统设计工程架构测试

9/22 概念篇把部署与回滚讲成一台带证据的状态机，但只给设计、没摊开代码。这一篇是那半句“文末再用一套纯 stdlib 假实现把它跑起来”的兑现：完整贴出 deploy_fakes.py、逐条钉住 I1–I17 的 test_deploy.py，并实跑（17 passed）。前置：复用 9/19 …

2026年9月22日 · 阅读约56分钟

具身智能的部署与运维：换组件不是发一次版本，是养一台状态机

具身智能软件架构机器人部署运维 VLA Python 系统设计工程架构 Sim-to-Real

9/17 给出了能跑、能测、能换组件的 Agent 骨架，这篇回答下一问：换下去的那一瞬间靠什么兜底。Web 服务回滚是撤销，机器人回滚是让旧决策失权——发布身份（分层 manifest + 签名语义）、runtime 的 schema×config×观测指纹兼容性网格（包含而非相交）、shadow …

2026年9月19日 · 阅读约96分钟

具身智能的工程架构：一个能跑、能测、能换组件的 Agent 骨架

具身智能软件架构机器人 VLA 世界模型 Python 系统设计工程架构 Sim-to-Real

前面几篇把'具身智能缺的是接口不是模型'讲成了契约和评估协议，这篇落到工程：一个具身 Agent 的代码到底怎么组织。给出运行时栈与训练时栈的分层、StateContract / Action / Env 三条核心契约、时间化动作与 active/scheduled 双槽、epoch 屏障的 …

2026年9月16日 · 阅读约114分钟

政策侧评估（下）：如何测、如何训、如何落地——四类 compliance evidence 与最小可执行接口

Embodied AI Policy Learning Structured State Contract Consumer Contract Contract Consumer Compliance Evidence Five-Layer Evaluation Separately Auditable Failure Sites Interface Compliance Metric Matched Null Control Consumer-Declared Order Multi-Constraint Intersection Contract-Read Primitives Intervention Consistency Equivariance Order-Constrained Response Conditional Log-Likelihood Ratio Dependency-Aware Fusion Mass-Preserving Top-k Constraint Certification Contract-only Intervention World-consistent Counterfactual Action-Relevant Separation Contract Ablation Gap Fixed Policy vs Retrained Policy Evaluation Metrics

本文承接 9/15《契约立起来之后：VLA、Diffusion Policy、π0 到底在消费什么》，把 policy 侧 contract consumer 的**评估协议、训练约束与最小可执行接口**独立成篇。前篇负责 framework 与失败模式、本文负责"如何测 / 如何训 / 如何落地 …

2026年9月15日 · 阅读约85分钟

政策侧接口（上）：Contract 立起来之后、VLA / Diffusion Policy / π0 到底吃什么？

具身智能策略学习 VLA Diffusion Policy π0 RT-2 OpenVLA Action Tokenization Structured State Contract Consumer Contract Consumer Contract Triple Declared Quotient Query Family Query Subsumption Schema Compatibility Semantic Preservation Decision-Relevant Preservation Decision Sufficiency Conditional Mutual Information Residual Contract Information Declared Coverage Loss Projection Residual Loss Decision Collapse Rate Safety Obligation Contract-Read Primitives Measurable Decoder Separately Auditable Failure Sites Contract Consumer

本文是"政策侧接口"长文的**上半 · framework 篇**、下半（evaluation + Python 骨架 + 训练时连锁）在 9/16 [政策侧评估（下）](/zh/articles/2026-09-16-policy-side-evaluation/)。《多模态融合接口》那一篇把上游 …

2026年9月14日 · 阅读约117分钟

拼起来不等于看懂：机器人多模态融合缺的不是模型、是接口

具身智能多模态融合视觉-触觉力觉本体感觉表示接口多模态状态估计 Hybrid State Estimator Structured State Contract Observability Identifiability Registration Cross-attention Modality Dropout VLA 世界模型坐标系对齐时间对齐不确定性

多模态融合常被讲成"选哪种 attention 结构"的问题、但机器人场景真正的瓶颈在更上游：Vision / Tactile / Force-torque / Proprioception 四路信号在时间基、坐标系基、任务语义、有效性与来源上从来没对齐过。本文把系统拆成四层 …

2026年9月13日 · 阅读约70分钟

只会看、不会摸：机器人为什么缺一双"手感"的手

具身智能触觉力控阻抗控制导纳控制接触丰富操作 Active Perception VLA Sim-to-Real 机器人数据 GelSight 接触状态估计

通用机器人真正稀缺的、不是"再多一个触觉传感器"、而是一条把异构接触信号稳定转换成任务相关接触状态、并实时进入控制闭环的能力。本文以"闭环"为贯穿框架、把 sensor / raw observation / contact perception / state estimation / …

2026年9月12日 · 阅读约18分钟

具身智能 Sim-to-Real 方法论（三）：评估体系、决策矩阵与最小可执行 Protocol

具身智能 Sim-to-Real 评估 Sim Utility Ranking Correlation Selection Regret Allocation Protocol Stopping Rule 组合决策

三部曲-评估与落地篇。Sim fidelity 不只有一个维度——数值预测、排序准确性、选出的 policy 好不好、三维不能互替；本文给出 gap x 可建模性 x 真机预算的决策矩阵、stopping rule 三类、以及一套 6 步最小可执行 Allocation Protocol。理论 …

2026年9月11日 · 阅读约15分钟

具身智能 Sim-to-Real 方法论（二）：四把手术刀与两条改写问题的新路线

具身智能 Sim-to-Real System Identification Domain Randomization 可微仿真 Residual Physics Domain Adaptation Real-world Fine-tuning 世界模型 Co-training

三部曲-方法篇。把 SI / DR / DA / FT 读成四个可组合的 intervention lens（Model x Data x Representation x Optimization）、不是四选一；再加 World Model 与 Sim-and-Real Co-training 两 …

2026年9月10日 · 阅读约52分钟

具身智能 Sim-to-Real 方法论（一）：把"从仿真到真实"当成一次误差预算分配

具身智能 Sim-to-Real Reality Gap 误差预算分配 Sequential Allocation Policy-conditioned Mismatch Domain Randomization System Identification 世界模型 Domain Adaptation

三部曲-理论篇。Sim-to-real 不是单一迁移技巧、而是闭环资源分配。本文把 reality gap 重述成 policy-conditioned 多源 mismatch、以 intervention sensitivity 与 cost-normalized marginal value 把 …

2026年9月9日 · 阅读约47分钟

机器人数据 Scaling：从 interaction coverage 到 marginal data value

具身智能机器人数据 Scaling Law 数据分布 Coverage Marginal Data Value Data Flywheel offline RL 模仿学习

机器人领域真正值得 scaling 的，不只是 trajectory 数量，而是 interaction distribution 相对于目标 evaluation distribution 的有效覆盖。本文给出一个从 interaction …

2026年9月8日 · 阅读约50分钟

具身智能的数据全景（上篇）：来源、接口、distribution 与 training recipe

具身智能机器人数据训练 Recipe 遥操作合成数据 Sim-to-Real 数据 Curation VLA 世界模型

随着 VLA、世界模型等基础范式逐渐出现较清晰的主流路线，数据分布、数据质量和 training recipe 正越来越成为决定机器人性能的重要变量。本篇（上篇）梳理机器人数据的来源与接口、为什么'数据不是 dataset 而是 distribution'、training recipe 如何决定模 …

2026年9月7日 · 阅读约22分钟

VLA 深度解读（下）：VLA 与世界模型、开放问题与三个判断

VLA World Model 世界模型 Planning 具身智能 Robot Foundation Model

VLA 系列三篇的下篇。讨论 VLA 与世界模型的关系——区分被动预测、action-conditioned 和 subgoal generator 三类世界模型，并展开数据瓶颈、长时序、安全、缺失模态等开放问题，最后收束为三个判断。

2026年9月6日 · 阅读约21分钟

2026 具身智能技术路线图：从 VLA 到世界模型，谁在解决什么问题？

具身智能人形机器人 VLA 世界模型 Sim-to-Real Physical Intelligence Gemini Robotics GR00T Cosmos TD-MPC

从 π₀、Gemini Robotics 到 GR00T、Cosmos、TD-MPC2：具身智能正在形成怎样的技术栈？本文从 Policy、Dynamics、Infrastructure 三个维度盘点主要玩家的技术路线与进展阶段，试图回答一个基本问题——这个领域谁在解决什么问题？

2026年9月5日 · 阅读约26分钟

VLA 深度解读（中）：π₀ 家族与动作接口的演进

VLA π₀ π₀.5 π₀.7 Flow Matching Action Chunking Physical Intelligence 具身智能

VLA 系列三篇的中篇。π₀ 用 flow matching 实现连续动作生成，π₀.5 引入离散-连续混合 recipe，π₀.7 用 context-rich steering 和视觉子目标扩展泛化能力——拆解动作接口演进的核心技术密度，并提出 Training Interface vs …

2026年9月4日 · 阅读约26分钟

从 RSSM 到现代 Latent Dynamics：世界模型的"引擎"如何演进

RSSM 状态空间模型 TD-MPC Mamba DreamerV3 世界模型隐状态动力学

RSSM 是 Dreamer 系列世界模型的核心引擎，但状态空间建模的版图在过去几年发生了很大变化。本文把 RSSM 放在更大的 state-space modeling 演进中审视——区分 latent dynamics 与 sequence backbone 两个层面，讨论 TD-MPC2 的 …

2026年9月3日 · 阅读约23分钟

VLA 深度解读（上）：从 RT-2 到 OpenVLA，端到端策略的基础与早期演进

VLA RT-2 OpenVLA Vision-Language-Action 机器人基础模型端到端策略具身智能

VLA 系列三篇的上篇。从 RT-2 把互联网知识注入机器人控制，到 OpenVLA 用 7B 参数在 29 个任务上超过 55B 闭源模型，再到 OFT 揭示 action interface 才是瓶颈——逐篇拆解 VLA 的基础架构与早期演进，区分动作表示、动作生成、时序抽象、上下文 …

2026年9月2日 · 阅读约43分钟

JEPA 深度解读：从 I-JEPA 到 V-JEPA 2-AC，预测性表征如何走向世界模型

JEPA I-JEPA V-JEPA V-JEPA 2 V-JEPA 2-AC AMI Labs LeCun 预测性表征学习自监督学习世界模型具身智能

从 2022 年的理论蓝图到 I-JEPA、V-JEPA，再到 V-JEPA 2 的视频预测、动作条件预测与机器人规划演示，LeCun 的 JEPA 路线逐步从预测性表征学习走向世界模型研究。这篇文章逐篇拆解这条技术路线，并讨论它与 Dreamer/RSSM、生成式世界模型之间的真正区别。

2026年9月1日 · 阅读约27分钟

世界模型 2026：从 Cosmos、Genie 到 JEPA 的路线分化

世界模型 2026盘点 NVIDIA Cosmos Genie 3 AMI Labs JEPA 具身智能机器人AI 论文推荐

截至 2026 年 8 月底，世界模型方向正在经历一次深层分化。从 NVIDIA Cosmos 到 Google Genie 3，从 LeCun 的 AMI Labs 到 Fei-Fei Li 的 World Labs，不同技术路线开始走向不同的应用场景。本文尝试理清这些项目和论文之间的关系。

2026年8月31日 · 阅读约37分钟

从 Dreamer 到世界模型智能体：未来方向与研究趋势

DreamerV3 世界模型 Transformer V-JEPA Genie LLM Agent Dreamer系列

从 DreamerV3 出发，解析 Transformer 世界模型、V-JEPA、Genie、LLM Agent 和机器人基础模型的发展路线与融合趋势。

2026年8月30日 · 阅读约23分钟

Dreamer 的应用实践：从仿真控制到 Sim-to-Real

DreamerV3 应用实践 Sim-to-Real 机器人控制 Dreamer系列

Dreamer 系列在实际任务中的表现如何？从 DMC、Atari 到机器人控制，再到 Sim-to-Real 的探索与挑战。

2026年8月29日 · 阅读约20分钟

DreamerV3 GPU 选型指南：从显存需求到性价比分析

DreamerV3 GPU 显存硬件选型 Dreamer系列

跑 DreamerV3 到底需要什么样的 GPU？这篇从显存需求、单步耗时、多任务并行能力和性价比四个维度，对比 4090 / A100 / H100 在不同任务规模下的实测表现，并给出一份按预算区分的选型建议——避免买了卡跑不满，也避免预算被不必要地抬高。

2026年8月28日 · 阅读约34分钟

DreamerV3 训练工程实践：从 GPU 配置到超参调优

DreamerV3 训练技巧 GPU 超参数工程实践 Dreamer系列

把 DreamerV3 从零跑通到自己项目里可以复用，中间会踩的工程坑远不止论文里那几行超参。这篇整理我们在 GPU 显存优化、actor-critic 稳定训练、reward normalization，以及常见 NaN、不收敛、学习曲线异常等问题的定位思路和解决方案——适合已经跑通 …

2026年8月27日 · 阅读约33分钟

Dreamer 的 Actor-Critic：想象空间里的策略优化是怎么工作的？

DreamerV3 世界模型 RSSM Actor-Critic 想象训练 Dreamer系列

从源码理解 Dreamer 的 Actor-Critic 设计：imagine loop、λ-return、two-hot value prediction 和 symlog 变换。

2026年8月26日 · 阅读约30分钟

机器人世界模型到底在做什么？从感知到行动的完整链路

世界模型机器人 DreamerV3 RSSM 感知融合 Sim-to-Real

从传感器到执行器，拆解世界模型在机器人系统中的完整链路：感知融合、隐状态预测、策略学习、Sim-to-Real 迁移，以及不同机器人形态对世界模型的需求差异。

2026年8月25日 · 阅读约20分钟

读懂 Dreamer：世界模型是怎么学会'想象'的？

DreamerV3 世界模型 RSSM 强化学习 imagination Dreamer系列

从 RSSM 架构到 imagination 机制，完整拆解 Dreamer 如何在隐空间中构建世界模型、生成训练数据并优化策略，附源码级解读。

2026年8月24日 · 阅读约10分钟