OneWM
Can World and Action Modeling Benefit Each Other under Unified Causal Training?
世界模型和策略能互相受益,但不是靠把两个损失相加——而是把「动作在训练里当条件还是当目标」做成一根 0 到 1 的旋钮,逐样本拨动。收益真实存在,但表现为分布偏移下的鲁棒性而非同分布拟合;同时它顺手把「部署时不必生成未来视频」变成了架构上的必然。
在与 Agent 的多轮深度刨根问底中搞懂模型机制,沉淀个人认知记录与技术精要。
Can World and Action Modeling Benefit Each Other under Unified Causal Training?
世界模型和策略能互相受益,但不是靠把两个损失相加——而是把「动作在训练里当条件还是当目标」做成一根 0 到 1 的旋钮,逐样本拨动。收益真实存在,但表现为分布偏移下的鲁棒性而非同分布拟合;同时它顺手把「部署时不必生成未来视频」变成了架构上的必然。
What Visual Representations Do World Action Models Need?
同一份 DINOv3 特征,换一种注入方式能差 10 个点;而只把特征当输入只能涨 1.8,逼模型预测未来特征才涨 7.2。这篇论文的结论是:注入方式和预测目标比「选哪个编码器」更值钱。