🤖

AI 论文速递

2026年10月07日
ArXiv + GitHub + HuggingFace 精选

📌 今日速览:Yann LeCun 团队发布层级化 JEPA 世界模型 H-JEPA,为长时程视觉规划提供端到端训练范式;UC Berkeley 研究揭示基础模型的推理能力可由训练数据中的起始 token 线索激发,无需强化学习即可逼近 RL 后训练效果;机器人方向,InterMimicGen 通过自进化运动模仿扩展人形机器人移动操作数据,递归视频上下文学习让 VLA 智能体从演示视频中持续改进;视频生成领域 S2PD 以串行-并行混合扩散提升物理一致性。开源生态方面,世界模型主题 awesome 列表持续升温。

🔥今日焦点
Hot · World Model
arXiv 2610.06805 · cs.LG / cs.RO · 2026-10-05
Wancong Zhang、Basile Terver、Michael Rabbat、Yann LeCun、Randall Balestriero。针对潜空间世界模型在长时程规划中难以跨时间尺度与抽象层级推理的问题,H-JEPA 提出端到端训练层级化世界模型的完整方案,在不同抽象层级分别预测与规划,突破了现有任务无关 JEPA 模型单一时间尺度或共享潜空间的局限,为视觉规划提供了新的架构基础。
LeCun 世界模型 视觉规划 JEPA
arXiv 2610.06851 · cs.LG / cs.CL · UC Berkeley · 2026-10-05
Sophie L. Wang、Alexei A. Efros 等。研究系统分析了预训练数据如何在模型响应的起始 token 与后续推理行为之间建立关联。实验证明,仅通过固定特定的起始 token 线索,未经强化学习后训练的基础模型即可达到与 RL 微调模型相竞争的推理表现,为理解"推理能力从何而来"提供了新的实证视角,对后训练范式具有重要启示。
LLM 推理 预训练数据 RL 后训练
🧠LLM 与智能体
arXiv 2610.06830 · cs.CL · 2026-10-05
针对现有智能体记忆系统以查询无关方式构建记忆、造成预处理开销冗余且易丢失关键细节的问题,MemPilot 提出按需多模态记忆编排机制,根据下游查询动态组织记忆内容,在保留关键信息的同时显著降低记忆构建成本,为长期运行的 LLM 智能体提供更高效的记忆管理框架。
Agent 记忆 多模态 LLM Agent
arXiv 2610.06829 · cs.CL · 2026-10-05
开源 Web 智能体的强化学习训练长期受制于弱监督信号:二值任务成功信号过于稀疏,而前沿模型评判成本高昂。CLIFT 引入基于共形预测的自验证机制,以统计保证的置信度估计替代昂贵的外部评判,同时支持训练阶段的信用分配与测试阶段的推理扩展,为 Web 智能体的可扩展训练提供了新路径。
Web Agent 强化学习 共形预测
👁️多模态与视频生成
arXiv 2610.06847 · cs.CV · 2026-10-05
双向视频扩散模型以并行方式对整段视频去噪,但即使在近乎无限的分布内数据上训练,仍会违反物理定律与简单符号规则。S2PD 提出串行到并行的混合扩散策略,结合自回归生成的因果一致性与并行采样的效率优势,在程序化生成长视频中显著提升物理与逻辑一致性。
视频扩散 物理一致性 生成模型
arXiv 2610.06844 · cs.CV · 2026-10-05
多模态扩散 Transformer(MM-DiT)在生成全程联合处理视觉与文本表征,文本 token 经多模态注意力反复更新形成动态"上下文 token",但其功能机制长期不明。该工作提出一套分析框架,系统刻画上下文 token 在生成过程中的演化规律与语义角色,为理解和改进 MM-DiT 的跨模态交互机制奠定基础。
MM-DiT 可解释性 多模态生成
🦾具身智能与机器人
arXiv 2610.06850 · cs.RO · 2026-10-05
人类捕获的人-物交互数据为人形机器人移动操作提供丰富监督,但数据稀疏、异构且无法直接执行。InterMimicGen 提出自进化运动模仿框架,机器人运动数据与跟踪策略相互迭代改进,实现数据规模与策略性能的协同扩展,为人形机器人全身移动操作的数据瓶颈提供了可行的自动化解决方案。
人形机器人 运动模仿 数据扩展
arXiv 2610.06843 · cs.RO / cs.CL · 2026-10-05
编排冻结 VLA 策略的 LLM 智能体通常依赖文本记忆跨回合改进,但文本只能记录"做了什么",无法保留"如何做"。该工作提出递归视频上下文学习机制,将演示视频递归压缩为可被智能体上下文高效利用的表征,避免完整视频拖慢推理或固定关键帧丢失细节,使机器人智能体能够从视频演示中持续积累操作技能。
VLA 上下文学习 机器人智能体
📚开源生态与 Awesome 动态
GitHub · sindresorhus/awesome 及社区
主仓库 sindresorhus/awesome 近期以维护性更新为主(清理归档列表、修复校验器),此前合并的 Copilot Agents 列表持续活跃。社区侧值得关注的动向:matrix-agent/awesome-agentic-world-modeling(⭐324,2026年4月创建,覆盖 Agentic World Modeling 的基础、能力与规律)与 ALEEEHU/World-Simulator(⭐391,收录 IEEE TPAMI 2026 世界模拟综述及资源)近期高频更新;Agent 技能类列表(trending-claude-skills、awesome-agent-skills 等)也呈快速涌现态势,反映"世界模型 + 智能体"已成为开源知识组织的新热点。
Awesome 世界模型 Agent Skills 开源

📝 编辑点评

今日 ArXiv 呈现三条清晰主线。其一,世界模型研究进入架构深化期:LeCun 团队的 H-JEPA 将层级化抽象引入端到端世界模型训练,与开源社区世界模型 awesome 列表的活跃形成呼应,该方向正从概念验证走向系统化。其二,推理能力的来源问题取得机制性进展:Berkeley 的工作表明基础模型的推理行为可由预训练数据中的起始 token 线索直接激发,对"RL 后训练是否必需"提出实证挑战,可能影响后训练资源分配策略。其三,智能体基础设施日趋完善——MemPilot 的按需记忆编排、CLIFT 的共形自验证分别从记忆与监督信号两个维度降低智能体训练与运行成本。机器人侧,自进化数据生成与视频上下文学习指向同一目标:让策略从演示中自主积累技能,缓解真机数据稀缺。整体而言,基础研究正沿着"更高效的数据利用"与"更本质的机制理解"两条轴线稳步推进。