AI 论文速递 — 2026年10月04日

📌 今日速览：蒸馏动力学系统性研究挑战"on-policy 必然更优"的固有认知，在 HuggingFace 获 153 票成为本周最热；rank-8 微型 LoRA 即可解锁 Transformer 深层推理能力；多模态侧，OmniSeek 将 Omni-LLM 改造为主动式多轮工具调用智能体；具身智能方向，World-Action Model 呈现统一化趋势（UniWAM / SkeleWAM）；开源生态中，Claude Opus 5.5 视频工作流类 awesome 列表集中涌现，Awesome-Video-Generation-Post-Training 成为视频生成后训练领域首份系统性综述索引。

🔥今日焦点

Hot · HuggingFace 153 票

On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics

剑桥大学与 van der Schaar Lab 在受控的强-弱蒸馏设置下，独立变化 rollout 策略、token 级 KL 方向与学习率，跨越 Llama3 与 Qwen2.5 系列及科学、医学、算术推理任务进行系统比较。研究表明 rollout 策略并非蒸馏成败的核心因素：forward KL 对 rollout 策略极为稳健，reverse KL 则显著偏好学生自生成轨迹；学习率主导遗忘与更新稀疏性，on-policy 数据仅在 Countdown 难例泛化上表现出有限优势。该结论对 RL vs. SFT 之争提供了重要的去混淆证据。

热门LLM蒸馏cs.CL

Hot · HuggingFace 62 票

Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It

对 13 个基座模型的实证分析显示，预训练 Transformer 在上下文引用追踪任务上仅利用 1.4–3.6 行深度，深层容量大量闲置。作者发现仅在单一早期层训练 rank-8 LoRA（其余权重全部冻结），即可将 Qwen3-8B 在 24 行链式引用上的精确匹配准确率从 15.5% 提升至 99%，并观察到中层"接力"机制：程序行通过短程中层传递链身份，冻结注意力头逐层读取。该结果说明默认推理严重低估了模型可通过微小编辑调用的潜在计算量。

热门LLM可解释性LoRA

🧠大模型与训练方法

arXiv · cs.CL · 2026-10-01

Finetuning with Sampling: SFT Learns Better Than You Think

MIT 与 Harvard 合作研究指出，后训练中"RL 泛化强、SFT 易遗忘"的传统认知部分源于评估偏差。通过在 SFT 中引入采样机制而非纯教师强制，SFT 在新任务上的泛化能力可接近甚至匹敌 RL，同时更好地保留既有能力。该工作为低成本后训练路线提供了理论支撑。

LLM后训练SFT

arXiv · cs.LG · 2026-10-01

Decoding Looped Transformers Better for (Almost) Free

Looped Transformer 通过共享模块的循环执行实现参数高效，但标准解码丢弃了中间循环的表示。作者提出近乎零成本的解码改进，利用各循环的中间状态进行一致性加权解码，在不增加参数的前提下显著提升下游精度。HuggingFace 获 25 票关注。

架构推理优化cs.LG

arXiv · cs.LG · 2026-10-01

TACO: Ternary Absolute-max Column-wise One-sparse Optimizer for LLM Fine-Tuning

针对全参数微调中优化器状态的显存瓶颈，TACO 提出三元绝对值列稀疏化优化器，在保持一阶梯度信息的前提下将优化器状态压缩至极低水平，使更大规模模型可在消费级 GPU 上完成微调，为低资源微调提供了新的工程路径。

优化器微调cs.LG

👁️多模态与视频生成

arXiv · cs.CV · 2026-10-01

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

提出将 Omni-LLM 从单次前向的被动处理者改造为主动式多轮推理智能体的框架。OmniSeek 将证据获取内化为推理过程的一部分，模型可在多轮交互中自主调用视听工具、按需检索音视频片段，在复杂视听问答任务上显著优于一次性处理基线。

多模态Agent工具调用

arXiv · cs.CV · 2026-10-01

HiPhy: Hierarchical Alignment for Physically-Plausible Multi-Principle Video Generation

针对视频生成模型在多物理定律并发场景下的失真问题，HiPhy 提出分层对齐框架，将物理约束解耦为多个可独立优化的原则层，在保持视觉保真度的同时显著改善生成视频对重力、碰撞、流体等复合物理规律的遵循程度。

视频生成物理对齐cs.CV

HuggingFace · 44 票 · 2026-10-02

Video Generation Models: A Survey of Post-Training and Alignment

首份系统性梳理视频生成模型后训练与对齐技术的综述，覆盖奖励建模、偏好优化、物理一致性对齐与评估基准等方向，并配套开源 awesome 列表（Awesome-Video-Generation-Post-Training），已成为该方向的标准参考索引。

综述视频生成开源

🦾具身智能与机器人

arXiv · cs.RO · 2026-10-01

UniWAM: Unified World-Action Model

提出统一的世界-动作模型架构，弥合 VLA 模型缺乏世界动力学先验与世界-动作模型缺乏语义理解之间的鸿沟。UniWAM 在同一框架内联合建模视觉理解与动作生成，在多项操作基准上取得一致提升，代表 World-Action Model 的统一化趋势。

VLA世界模型cs.RO

arXiv · cs.AI · 2026-10-01

Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents

提出 RPG 框架，使具身智能体在无需人工设计奖励与技能库的前提下实现自主能力提升：通过重构任务场景、在仿真中练习、再迁移至真实世界的三阶段循环，系统性降低机器人能力扩展的人力成本。

具身智能自我改进cs.AI

📚开源动态与 Awesome 列表

GitHub · awesome · 2026-09-27

awesome-opus5-5-videos ★ 1,566

本周增速最快的 awesome 列表，系统收录 Claude Opus 5.5 生成的病毒式传播视频及其原始提示词，按效果类型分类并附原帖链接。同类列表（awesome-claude-5-5-videos ★446、awesome-claude-video-skills ★395）集中涌现，反映视频生成工作流社区的快速组织化。

新兴Awesome视频生成Claude

GitHub · awesome · 2026-09-24

awesome-qwen-image ★ 116

Qwen-Image 2.1 生态的社区索引，收录检查点、量化版本、提示词引擎、LoRA 及周边工具链，是当前 Qwen 图像生成生态最完整的导航资源，对跟踪国产开源视觉模型生态具有参考价值。

AwesomeQwen图像生成

GitHub · 趋势 · 2026-10-02

EvoVLM ★ 137 · 新建 2 天

提出 LLM 引导的进化搜索框架，用于自动演化多模态推理程序（Evolving Multimodal Inference Programs），在视觉推理任务上以更少计算量达到更高精度，是 VLM 推理优化方向值得关注的新开源项目。

新项目VLM进化搜索

📝 编辑点评

本期研究呈现两条清晰的理论修正线索。其一，蒸馏动力学与 SFT 采样的两项独立工作共同挑战了后训练领域的固有假设：on-policy rollout 并非必然更优，SFT 的劣势部分源于评估偏差而非方法本身，这将重塑 RL 与 SFT 的资源分配逻辑。其二，Looped Transformer 与微型 LoRA 的研究表明，现有模型的深层计算容量远未被充分利用，轻量干预即可释放显著性能增益，提示架构创新与参数高效微调仍存在大量未被探索的空间。应用层面，World-Action Model 正从分散探索走向统一架构，OmniSeek 则展示了多模态智能体从被动感知到主动证据获取的范式转变。开源生态中，Claude 视频工作流类 awesome 列表的集中涌现，标志着生成式 AI 应用社区正在快速形成结构化的知识沉淀机制。