AI 每日进展速报 - 2026-10-15
新旧
正在统计...
来源
当前筛选条件下没有条目。
图像生成/编辑
arXiv
- APT: Feedback-Driven Agentic Post-Training for Text-to-Image Generation 🆕NEW
- 赛道归属: 文生图后训练 / 强化学习式模型对齐
- 核心创新点: 提出APT（Agentic Post-Training）全自动后训练框架，通过三个智能体分别负责评测集构建、模型能力诊断和强化学习数据生成，并根据模型当前能力动态调整提示词分布，形成“评估—诊断—更新”的反馈闭环；同时为无用户指定场景提供通用评测支架，使后训练过程能够随模型能力演化自适应地聚焦薄弱能力。
- Imagine Before You Draw: Visual Prompt Engineering for Image Generation 🆕NEW
- 赛道归属: 文生图 / 图像生成中的视觉提示工程
- 核心创新点: 提出Visual Prompt Engineering（VPE），先自回归生成视觉语义token作为“视觉提示”，再在该语义规划基础上生成完整图像token，将语义布局规划显式引入生成过程；该方法可无缝嵌入内部交互式架构，在类条件生成、文生图和图像编辑中提升收敛速度与质量上限，并通过内部集成缓解外部两阶段管线中的信息瓶颈，增强编辑保真度。
- Efficient Scene-Text Refinement via Pixel-Space Grouped Image Generation 🆕NEW
- 赛道归属: 图像编辑 / 局部文本修复 / 像素级生成
- 核心创新点: 将场景文本修复建模为像素空间中的分组图像生成，仅生成目标文本区域而保留未编辑内容，避免VAE重建导致的细节损失和全图编辑带来的背景扰动；同时结合MeanFlow实现四步快速生成，并构建专门的Text Refinement Bench用于同时评估字符纠错与图像保真。
- Getting Space Right: Agentic Rewards for Image Generation 🆕NEW
- 赛道归属: 文生图 / 空间关系生成 / 强化学习优化
- 核心创新点: 提出课程引导的RL框架，将空间奖励建模与能力递进式rollout结合：一方面用具备空间感知工具链的SpatialCritic进行奖励评估，并通过反事实扰动构造偏好数据以提升工具选择与证据整合；另一方面用能力图组织基础能力及其组合依赖，进行分阶段rollout、周期复习和定向补救，从而缓解开放域空间奖励不可靠与训练进程缺乏由浅入深的问题。
- Two Halves are More than One: Phase-wise Velocity Distillation for Fast and High-Quality Image Generation
- 赛道归属: 文生图 / 图像生成加速与蒸馏
- 核心创新点: 提出 Phase-wise Velocity Distillation（PVD），将生成过程划分为“粗阶段”和“细阶段”，分别用两个半尺寸的阶段专属专家建模各自的平均速度，从而把结构生成与细节修复解耦；在保持总计算量等价于一次完整骨干前向的前提下，相比单一大一统学生模型更能避免过度平滑，并在高质量快速生成上取得更优效果。
- Text-to-Image Models Need Less from Text Encoders Than You Think
- 赛道归属: 文生图 / 文本表示分析与理解
- 核心创新点: 系统性地探究扩散 Transformer 文生图模型对文本编码器输出的实际利用程度。核心发现是：模型并不依赖文本嵌入中的完整上下文信息（如组合性、属性绑定等），而仅依赖两个简单要素——①跨多个 token 的词级表示合并；②由位置编码注入的词序信息。为验证这一结论，作者构造了一种仅编码单词含义与词序、不含任何跨词上下文信息的"带位置标签的词袋（bag of position-tagged words）"表示，并证明其引导生成效果与完整文本嵌入相当。这一发现揭示了复杂语言结构的解码实际上由图像模型自身完成，而非依赖文本编码器，从根本上挑战了领域内对文本编码器作用的普遍认知。
- FiRe: Fine-grained Multimodal Reasoning for Enhanced Image Generation
- 赛道归属: 文生图（基于多模态推理的图像生成）
- 核心创新点: FiRe提出了一种细粒度多模态推理框架，用于增强文生图生成质量。其核心方法论突破体现在两个层面：①推理流程设计上，将文本提示分解为关键视觉需求，对生成图像逐项进行自我判断，并根据自生成的精确反馈执行局部化精细修正，突破了现有方法仅依赖整体图文对齐判断的局限；②训练优化上，提出FiRe-GRPO，针对标准GRPO在多步推理中奖励稀疏的问题，将推理过程建模为步骤级决策问题，设计步骤专属奖励函数并计算步骤级优势值，实现更细粒度的信用分配，从而强化MLLM的多模态推理能力。
- BluePixel: Toward Native 4K Agentic Image Editing 🆕NEW
- 赛道归属: 图像编辑 / 4K原生编辑 / Agentic编辑系统
- 核心创新点: 将4K编辑视为“系统问题”而非单模型问题，构建BluePixel：通过渐进式VAE适配把1K预训练编辑器转为原生4K编辑器，并结合持续学习吸收长尾编辑技能、用强化学习优化美学与保真权衡；再通过源锚定目标投影（SATP）蒸馏将50步去噪压缩到4步，同时引入BluePixel Agent将复杂指令拆解为专长/通用操作并用统一奖励模型进行结果验证与重试。
- SaTPO: Text-to-Image Safety Alignment via Transition Preference Optimization 🆕NEW
- 赛道归属: 文生图安全对齐 / 扩散模型安全优化
- 核心创新点: 提出SaTPO（Safety Transition Preference Optimization），不在最终图像层面做粗粒度偏好优化，而是在去噪过程中进行逐步对齐；其关键是利用“同一父状态+同一噪声”的安全/不安全提示对构造转移偏好，避免历史轨迹分歧带来的过度偏移，并通过多尺度漂移约束与良性回放，将安全适配限制在增量式调整范围内以尽量保留原有生成能力。
- MiniDog: Dog-Breed Text-to-image Flow Matching from Pretraining to Fine-Tuning on 4 Consumer GPUs 🆕NEW
- 赛道归属: 文生图 / 轻量化训练与微调 / 流匹配模型
- 核心创新点: 该项目主要展示在4张消费级GPU上完成狗品类文生图模型的预训练与微调流程，核心做法包括预计算并缓存图文特征、采用E2E-INVAE语义潜空间、小型Transformer与in-context conditioning，以及使用iREPA和EUPE感知编码器加速训练；但作者明确说明不主张技术新颖性，更多是工程化训练方案展示。
GitHub
- [2026-10-15] YouMind-OpenLab/awesome-nano-banana-pro-prompts ⭐13590
- [2026-10-15] alfredxw/denova ⭐928
- [2026-10-15] kadevin/ilab-conjure ⭐717
- [2026-10-15] shinpr/mcp-image ⭐176
- [2026-10-15] Z1rconium/gpt-image-panel ⭐121
HuggingFace Models
HuggingFace Spaces
视频生成/编辑
arXiv
- EmoTrace-Bench: Diagnosing Emotional Expression in Text-to-Video Generation through Controlled Cues and Intensity 🆕NEW
- 赛道归属: 视频生成评测基准
- 核心创新点: 提出细粒度情感诊断基准 EmoTrace-Bench，通过在提示词中精确控制情感强度与情感线索类型（如事件描述 vs. 角色反应描述），将情感视频生成的评估分解为目标情感存在性、感知强度及十个视听维度，并构建经人工标注校准的自动评估器，从而将整体对齐分数拆解为可溯源的局部诊断信号，揭示不同提示设计策略对情感生成的差异化影响。
- PhyMetric: Diagnosing Physical Plausibility in Text-to-Video Generation via Scene-Level QA 🆕NEW
- 赛道归属: 视频生成评测基准
- 核心创新点: 提出 PhyMetric，将物理合理性评估重构为场景级可验证问答任务。核心方法是为每个场景配备结构化物理先验（包含支配定律、预期时序、可观测特征及常见失败模式），并以此为条件引导 VLM 裁判回答针对性二元问题，再通过层次化聚合得到多粒度评分。实验证明，相比单一通用合理性查询，场景特定二元 QA 能将评估准确率从随机水平显著提升，实现从不透明整体评分到可解释场景级检验的转变。
- VARI: Robust Text-to-Video Generation via Group-Structured Intent Alignment 🆕NEW
- 赛道归属: 文生视频生成（鲁棒性训练）
- 核心创新点: 提出 VARI 框架，将同一视觉意图的多种等价提示表述作为共享监督单元进行组结构化训练。核心方法包含两部分：Group-Consistent Distillation（GCD）使所有验证表述与可互换的有效生成结果对齐；Form-Contrastive Flow-DPO（FC-DPO）利用同种子、不同表述的正负对学习组级别偏好。该方法无需修改推理流程，显著降低跨提示表述的语义实现差异，提升最弱表述下的对齐性能。
- Hierarchical Curriculum Learning for Surgical Video Generation: Focusing on Bilateral Axillo-Breast Approach Robotic Thyroidectomy Datasets 🆕NEW
- 赛道归属: 视频生成（医疗/手术场景垂直应用）
- 核心创新点: 提出层次化课程学习框架用于手术视频生成，将手术流程分解为阶段、任务、动作三个粒度层级，并以此为课程顺序对预训练文生视频扩散模型进行由粗到细的渐进式迁移学习，同时配合动态采样策略处理可变分辨率与可变长度手术片段。在无额外训练预算的消融实验中验证了性能提升来源于课程设计本身，而非训练量增加。
- TIDE: Trajectory-Informed Skill Distillation for Efficient Text-to-Video Prompt Optimization 🆕NEW
- 赛道归属: 文生视频生成（提示优化）
- 核心创新点: 提出 TIDE 框架，将代价高昂的迭代式提示搜索过程蒸馏为一个可复用的"提示改写技能"模块。该技能由一组源条件规则模块构成，每个模块针对独立语义维度，推理时仅需单次 LLM 调用即可同时生成正负提示，无需测试时视觉搜索或骨干网络微调。仅用 100 条提示训练的技能模块可迁移至未见过的视频生成模型并超越专为这些模型设计的方法。
- TasteRoute: Personalized Routing for Video Generation
- 赛道归属: 视频生成 / 个性化路由 / 成本感知生成
- 核心创新点: 提出面向视频生成请求的个性化路由框架，将输入需求、用户偏好与生成预算联合建模，用于在多个视频生成模型之间选择合适的生成器；同时构建了包含多模型视频对比、质量判断、偏好排序和用户画像信号的标注数据集，支持偏好路由与成本控制的联合优化。
- DrawVideo: Grounded and Faithful Multi-Shot Video Generation from Storyboard Keyframe Sketches
- 赛道归属: 视频生成 / 草图引导生成 / 多镜头故事板控制
- 核心创新点: 提出以故事板关键帧草图为核心的多镜头视频生成框架，将每个镜头拆解为黑白草图、外观提示和运动提示三类条件；方法上先生成结构对齐的参考关键帧，再将运动描述展开为有序动作状态的派生关键帧，最后在相邻关键帧之间合成局部视频片段，从而实现对空间结构、外观一致性和镜头级运动的显式控制。
- Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation 🆕NEW
- 赛道归属: 视频生成（长视频/智能体驱动）
- 核心创新点: 提出 ATAS 框架，以"世界状态"为中心管理长视频生成中的跨镜头一致性。核心设计是将剧本编译为含显式位置、摄像机和事件时间引用的镜头请求，并维护两类记忆：存储静态几何的场景记忆与按场景/事件/时间索引动态观测的事件记忆。生成后通过审查与状态检查决定是否更新记忆，将记忆准入与影片交付解耦，从而支持对任意时间、任意空间的场景进行可靠的空间重访与事件回放。
- Speculative Sampling in Interactive Video Generation 🆕NEW
- 赛道归属: 交互式视频生成（推理加速）
- 核心创新点: 提出推测采样策略，通过在建模窗口末尾追加噪声潜变量作为填充来扩大双向建模窗口，并缓存预测结果供条件不变时复用，同时支持未提交的未来帧被替换。该方法打破了由分块边界决定的等待时间下界，将优化焦点从"缩小分块"转移到"加速单块采样"，使双向窗口大小成为同时优化视觉质量与采样延迟的可调变量，无需复杂的流式后训练。
- DreamHMR: From Video Generation to Human Motion Modeling via Structural Focusing 🆕NEW
- 赛道归属: 人体运动重建（视频生成先验迁移）
- 核心创新点: 提出 DreamHMR，将视频生成预训练先验迁移至全身（含手部）人体网格重建任务。核心方法分两步：全局身体表示迁移通过训练视频骨干预测完整人体渲染图，将生成任务转化为学习表面对应关系与姿态几何的手段；局部关节特征增强将上下文估计与可靠局部证据结合，在抑制遮挡干扰的同时恢复精细的身体与手部细节，实现从视觉合成表示到显式人体几何的有效跨任务知识转移。
GitHub
- [2026-10-15] YouMind-OpenLab/awesome-seedance-2-prompts ⭐2135
- [2026-10-15] ddalcu/mlx-serve ⭐1930
- [2026-10-15] Tenney95/AI-Canvas-tauri ⭐226
- [2026-10-15] ukr8b3g-cmyk/ComfyUI-H3-Continuum ⭐135
- [2026-10-15] YouMind-OpenLab/awesome-grok-imagine-prompts ⭐55
音频生成
arXiv
- Revise-TTS: A Non-Masking Refinement Framework for Masked Diffusion Models in Text-to-Speech 🆕NEW
- 赛道归属: 文本转语音（TTS）/ 掩码扩散模型推理优化
- 核心创新点: 针对掩码扩散模型（MDM）在TTS中预测错误无法修正、逐步累积的问题，提出两项核心技术：①用层次化二值量化（HBQ）替代有限标量量化（FSQ），为语音token引入具有显式粗到细结构的可扩展二值表示；②设计生成式精炼网络（GRN），在推理阶段通过随机丢弃并重新预测少量已预测token，实现迭代自校正，从根本上打破MDM"中间预测不可修改"的固有限制。
- TTS-Q: Perception-Guided Post-Training Quantization of Text-to-Speech Diffusion Transformers
- 赛道归属: 文本转语音（TTS）/ 模型量化与推理优化
- 核心创新点: 针对TTS扩散Transformer模型的训练后量化（PTQ）问题，提出TTS-Q方法。核心突破在于：首次系统性地揭示了4-bit W4A4量化对TTS模型的损伤机制——权重量化与激活量化均会损伤音色，但激活量化误差具有明显的时间步（timestep）结构特性；基于此，设计了一种感知引导的混合精度调度策略，通过任务匹配的校准候选集筛选难量化项，并对扩散过程后期步骤的前馈网络激活分配更高精度，在预算平衡约束下最大程度恢复音色，同时不损失可懂度。
- DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech 🆕NEW
- 赛道归属: 文本转语音（TTS）/ 自回归模型到扩散语言模型的迁移适配
- 核心创新点: 提出基于LoRA的轻量级适配框架，将预训练自回归TTS模型转换为离散扩散语言模型（dLLM），实现置信度排序的语音token解码。核心技术包括：①注入卷积模块以捕获局部声学上下文；②采用1/t加权训练目标与时间偏移推理调度，将低置信度位置推迟到后续步骤处理；从而在仅用585小时数据微调的条件下，相比AR基线将推理速度提升3.3倍，同时显著降低幻觉现象并提升文本-语音对齐精度。
- Mechanisms of Multimodal Synchronization: Insights from Decoder-Based Video-Text-to-Speech Synthesis
- 赛道归属: 多模态音频生成 / 视频驱动语音合成（Video-Text-to-Speech）
- 核心创新点: 以视频-文本-语音合成（VTTS）为受控实验场景，系统性研究了统一解码器架构中多模态同步的内在机制。核心贡献在于：对比分析了全局顺序位置编码与共时位置编码（co-temporal indexing）对跨域同步迁移能力的影响，发现"文本优先+共时索引"组合在域迁移场景下鲁棒性最强；揭示了文本与视频模态的互补性（文本支撑可懂度，视频提供时序与情感线索）；并提出了音素级同步评估指标TimeSync，能够捕捉帧级指标所忽略的细粒度时序偏差，为多模态解码器的同步机制研究提供了新的分析范式。
- VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS 🆕NEW
- 赛道归属: 文本转语音（TTS）/ 指令跟随可控语音合成
- 核心创新点: 提出将声音设计与语音生成显式解耦的框架，核心在于引入一个连续的"声音潜变量"（voice latent）作为中间表示：由基于流匹配的模块从文本指令预测该潜变量，再将其同时作为语言模型和声学DiT的共享条件，并通过说话人嵌入与时序池化音频VAE特征的联合监督来约束该潜变量，从而将文本驱动的声音设计与声学生成过程有效分离，实现更精细的可控语音合成。
- Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings
- 赛道归属: 文本转语音（TTS）/零样本风格可控语音合成
- 核心创新点: 在不依赖 Lombard 专门训练数据的前提下，基于 F5-TTS 扩展出可学习的风格嵌入表示，并通过 PCA 分析潜空间中与 Lombard 属性相关的方向，再对这些方向进行操控，实现对发声力度、咬字清晰度等 Lombard 风格因素的可解释控制；该方法支持零样本合成不同强度的 Lombard-like 语音，同时保持说话人身份与自然度，并提升噪声环境下的可懂度。
- Noise-Aware Lombard Speech Synthesis via Flow-GRPO for Intelligibility Optimization 🆕NEW
- 赛道归属: 文本转语音（TTS）/ 噪声自适应语音合成与强化学习后训练
- 核心创新点: 提出模拟人类Lombard效应的噪声自适应TTS框架NIL-TTS，核心技术有两点：①将特征级线性调制（FiLM）机制嵌入流匹配骨干网络，实现对噪声条件的动态声学自适应；②采用两阶段训练范式——先在配对Lombard语料上进行监督微调，再通过Flow-GRPO强化学习后训练直接优化可懂度目标，使合成语音的自适应调整幅度随噪声强度成比例增强。
- Long-Prompt Zero-Shot TTS: Benchmarking Prosody Reproduction Beyond Voice Cloning 🆕NEW
- 赛道归属: 文本转语音（TTS）/ 零样本韵律复现与基准评测
- 核心创新点: 将零样本TTS从"短提示音色克隆"扩展至"长提示韵律复现"新任务，并构建首个专用双语基准LP-TTS-Bench（37位说话人、63.95小时提示音频），在可懂度和音色相似度之外，新增时序、重音、语调及模型级韵律等多维度评估指标。作为参考系统，设计了层次化长提示编码器，将长时语音提示压缩为固定数量的连续韵律向量，实验表明随提示时长增加（约至10分钟）韵律复现质量持续提升。
- Speaking Longer Than Learned: Training-Free Long-Form Generation for Full-Stream Text-to-Speech 🆕NEW
- 赛道归属: 文本转语音（TTS）/ 长文本生成与推理时上下文管理
- 核心创新点: 针对全流式TTS模型在超出训练长度时的性能退化问题，系统性地诊断出两类独立的退化原因：①发音准确率下降源于模型所处位置超出训练范围，而非历史上下文丢失；②说话人相似度下降源于声学提示关注度不足。在此分析基础上，提出两项无需额外训练的推理修改方案——缩减注意力窗口与强化对声学提示的注意力权重，两者具有互补效果，可在不损失自然度的前提下维持长文本生成的稳定性。
- Beyond Fixed Targets: On-Policy One-Shot Speaker Personalization for Autoregressive Text-To-Speech Models 🆕NEW
- 赛道归属: 文本转语音（TTS）/ 单样本说话人个性化与在线策略优化
- 核心创新点: 识别出单样本自回归TTS个性化失败的根本原因在于"固定离线策略监督"而非训练数据不足，并提出两种在线策略（on-policy）方法：①GRPO——以说话人相似度为奖励信号的群体相对策略优化，实现最强综合性能；②OPSD——以参考条件教师模型软标签为监督的在线策略自蒸馏，大幅加速适配速度。通过消融实验证明性能增益来源于在线策略训练本身而非目标多样性，确立了on-policy框架在单样本AR TTS个性化中的有效性。
GitHub
- [2026-10-14] huggingface/diffusers ⭐34722
- [2026-10-12] BinWang28/audio-ai-hub ⭐960
- [2026-10-13] kandinskylab/kandinsky-6 ⭐343
- [2026-10-10] NoizAI/WorldSonus ⭐229
- [2026-10-13] kszpxxzmc/ViSAudio ⭐118
HuggingFace Models
- fishaudio/drama-3 🆕NEW
语言大模型
arXiv
- Structure vs. Chain-of-Thought: Evaluating LLM Criteria Extraction for Depression Severity
- 赛道归属: 医疗文本理解 / 临床严重程度评估
- 核心创新点: 该工作系统比较了两类LLM严重程度判定范式：直接输出分级结果，和先抽取临床标准再通过规则映射为标签。核心发现是，结构化的“criteria extraction”并未稳定优于链式思维或直接提示，且其优势高度依赖阈值是否用标注数据拟合；当阈值预先固定时，抽取式方法基本没有收益。研究进一步指出，较高的序数一致性并不等于更好的重症识别，尤其在严重病例漏检上，抽取式流程反而可能更差，强调了临床可审计性与实际检测能力之间的权衡。
- GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks
- 赛道归属: 地理空间智能 / LLM评测基准 / 需求抽取与检索式地理分析
- 核心创新点: 提出GeoFitBench-LLM，用于评估大语言模型在地理分析任务中对“地理数据需求”的推断能力，重点考察模型能否从自然语言请求中识别所需数据集、支撑资源及约束条件。该基准将评测拆分为“时空关系推理”和“语义落地”两类维度，并采用固定且与数据提供方无关的真值编码方案，以支持资源识别与属性级规格的可复现评估。
- AutoDP-LLM: Automating Data Pre-processing for Intrusion Detection Systems using Large Language Models
- 赛道归属: 网络安全 / 入侵检测 / LLM驱动的数据预处理自动化
- 核心创新点: 提出 AutoDP-LLM，将大语言模型用于自动生成、验证并执行入侵检测数据预处理流水线；通过“确定性主机侧规划 + LLM专家代理”协同生成处理策略与可执行代码，并结合语义推理与训练统计证据自适应筛选特征，在不预设特征预算的情况下实现紧凑、可执行的自动化预处理流程。
- When Context Misleads: In-context Learning with Jurisdiction in Large Language Models 🆕NEW
- 赛道归属: 多模态/文本推理鲁棒性评测与后训练优化
- 核心创新点: 该工作聚焦LLM在In-Context Learning中对“上下文是否具有裁决权”的判断能力，提出FakeContextBench用于评测模型面对伪科学上下文时的服从与辨别能力。方法上提出J-ICL，将“上下文验证”显式纳入后训练目标，以缓解模型对误导性上下文的过度依赖。实验表明，该框架能够同时提升ICL能力与抵抗虚假上下文的鲁棒性，说明后训练不应只学示例模式，还要学会判断上下文是否应当主导答案。
- An Agentic AI Framework with Large Language Models and Chain-of-Thought for UAV-Assisted Logistics Scheduling with Mobile Edge Computing
- 赛道归属: 物流调度 / 边缘计算 / UAV协同优化 / Agentic AI
- 核心创新点: 构建一个面向UAV辅助物流与MEC联合调度的agentic AI框架，利用LLM、检索增强生成和Chain-of-Thought将用户需求转化为可解释的数学建模；同时设计分层PPO强化学习，上层学习UAV路径规划，下层优化每时隙任务执行与资源分配，以处理路由、能耗、计算与通信资源及截止期约束的耦合优化问题。
- Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Bootstrapped Prolog-based Chain-of-Thought
- 赛道归属: 大语言模型推理优化 / 符号推理增强
- 核心创新点: 提出 Thought-Like-Pro 框架，将符号逻辑引擎 Prolog 与大模型的 Chain-of-Thought 学习结合起来：先由大模型在提示引导下生成规则与陈述，再借助 Prolog 进行符号推理得到可验证的推理轨迹，随后把这些 Prolog 推导出的连续推理过程转换为自然语言 CoT，用于模仿学习。该方法的关键突破在于通过“自举式”构造高质量、可验证的推理监督信号，增强大模型的推理能力与跨分布泛化能力。
- LLM Value Functions for Credit Assignment in Agentic RL 🆕NEW
- 赛道归属: 智能体强化学习 / 长时序信用分配 / LLM价值函数
- 核心创新点: 该工作提出用预训练LLM直接充当价值函数，避免单独训练不稳定且昂贵的critic，从而实现长时序稀疏奖励下的细粒度信用分配。其关键方法是让价值模型条件化于组上下文，并利用初始与终止状态的已知价值进行校准，通过相邻状态价值差来估计动作级贡献。进一步扩展到on-policy distillation，提出LVOPD，将教师监督集中到那些导致估计价值下降的动作上。整体上，这一方法把LLM的先验知识与上下文推理能力转化为可用于RL的、政策相关的逐步价值估计。
- Towards In-Parameter Memory Augmentation for Large Language Models
- 赛道归属: 大语言模型记忆增强 / 参数化记忆注入
- 核心创新点: 这是一篇综述性质工作，系统梳理了面向部署阶段的“in-parameter memory”增强范式，即将可复用的记忆信息编码到模型参数、适配器或类似参数对象中，并在推理时并入前向计算。文章提出了两个组织维度：一是按记忆注入位置划分为 Embedding、Attention、FFN 和 Hybrid；二是按记忆获取时机划分为离线获取与在线获取。其方法论价值在于明确了该类方法的边界、统一了不同路线的比较框架，并总结了干扰、安全性、与上下文学习协同以及递归自我改进等开放问题。
- SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought
- 赛道归属: 自我进化 / 在线策略蒸馏 / 思维链学习
- 核心创新点: 提出 SeOPD，让同一个 LLM 的 deep-thinking 模式生成 CoT，再将该 CoT 作为 privileged information 去监督 non-thinking 模式的 token 级输出，实现无需外部标注或环境反馈的在线策略蒸馏。方法的核心在于把模型自身推理过程中涌现的信息内化到共享参数中，从而同时提升非思考与深度思考能力。
- LLM Alignment--Utility Asymmetry under Semantic-Preserving Transformations
- 赛道归属: 对齐鲁棒性 / 安全性评测 / 分布偏移
- 核心创新点: 通过语义保持、规则可逆的合成变换，系统检验 LLM 对分布偏移下的对齐泛化能力，提出“Alignment-utility asymmetry”现象：模型在变换输入上往往仍能保持任务效用，但安全对齐失效会更显著地恶化。该工作的方法价值在于把对齐问题从攻击视角转为受控探针，揭示语义不变但表面形式变化时，效用与安全的泛化并不同步。
GitHub
- [2026-10-15] sgl-project/sglang ⭐37155
- [2026-10-15] NVIDIA/TensorRT-LLM ⭐14815
- [2026-10-15] google-ai-edge/LiteRT-LM ⭐6674
- [2026-10-15] openJiuwen-ai/jiuwenswarm ⭐6575
- [2026-10-15] flagos-ai/FlagGems ⭐1136
HuggingFace Models
HuggingFace Datasets
- [2026-09-26] XiaomiMiMo/MiMo-V2.6-RL-oss
- [2026-10-10] MoreThought/Fable-5.1-Max-Reasoning-Filtered-10000x
- [2026-09-23] bakrianoo/jabarti-llm-dataset
多模态大模型
arXiv
- CRUISE: Vision-Language Model-Guided Uncertainty-Aware Cross-Modal Sensor Fusion for Robust Autonomous Driving
- 赛道归属: 自动驾驶 / 多模态传感器融合 / 不确定性建模
- 核心创新点: 提出一种由视觉-语言模型（VLM）引导的不确定性感知跨模态融合框架，将VLM的先验知识与上下文推理能力用于生成更细粒度的像素级不确定性估计，从而为融合过程提供更精细的可靠性指引；同时引入动态自适应机制，显式建模并捕获跨模态依赖关系，以更充分利用摄像头、LiDAR、雷达等多传感器之间的互补信息。
- From Classification to Cross-Modal Understanding: Leveraging Vision-Language Models for Fine-Grained Renal Pathology 🆕NEW
- 赛道归属: 多模态理解 / 医学病理图像分析
- 核心创新点: 针对肾脏病理细粒度肾小球亚型分类这一高难度场景，构建了首个面向少样本VLM适配的细粒度肾脏病理基准。核心方法突破在于：超越传统分类精度指标，系统性地引入图文对齐度、正负样本相似度分离、嵌入几何结构及置信度校准（ECE）等多维度评估体系，揭示了监督级别、模型设计与适配策略如何共同塑造跨模态表示结构，从而将VLM评估从粗粒度分类推进至可靠的跨模态理解层面。
- MoR-MLLM: Mixture of Recursions for Efficient Multimodal Large Language Models
- 赛道归属: 多模态大模型推理优化 / 计算效率优化
- 核心创新点: 基于 Mixture-of-Recursions 框架，将“静态稀疏”改为“按 token 自适应递归深度分配”，使模型能够针对视觉或语言中更复杂的 token 动态增加计算、对简单 token 跳过冗余递归，从而实现计算稀疏化；同时提出三阶段 MoR-Tuning 训练策略，并结合熵正则化损失稳定多模态场景下的递归稀疏训练，提升路由分布多样性，在降低训练显存与计算开销的同时尽量保持任务性能。
- Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models 🆕NEW
- 赛道归属: 多模态理解 / 模型可解释性与训练样本归因
- 核心创新点: 提出MOSAIC框架，将训练样本影响力归因从样本级细化至图像块（patch）级别。核心技术创新在于：联合学习一个共享的稀疏图文潜在空间，要求其概念在各模态内稀疏、支撑于连续图像区域、与描述短语对齐且近似去相关；在此基础上结合EK-FAC分解训练样本影响力，将其精确定位至具体文本短语和图像区域。首次实现了"模型行为来源"与"多模态证据载体"的统一归因，并发现视觉证据可在保留共享潜在结构的同时显著重组训练数据归因。
- PathLang: A Language-Centered Benchmark for Vision-Language Models in Computational Pathology
- 赛道归属: 医学多模态理解 / 病理视觉语言模型评测 / 零样本基准
- 核心创新点: 构建了一个以语言为中心的病理VLM零样本基准PathLang，核心不是改变图像内容，而是固定切片、标签和图文评测方向，仅系统性变化诊断语言，从而专门评估模型对术语、具体性和报告风格变化的鲁棒性；同时覆盖分类、检索、释义鲁棒性和开放词表诊断检索四类任务，并由临床病理专家验证提示词与候选集，使得评测能够更真实地反映临床语境下“同义不同表述”对模型行为的影响。
- ReMem: Streaming Video Understanding With Long Context Retention
- 赛道归属: 视频理解 / 流式视频理解 / 长上下文记忆
- 核心创新点: 提出一种训练无关的流式视频适配方法，通过双记忆机制提升长上下文保留能力。其一是 Streaming Context Memory，使用与查询无关的注意力持续压缩历史上下文；其二是 Retrieved Vision Memory，从记忆中检索与当前查询最相关的视觉上下文补充输入。该方法面向任意长度流式视频，在不依赖额外训练的情况下增强长视频信息保留，并兼顾流式与长视频理解任务表现。
- Multimodal Large Language Models as Image Classifiers
- 赛道归属: 多模态理解 / 图像分类评测
- 核心创新点: 该工作聚焦于多模态大模型作为图像分类器时的评测可靠性问题，系统分析并修正了常见评测协议中的偏差来源，包括超出候选类别的输出被丢弃、弱干扰项导致的多选题结果虚高、以及开放世界设置下因输出映射不当造成的性能低估。同时，作者量化了批大小、图像顺序、文本编码器选择等容易被忽视的设计因素对准确率的显著影响，并通过对 ImageNet-1k 的多标签重标注数据集 ReGT 重新评估，证明许多“MLLM 不如监督模型”的结论主要来自噪声标注和错误评测协议，而非模型本身能力不足。
- SOVABench: A Vehicle Surveillance Action Retrieval Benchmark for Multimodal Large Language Models 🆕NEW
- 赛道归属: 多模态理解 / 视频检索与行为识别（监控场景）
- 核心创新点: 构建SOVABench，首个面向车辆监控场景的动作检索基准，定义了跨动作判别（inter-pair）和时序方向理解（intra-pair）两种评估协议。核心方法创新在于：提出一种无需训练的框架，利用多模态大语言模型（MLLM）对图像和视频生成自然语言描述，再将描述转化为可解释的嵌入向量用于检索，有效弥补了对比式视觉-语言模型在空间关系和计数任务上的固有缺陷，同时赋予检索结果以语义可解释性。
- Rethinking Fine-Tuning: Unlocking Hidden Capabilities in Vision-Language Models
- 赛道归属: 多模态理解 / 视觉语言模型微调优化
- 核心创新点: 提出掩码微调（MFT）方法，彻底摒弃传统微调中对骨干网络权重的直接修改。其核心突破在于：通过学习可选择性路由信息的二值掩码，在不增加任何新参数或改变部署架构的前提下，动态发现预训练网络中更适配下游任务的子网络。这一结构化选择框架同时规避了全量微调（FFT）中跨模态梯度干扰导致的表征扰动问题，以及参数高效微调（PEFT）中附加模块（如LoRA）带来的适应容量瓶颈，实现了对预训练表征内部路径的重新组织而非知识注入。
- Beyond Static Cues: Unified Dynamic Detection of MLLM Backdoors via Dual-Flow Trajectory Analysis 🆕NEW
- 赛道归属: 多模态安全 / 后门攻击检测
- 核心创新点: 提出EVO-Detect框架，将MLLM后门检测范式从静态快照观测转变为动态输出演化分析。核心创新在于：通过监控早期解码步骤中内部信号的动态演化，设计注意力流（Attention Flow）和Logits流（Logits Flow）两条互补检测通道——前者追踪图文注意力分配在生成过程中的演变，后者通过模态干预消融量化输出分布对模态扰动的敏感性；并将轨迹归一化至负控制基线以抑制自然扰动的误报。该方法无需依赖攻击类型先验，可统一应对文本注入、亚感知噪声及跨模态协同触发等多种未知攻击形式。
GitHub
- [2026-10-14] Blaizzy/mlx-vlm ⭐5624
- [2026-10-15] NVIDIA-AI-Blueprints/video-search-and-summarization ⭐1928
- [2026-10-13] zli12321/Vision-Language-Models-Overview ⭐730
- [2026-10-14] vulab-AI/Awesome-Spatial-VLMs ⭐472 🆕NEW
- [2026-10-12] ll220/qwen3d ⭐102
强化学习
arXiv
- OOM-RL: Out-of-Money Reinforcement Learning Market-Driven Alignment for LLM-Based Multi-Agent Systems
- 赛道归属: 多智能体系统对齐 / 强化学习驱动的LLM代理优化
- 核心创新点: 提出 Out-of-Money Reinforcement Learning（OOM-RL）这一目标对齐范式，将真实金融市场中的资本亏损、滑点和执行成本作为外部施加的负反馈信号，用“经济后果”替代传统内部评估中的不确定性监督；同时在长期实证中推动代理架构与治理机制演化，并进一步形式化出严格的测试驱动工作流与单向状态锁约束，用于提升执行感知能力与系统鲁棒性。
- CORE-RL: Confidence-Oriented Reliability Evaluation of Black-Box Reinforcement Learning Policies
- 赛道归属: 强化学习安全评估 / 黑盒策略可靠性验证
- 核心创新点: 提出面向黑盒RL策略的统一可靠性评估流程，将早停终止与安全约束违规纳入同一可靠性指标，避免策略通过提前结束回合掩盖失败；同时在感知噪声、执行噪声和环境动力学变化的噪声认证包络下，结合有限样本统计界给出安全性与期望性能的高置信证书，并据此定义安全运行设计域（ODD）用于自动筛除不合规策略。
- DVLA-RL++: Dual-Level Vision-Language Alignment with Reinforcement Learning Gating for Few-Shot Learning
- 赛道归属: 小样本学习 / 视觉-语言对齐
- 核心创新点: 提出双层视觉-语言对齐框架 DVLA-RL++，在原有方法上加入补充语义净化（CSP）与反事实强化学习门控（CRG）。CSP 将支持样本拆分为“内在语义”和“噪声/偶然上下文”两类描述，并通过与每个支持 token 的一致性比较来抑制上下文污染；同时引入基于歧义程度的拒绝边界与内在语义锚点，在视觉证据不可靠时提供回退。CRG 则通过奖励函数学习逐层语义融合强度，并借助独立参考轨迹形成配对学习信号，从而提升原型稳定性与融合策略的可学习性。
- TrustMed-RL: Long-Horizon Reinforcement Learning for Evidence-Grounded Clinical Diagnosis
- 赛道归属: 医疗多轮诊断 / 临床推理强化学习
- 核心创新点: 构建面向长时程、证据驱动诊断的多轮RL框架，将问诊、查体、检查、专科会诊与文献检索等状态相关动作纳入统一策略学习；通过临床适配的GiGPO与覆盖率调整后的诊断奖励，强化模型在给出诊断的同时主动获取支持性证据，从而提升诊断准确率与证据扎实度。
- IACM-RL: Intent-Aware Context Management and Reinforcement Learning for Complex Tool Invocation under Dynamic Intent Fluctuations 🆕NEW
- 赛道归属: 工具调用 / 智能体任务规划
- 核心创新点: 面向动态意图波动下的长程工具调用，提出了Intent-Aware的上下文管理与强化学习框架。方法上通过DynamicIntent数据流水线构造多种细粒度意图漂移场景，并设计五维诊断指标；同时引入基于BeliefState的自生成上下文管理器，用结构化stale flags显式追踪被覆盖参数、隔离过时约束。训练上结合层次化意图驱动奖励与两个辅助损失，使策略能够内化状态追踪能力，减少死循环和过时上下文错误。
- Reinforcement Learning via Advantage Guidance 🆕NEW
- 赛道归属: 强化学习优化 / 长程稀疏奖励推理优化
- 核心创新点: 提出Advantage Guidance，用接近监督学习的稳定训练形式实现带优势函数条件的策略优化。其关键突破在于：训练阶段通过优势条件化学习提升策略对条件信号的响应能力，采样阶段再用对比式扩散引导将学到的优势条件策略进一步导向KL正则下的最优策略，从而在保持训练稳定、超参数敏感性更低的同时，取得优于传统RL方法的性能。
- MIPS: Mitigating Mode Collapse in Reinforcement Learning for Large Outcome Spaces 🆕NEW
- 赛道归属: 强化学习优化 / 多解空间多样性保持
- 核心创新点: 针对大结果空间下的模式坍塌问题，提出MIPS（Marginal IPS）以替代基于频次的IPS估计。其核心在于不再依赖小组内重复样本的频率，而是对结果进行边际评估：结合当前采样轨迹与一个学习到的“生成该结果的轨迹模型”来估计结果概率，从而在结果空间远大于rollout组时仍能有效抑制概率质量向少数解集中，保持高质量且多样的采样。
- Comprehensive Comparisons of Reinforcement Learning Algorithms in Autonomous Driving 🆕NEW
- 赛道归属: 自动驾驶决策 / 强化学习算法比较
- 核心创新点: 该工作不是提出新算法，而是对自动驾驶无信号路口决策中的四类代表性RL方法进行系统对比评估。重点从最优性与安全性、训练稳定性、训练与决策成本等维度，比较FVI、RCPI、DQN和离散化D-DDPG，并据此总结不同条件下的算法选择建议，为自动驾驶场景中的RL方法选型提供了实证依据。
- MMKG-R1: Constructing Multimodal Knowledge Graphs via Reinforcement Learning 🆕NEW
- 赛道归属: 多模态知识图谱构建 / 多模态RAG
- 核心创新点: 提出MMKG-R1，将强化学习直接用于多模态知识图谱构建质量优化。方法上不再仅依赖最终问答正确性作为间接反馈，而是设计多个质量感知奖励，分别评估单个知识源的信息抽取质量与最终组装后的MMKG质量，并据此指导MLLM作为多模态知识构造器的RL训练，从而提升下游问答效果。
- Outcome-Routed Distillation and Reinforcement Learning for Diffusion Language Models 🆕NEW
- 赛道归属: 扩散语言模型 / 强化学习与蒸馏结合
- 核心创新点: 针对扩散语言模型中基于likelihood的RL不可靠问题，提出一种likelihood-free的“结果路由蒸馏+强化学习”流水线。核心做法是按verifier结果对rollout分组：成功/失败混合组使用无比率、组中心化的REINFORCE；当学生全部失败但教师成功时，对学生的denoising canvas施加密集KL蒸馏；其余组跳过。同时引入锚定到蒸馏检查点的KL约束，限制策略偏离验证器奖励之外的能力，从而兼顾结果提升与能力保持。
GitHub
- [2026-10-15] RLinf/RLinf ⭐5411
- [2026-10-15] radixark/miles ⭐3130
- [2026-10-15] Tencent-Hunyuan/UniRL ⭐1016
- [2026-10-15] ChuaCheowHuan/gym-continuousDoubleAuction ⭐155
- [2026-10-15] erolilhan/DataForge-Lua ⭐68
HuggingFace Models
HuggingFace Datasets
- [2026-10-09] FineEnvs/openai-math
世界动作模型
arXiv
- Data-Free Continual Learning for World Action Model with Rectified Generative Replay 🆕NEW
- 赛道归属: 世界动作模型 / 机器人持续学习 / 生成式回放
- 核心创新点: 针对WAM在序列微调中遗忘旧任务、且无法访问历史数据的痛点，提出"修正生成式回放"（R²-WAM）方法。核心突破有两点：①引入智能体评估器（agentic evaluator）在任务完成时截断自回归生成的轨迹，避免无效动作的持续生成；②设计物理一致性过滤机制，剔除生成动作与生成观测在物理上不匹配的轨迹。通过让WAM自主重生成历史任务的完整轨迹并回放，在完全无历史数据的条件下将遗忘率降低超90%，并揭示了WAM遗忘主要集中在逆动力学建模（IDM）而非视觉观测生成的规律。
- Box-WAM: Box Trajectories as Compact State Representations for World Action Models 🆕NEW
- 赛道归属: 世界动作模型 / 机器人操作 / 紧凑状态表示
- 核心创新点: 针对WAM中全帧视频预测计算代价高昂的问题，提出以有向边界框（Oriented Bounding Box）轨迹替代密集未来帧作为世界状态表示的Box-WAM方法。核心突破在于：将未来预测目标从像素级视频压缩为任务相关物体的以物体为中心的运动轨迹，在大幅降低训练与推理计算量的同时，保留了对机器人动作产生的关键物理变化的建模能力，并实验证明该轻量预测目标反而能提升动作预测性能。
- MARS: Systematic Multi-Level Acceleration for World Action Models 🆕NEW
- 赛道归属: 世界动作模型 / 推理加速 / 机器人控制
- 核心创新点: 针对WAM推理延迟高、难以支撑高频闭环控制的问题，提出无需训练、即插即用的多级加速框架MARS。核心突破在于系统性地识别并消除WAM推理中三个层次的冗余：①选择性剪除低影响力的Transformer注意力计算；②根据运动粒度自适应加速扩散去噪步骤；③跨连续查询投机性复用预测的未来视觉表示并配合在线验证机制。三种机制协同作用，在LIBERO等基准上实现最高4×的端到端加速，且任务成功率接近原始策略。
- G$^2$WAM: World Action Models for Efficient and Geometry Grounded Image-Goal Navigation 🆕NEW
- 赛道归属: 世界动作模型 / 图像目标导航 / 空间几何感知
- 核心创新点: 针对图像目标导航中目标超出视野、需要持久空间记忆的挑战，提出几何锚定世界动作模型G²WAM。核心突破在于：设计了一个可学习的场景坐标定位模块，将当前帧、目标帧和历史帧统一锚定到公共参考坐标系，无需显式3D重建即可获得稳定一致的空间上下文；同时完全在潜空间中运行，避免像素级重建开销；并遵循WAM范式联合预测未来状态与动作，消除了代价高昂的CEM规划。在轨迹预测和闭环导航实验中均显著优于基线。
- 1Step-WAM: Your World Action Model but Faster using 1-Step Action Generation 🆕NEW
- 赛道归属: 世界动作模型 / 推理加速 / 动作生成蒸馏
- 核心创新点: 针对WAM中多步扩散去噪与视觉预填充顺序执行造成的推理瓶颈，提出1Step-WAM加速框架。核心突破在于：观察到WAM中动作去噪轨迹近似为直线，第一步速度已是最终动作方向的强估计，据此设计轻量校准器直接修正第一步速度，并结合带宽约束的动作解码进一步降低误差；将动作生成压缩为单次前向传播后，使其得以与视觉预填充并行执行，彻底打破"先想象后行动"的顺序瓶颈，仅需约13.4M可训练参数即可实现最高24.84×的推理加速。
- LeWAM: A JEPA World Action Model with Diffusion-Steering-Based MPC
- 赛道归属: 机器人操作 / 世界动作模型 / 具身智能控制
- 核心创新点: 提出 LeWAM，将世界动作模型构建为基于 decoder-free JEPA 潜空间的双向 Transformer，并在同一潜表示上端到端联合训练前向、后向、逆动力学和策略预测四种模式。其方法上的关键突破在于：用更干净的 JEPA latent 替代重建式表示，减少噪声与冗余信息；通过双向建模增强状态与动作表征对齐；并进一步指出规划时在策略头的噪声空间中采样，比直接采样原始动作更有利于 MPC 闭环性能提升。
- HWAM: Humanoid World Action Model With Joint State--Action Generation
- 赛道归属: 世界动作模型 / 人形机器人操作 / 状态-动作联合生成
- 核心创新点: 针对人形机器人层级控制中策略输出的参考动作与机器人实际执行动作之间存在"动作-执行鸿沟"的问题，提出HWAM，将机器人执行后的本体感知状态作为显式预测目标。核心突破在于：设计三条互补的条件训练路径——策略路径（仅基于当前观测联合去噪状态-动作轨迹）、前向动力学建模（FDM，基于动作和执行后状态预测未来视觉观测）、逆向动力学建模（IDM，从视觉转换重建关节轨迹），三者共同将策略参考、实际执行运动与视觉结果关联起来，使动作学习直接获得已执行运动的监督信号。
- WAM-Cache: Staleness-Bounded KV Reuse for Efficient World Action Models
- 赛道归属: 机器人推理加速 / 世界动作模型推理优化 / KV 缓存复用
- 核心创新点: 提出 WAM-Cache，一种无需训练的 WAM 加速框架，通过跨 chunk 复用视频 DiT 的分层 KV 表示，仅对少量刷新 token 进行重计算，降低每个控制 chunk 的预填充开销。其方法上的关键点在于：不再按“视觉漂移”直觉选刷新 token，而是结合动作专家的 cross-attention 关注区域与视觉 latent surprise 来决定刷新集合，并引入严格的 age bound 抑制误差累积，从而在保持接近稠密基线性能的同时显著减少 FLOPs。
- TAPDreamer: Transferable Adversarial Patches for World Action Models
- 赛道归属: 世界动作模型安全攻击 / 对抗扰动
- 核心创新点: 提出一种无需访问目标模型输出、仅依赖公开编码器的可迁移对抗补丁攻击方法。其关键突破在于利用补丁引发的注意力权重与 value 向量交互，诱导一种可在图像大范围传播且跨任务稳定的表征偏移；并通过仅用单一源任务的6帧样本，直接优化干净与补丁编码表示之间的全局 L1 距离，从而得到可跨任务、跨动作架构迁移的固定局部扰动。
- Future Anchored Verification and Online Recovery for World Action Models
- 赛道归属: 世界动作模型在线验证 / 执行恢复
- 核心创新点: 提出 FAVOR 框架，将世界动作模型在执行前预测出的未来帧作为“锚点”，同时用于偏差检测与在线恢复，而不是仅在偏离后决定是否停止。其方法核心是：通过 Anchor Verifier 将当前观测与对应锚点及已执行动作联合比对，识别破坏任务进程的偏移；再由 Anchor-Guided Recovery 借助视觉语言模型把被标记的锚点转化为简短纠正指令，促使模型回到原先预测的未来轨迹后继续执行。该工作把“监测”扩展为“验证 + 恢复”的闭环机制，且无需修改原策略。
GitHub
- [2026-10-13] NVlabs/LongLive ⭐2786
- [2026-10-14] OpenWAM-Official/OpenWAM ⭐1030
- [2026-10-14] OpenWAM/OpenWAM ⭐199
- [2026-10-12] UniWAM/UniWAM ⭐128
- [2026-10-12] gentlefress/OMEGA-0 ⭐56
由 Research Daily 自动生成 生成时间: 2026-10-15 13:31:14