AI 每日进展速报 - 2026-10-12
新旧
正在统计...
来源
当前筛选条件下没有条目。
图像生成/编辑
arXiv
- Keep It CALM: Analyzing the Limits of Global Unsafety in Text-to-Image Generation
- 赛道归属: 文生图安全对齐 / 训练时无关安全防护
- 核心创新点: 该工作分析了“全局不安全方向/子空间”这类训练无关安全方法的适用边界，指出其存在“覆盖性-选择性”权衡：过于紧凑的安全子空间难以覆盖多样化的有害语义，过于宽泛的聚合又会误伤安全邻近的正常提示词。基于这一几何分析，提出 CALM，通过匹配有害-安全锚点进行提示词局部反事实修正，只对触发违规的 token 表征做最小化安全侧编辑，并抑制正向对齐的有害残差，从而以更细粒度的局部修正替代统一的全局不安全信号移除。
- TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows
- 赛道归属: 文生图评测 / 世界一致性评估
- 核心创新点: 该工作提出 TerraVis，用于评估生成图像是否符合真实世界的结构与物理常识，而不仅是视觉质量或文本对齐。其核心方法是构建覆盖对象、交互和场景层面的世界一致性违规 taxonomy，并设计多阶段 MLLM 评估流程：先判断图像是否适合评估，再识别 18 类违规类型，并将其划分为轻微/严重以形成总体世界一致性分数。该框架强调对“看起来好但不符合常识”的失败模式进行系统化量化与诊断。
- Two Halves are More than One: Phase-wise Velocity Distillation for Fast and High-Quality Image Generation
- 赛道归属: 文生图 / 图像生成加速与蒸馏
- 核心创新点: 提出 Phase-wise Velocity Distillation（PVD），将生成过程划分为“粗阶段”和“细阶段”，分别用两个半尺寸的阶段专属专家建模各自的平均速度，从而把结构生成与细节修复解耦；在保持总计算量等价于一次完整骨干前向的前提下，相比单一大一统学生模型更能避免过度平滑，并在高质量快速生成上取得更优效果。
- Safe Image Generation via Reinforcement Learning
- 赛道归属: 文生图安全生成 / 生成过程安全控制
- 核心创新点: 提出一种“生成中”安全框架，不再只依赖生成前过滤或生成后审核，而是在扩散去噪轨迹中监测中间表示里的NSFW信号；进一步结合强化学习，将检测到的风险轨迹主动引导到安全图像生成方向，实现对NSFW提示词的可控安全生成，并尽量保持图像质量与提示词一致性。
- VisualErase: Dual-Branch Visual Trajectory Redirection for Robust Concept Erasure in Text-to-Image Diffusion Models
- 赛道归属: 文生图概念擦除 / 扩散模型知识移除
- 核心创新点: 提出双分支的视觉轨迹重定向范式，目标不是仅改写文本到图像映射，而是直接将包含目标概念的视觉生成轨迹重定向到“概念已移除”的结果；通过结构保持的图像编辑构造内容对齐但去除目标概念的对应样本，并据此建立去噪目标，同时对有条件与无条件预测施加联合约束，再结合对应内容保留损失，以增强擦除鲁棒性并减少对非目标生成能力的破坏。
- Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards
- 赛道归属: 文生图后训练 / 偏好优化 / 奖励建模
- 核心创新点: 该工作提出一种面向开放域文生图模型的后训练配方，通过组合互补奖励来同时优化整体人类偏好与提示词忠实度等细粒度属性。方法上包含两类奖励：基于大规模人类偏好数据、采用 Bradley-Terry 目标训练的偏好奖励，以及显式评估 prompt faithfulness 等属性并用于防止 reward hacking 的 rubric 奖励。其关键突破在于不采用简单加权平均，而是设计更有效的奖励组合策略，以更好平衡偏好优化与规则满足。
- Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion
- 赛道归属: 文生图扩散模型采样 / 多样性-满意度权衡
- 核心创新点: 该工作将多图生成建模为“satisficing”问题：每个候选图都必须达到最低奖励阈值，同时整批结果还需满足多样性下限，从而显式刻画“满意度-多样性”前沿。为遍历这一前沿，提出训练无关的推理时方法 SatisDive，利用 batch-relative reward cutoff 区分低奖励与高奖励候选，对低于阈值的样本侧重提升奖励，对高于阈值的样本侧重保持多样性。其方法论重点在于把奖励与多样性从单一聚合目标改为分层约束与分区调控。
- When Text-to-Image Helps Editing: The Effects of Conditioning During Denoising
- 赛道归属: 图像编辑 / 扩散模型采样策略优化
- 核心创新点: 研究统一式编辑模型在去噪过程中不同条件信息的作用变化，发现纯编辑流程中源图像条件在部分编辑任务上会随采样轨迹逐渐减弱；据此提出“任务切换”策略，在去噪的有限区间内切换到文本到图像（T2I）任务，让模型调用其生成能力，再切回编辑模式。该方法利用同一统一模型已训练的两种条件模式，通过切换时机在编辑质量与内容保真之间取得更优平衡。
- Obliviate: Erasing Concepts from Autoregressive Image Generation Models 🆕NEW
- 赛道归属: 文生图 / 概念消除（Concept Erasure）
- 核心创新点: 针对自回归图像生成模型的概念擦除问题（此前研究几乎空白），提出 Obliviate 方法。核心技术突破在于三点设计：①基于 KL 散度对视觉 token 分布进行监督，而非直接操作像素或特征；②在完整自回归展开的轨迹层面进行参数更新，而非单步更新；③引入对齐的视觉前缀（aligned visual prefixes）以稳定目标构建。该方法以引导（guidance）方式实现概念擦除，无需重新训练模型，在 Liquid、Emu3-Gen、Janus-Pro 三个主流自回归文生图模型上均有效，将裸露内容生成率从 91.58% 降至 3.15%，同时保持模型整体生成能力。
- Text-to-Image Models Need Less from Text Encoders Than You Think 🆕NEW
- 赛道归属: 文生图 / 文本表示分析与理解
- 核心创新点: 系统性地探究扩散 Transformer 文生图模型对文本编码器输出的实际利用程度。核心发现是：模型并不依赖文本嵌入中的完整上下文信息（如组合性、属性绑定等），而仅依赖两个简单要素——①跨多个 token 的词级表示合并；②由位置编码注入的词序信息。为验证这一结论，作者构造了一种仅编码单词含义与词序、不含任何跨词上下文信息的"带位置标签的词袋（bag of position-tagged words）"表示，并证明其引导生成效果与完整文本嵌入相当。这一发现揭示了复杂语言结构的解码实际上由图像模型自身完成，而非依赖文本编码器，从根本上挑战了领域内对文本编码器作用的普遍认知。
GitHub
- [2026-10-12] YouMind-OpenLab/awesome-nano-banana-pro-prompts ⭐13565
- [2026-10-12] yincongcyincong/MuseBot ⭐1655
- [2026-10-12] AceDataCloud/Nexior ⭐399
- [2026-10-12] etkecc/baibot ⭐250
- [2026-10-11] hypersniper05/MCP-Image-Generator-Uncensored ⭐85
HuggingFace Models
HuggingFace Spaces
视频生成/编辑
arXiv
- TasteRoute: Personalized Routing for Video Generation
- 赛道归属: 视频生成 / 个性化路由 / 成本感知生成
- 核心创新点: 提出面向视频生成请求的个性化路由框架，将输入需求、用户偏好与生成预算联合建模，用于在多个视频生成模型之间选择合适的生成器；同时构建了包含多模型视频对比、质量判断、偏好排序和用户画像信号的标注数据集，支持偏好路由与成本控制的联合优化。
- MosaiChunk: Compositing Spatio-Temporal Memory for Autoregressive Video Generation
- 赛道归属: 视频生成 / 长时序自回归生成 / 记忆增强
- 核心创新点: 提出 MosaiChunk 记忆机制，将跨空间与时间的历史 KV 选择性组合成“马赛克”式记忆，在冻结视频生成器的前提下，仅训练轻量路由器决定在固定记忆预算下保留哪些历史片段，从而让模型在对象或场景重新出现时仍能恢复细粒度视觉细节；同时构建 RememBench，用于评测长时序重访场景下的文本到视频与图像到视频一致性。
- DramaAgent: Agentic Storytelling Video Generation
- 赛道归属: 视频生成 / 长视频叙事生成 / Agentic 控制
- 核心创新点: 提出 DramaAgent 这一分层、具备代理式控制的长篇视频与音频生成框架，不直接改造底层生成模型，而是在上层引入故事规划、持久角色条件控制、按场景合成以及反思驱动的定向修复流程；通过维护可复用的故事与角色状态，并对身份漂移、场景语义缺失、时序断裂和跨模态不匹配进行诊断与分阶段修复，提升长程叙事一致性与音视频协同。
- VideoGen-Agent: Reinforcing Video Generation Agents
- 赛道归属: 视频生成 / 多模态智能体
- 核心创新点: 提出 VideoGen-Agent，将视频生成任务转化为可调用外部工具的多轮智能体决策问题，并通过多任务 agentic reinforcement learning 学习工具使用策略；方法结合监督微调与强化学习，利用类别感知的混合奖励来同时约束工具调用有效性、任务适配性与生成质量。
- DrawVideo: Grounded and Faithful Multi-Shot Video Generation from Storyboard Keyframe Sketches
- 赛道归属: 视频生成 / 草图引导生成 / 多镜头故事板控制
- 核心创新点: 提出以故事板关键帧草图为核心的多镜头视频生成框架，将每个镜头拆解为黑白草图、外观提示和运动提示三类条件；方法上先生成结构对齐的参考关键帧，再将运动描述展开为有序动作状态的派生关键帧，最后在相邻关键帧之间合成局部视频片段，从而实现对空间结构、外观一致性和镜头级运动的显式控制。
- Golden Anchor for Video Generation 🆕NEW
- 赛道归属: 视频生成（图像到视频，I2V锚图优化）
- 核心创新点: 该工作发现了一个被长期忽视的问题：T2I模型直接生成的锚图（anchor image）与下游I2V视频质量之间存在弱相关甚至负相关关系——图像结构与纹理细节越丰富，反而会降低视频质量并使运动不可预测。基于此，提出了Golden Anchor Learning（GAL）框架，其核心创新在于：以冻结的I2V模型为评估器，将候选锚图"渲染"成视频并获取视频维度的奖励信号，再将该视频奖励反向转化为图像级别的偏好对，用于对T2I生成器进行DPO微调。这是首个以下游视频反馈为优化目标、专门学习"对视频友好的锚图"的端到端框架，打破了T2I与I2V两阶段独立优化的惯例，实现了跨模型的泛化增益。
- Towards Unified Evaluation of Prompt Enhancers for Video Generation
- 赛道归属: 视频生成 / 提示词增强评测
- 核心创新点: 提出 PEBench，首次将视频生成中的 Prompt Enhancer（PE）从“依赖渲染视频结果”的间接评测，转为可直接评估的统一基准，覆盖文生视频、图生视频和参考视频生成三类场景；构建了包含 1100 个专家验证案例、1005 个视觉资产、35 个细粒度任务的评测集，并设计了结合模态感知事实抽取与基于 rubric 的 24 项标准评估框架，使提示词质量评估能够更直接地反映语义保真、电影化规划与多模态约束满足能力。
- Expression-Diverse References for Identity-Preserving Video Generation
- 赛道归属: 视频生成 / 身份保持生成
- 核心创新点: 针对单一人脸参考图难以覆盖表情变化导致身份保持不稳定的问题，提出表达多样的参考集合思路，用多个不同表情状态的参考图来刻画身份在表情变化下的外观分布；同时将身份相似度评测从“对单一中性参考比对”扩展为“对参考库匹配”，并按轻度、强烈、极端表情分别报告结果，以更准确暴露表情强度对身份保持的影响。方法上，基于表达多样参考集扩展 Stand-In 进行条件生成，并设计数据整理流程从训练视频中提取一致且多样的人脸裁剪；在仅有单张肖像时，还可借助预训练人脸重演模型合成额外表情参考，从而提升强表情场景下的身份一致性。
- GRACE: Generation-aware latent compression for efficient video generation
- 赛道归属: 视频生成 / 高效视频生成
- 核心创新点: 提出生成感知的潜空间压缩框架 GRACE，在压缩预训练视频自编码器时，不是只追求重建质量，而是同时保持其与预训练 DiT 的兼容性。方法上采用“两阶段”设计：先保留冻结的基础 latent，再学习补偿压缩损失的残差 latent，并在冻结 DiT 的特征空间中对压缩 latent 进行对齐；随后用轻量微调和非对称去噪适配 DiT，使基础部分先去噪、残差后去噪，从而在大幅降低 token 数和推理延迟的同时维持生成质量。
- SGF+: Decoupling Gradient Flows for Autoregressive Video Generation
- 赛道归属: 视频生成 / 自回归视频生成
- 核心创新点: 针对自回归视频生成中“当前帧去噪”和“未来上下文写入”共享参数、梯度方向冲突的问题，提出 SGF+ 将两种角色解耦为独立参数分支，并通过因果注意力保持二者交互。该方法不依赖额外损失或更长训练，只用原始生成目标联合优化，让上下文写入通过其对未来预测的贡献获得监督，从而同时提升视觉质量与长程时间一致性，并支持超长时间连续生成。
GitHub
- [2026-10-12] YouMind-OpenLab/awesome-seedance-2-prompts ⭐2113
- [2026-10-12] zexadev/gemini-web2api-go ⭐507
- [2026-10-12] Tenney95/AI-Canvas-tauri ⭐217
- [2026-10-12] nexscope-ai/ecommerce-ai-tools ⭐83
- [2026-10-12] utensils/mold ⭐53
音频生成
arXiv
- TTS-Q: Perception-Guided Post-Training Quantization of Text-to-Speech Diffusion Transformers 🆕NEW
- 赛道归属: 文本转语音（TTS）/ 模型量化与推理优化
- 核心创新点: 针对TTS扩散Transformer模型的训练后量化（PTQ）问题，提出TTS-Q方法。核心突破在于：首次系统性地揭示了4-bit W4A4量化对TTS模型的损伤机制——权重量化与激活量化均会损伤音色，但激活量化误差具有明显的时间步（timestep）结构特性；基于此，设计了一种感知引导的混合精度调度策略，通过任务匹配的校准候选集筛选难量化项，并对扩散过程后期步骤的前馈网络激活分配更高精度，在预算平衡约束下最大程度恢复音色，同时不损失可懂度。
- FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control, Temporal Alignment, and Semantic Precision
- 赛道归属: 视频到音频生成 / Foley音效生成 / 多模态可控音频生成
- 核心创新点: 提出统一的video-to-audio框架，将多模态控制、帧级时间对齐和细粒度语义建模整合到同一生成流程中；通过条件注入机制支持音频控制的VTA与Foley扩展，通过多模态动态掩码策略保持训练阶段的时序同步，并引入基于副词的数据增强方法，结合信号处理与大语言模型增强文本监督的语义精度。
- Mechanisms of Multimodal Synchronization: Insights from Decoder-Based Video-Text-to-Speech Synthesis 🆕NEW
- 赛道归属: 多模态音频生成 / 视频驱动语音合成（Video-Text-to-Speech）
- 核心创新点: 以视频-文本-语音合成（VTTS）为受控实验场景，系统性研究了统一解码器架构中多模态同步的内在机制。核心贡献在于：对比分析了全局顺序位置编码与共时位置编码（co-temporal indexing）对跨域同步迁移能力的影响，发现"文本优先+共时索引"组合在域迁移场景下鲁棒性最强；揭示了文本与视频模态的互补性（文本支撑可懂度，视频提供时序与情感线索）；并提出了音素级同步评估指标TimeSync，能够捕捉帧级指标所忽略的细粒度时序偏差，为多模态解码器的同步机制研究提供了新的分析范式。
- NeuMark-Native: Robust Text-to-Speech-Native Watermarking Through Full Utilization of Neural Audio Codec Latent Space
- 赛道归属: 语音水印 / TTS安全与溯源 / 神经音频编解码器
- 核心创新点: 提出TTS-native水印框架，将载荷信息嵌入神经音频编解码器的每一层latent表示中，而不是在波形生成后进行外加扰动；在冻结预训练TTS模型和codec的前提下，仅优化水印模块，使水印在后续DSP攻击和神经codec重采样攻击下更稳健，同时尽量保持语音自然度、可懂度和音质。
- Prompt-Consistency Inference for Zero-Shot Flow-Matching Text-to-Speech Models
- 赛道归属: 零样本文本转语音 / 流匹配TTS推理优化
- 核心创新点: 提出训练无关的Prompt-Consistency Inference（PCI）推理规则，在每次速度场评估前将prompt对应的状态恢复到其解析形式，而不改变待生成区域；利用prompt轨迹可闭式求解这一性质，减少采样过程中prompt状态漂移带来的条件偏差，从而在不增加额外网络前向的情况下提升说话人相似度和可懂度。
- Articulatory Source-Filter TTS: Physically Grounded Control through Vocal Tract Kinematics
- 赛道归属: 可控文本到语音生成 / 语音合成
- 核心创新点: 提出一种基于发音器官运动学的 source-filter TTS 架构，将声道滤波器与声源显式解耦：通过 Acoustic-to-Articulatory Inversion 生成伪运动轨迹来条件化滤波器响应，并用预测的基频与能量轮廓参数化声门声源；同时引入 Optimal Transport Conditional Flow Matching 对声源进行细化，再与滤波器重组为最终频谱。该方法的关键突破在于把原本黑盒式的 TTS 转化为具备物理可解释控制的生成过程，支持稳定的韵律缩放、跨说话人声源/滤波器重组，以及对发音轨迹的直接操控。
- PLACE: Positional Latent Adaptation via Conditioned Embeddings for Binaural Audio Generation
- 赛道归属: 双耳音频生成 / 多模态条件音频生成
- 核心创新点: 在预训练 any-to-audio 模型 AudioX 上扩展出面向双耳生成的条件适配方法：利用 Perception Encoder Core 特征增强视频条件，引入文本与视频表示对齐以提取空间线索，并通过依赖条件的低秩变换调制生成潜变量。训练时再用解码音频的双耳线索目标（ITD/ILD）进行监督，从而把空间感知信息注入生成过程。其方法重点在于把文本、视频和可选音频提示统一到可控的空间音频生成框架中，提升空间一致性与跨模态控制能力。
- Post-Training Zero-Shot TTS for Fine-Grained Emotion and Duration Control via Natural Language
- 赛道归属: 文本到语音生成（TTS）/ 后训练控制
- 核心创新点: 提出一种面向预训练TTS模型的统一后训练框架，通过监督微调先建立“自然语言指令—语音生成”的对应关系，再结合带组相对策略优化的强化学习，用情感与时长奖励联合内容、说话人保持目标，进一步提升段级情感与语速控制精度；该方法直接复用预训练架构，不引入额外推理时控制模块，实现了细粒度、零样式控制能力的增强。
- Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings
- 赛道归属: 文本转语音（TTS）/零样本风格可控语音合成
- 核心创新点: 在不依赖 Lombard 专门训练数据的前提下，基于 F5-TTS 扩展出可学习的风格嵌入表示，并通过 PCA 分析潜空间中与 Lombard 属性相关的方向，再对这些方向进行操控，实现对发声力度、咬字清晰度等 Lombard 风格因素的可解释控制；该方法支持零样本合成不同强度的 Lombard-like 语音，同时保持说话人身份与自然度，并提升噪声环境下的可懂度。
- Enhancing Speech Recognition through Text-to-Speech and Voice Conversion Augmentation 🆕NEW
- 赛道归属: 语音识别（ASR）/ 数据增强 / 语音合成与声音转换
- 核心创新点: 聚焦呼叫中心-银行业垂直领域，系统评估了TTS合成数据与多种声音转换方法（KNNVC、Seed-VC、Vec2Wav2）作为ASR训练数据增强手段的效果差异。核心发现在于：相较于传统TTS数据增强，以Seed-VC为代表的先进声音转换方法能够在保持更高语音自然度的同时显著提升ASR的词错误率（WER）和字符错误率（CER）指标，验证了声音转换技术在领域特定ASR数据稀缺场景下作为高质量合成数据来源的可行性与优越性。
GitHub
- [2026-10-12] huggingface/diffusers ⭐34702
- [2026-10-09] Stability-AI/stable-audio-tools ⭐3881
- [2026-10-11] kandinskylab/kandinsky-6 ⭐274
- [2026-10-10] NoizAI/WorldSonus ⭐229 🆕NEW
- [2026-10-07] ShareLab-SII/VA-Judger ⭐66
HuggingFace Models
HuggingFace Datasets
- [2026-10-07] espnet/yodas3
语言大模型
arXiv
- GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks 🆕NEW
- 赛道归属: 地理空间智能 / LLM评测基准 / 需求抽取与检索式地理分析
- 核心创新点: 提出GeoFitBench-LLM，用于评估大语言模型在地理分析任务中对“地理数据需求”的推断能力，重点考察模型能否从自然语言请求中识别所需数据集、支撑资源及约束条件。该基准将评测拆分为“时空关系推理”和“语义落地”两类维度，并采用固定且与数据提供方无关的真值编码方案，以支持资源识别与属性级规格的可复现评估。
- AutoDP-LLM: Automating Data Pre-processing for Intrusion Detection Systems using Large Language Models
- 赛道归属: 网络安全 / 入侵检测 / LLM驱动的数据预处理自动化
- 核心创新点: 提出 AutoDP-LLM，将大语言模型用于自动生成、验证并执行入侵检测数据预处理流水线；通过“确定性主机侧规划 + LLM专家代理”协同生成处理策略与可执行代码，并结合语义推理与训练统计证据自适应筛选特征，在不预设特征预算的情况下实现紧凑、可执行的自动化预处理流程。
- Which LLM to pick? Online Active Model Selection for Large Language Models
- 赛道归属: LLM在线模型选择 / 主动学习 / 流式数据评测
- 核心创新点: 提出 ONLINE LLM PICKER，用于在流式查询场景下、在有限标注预算内主动挑选最有信息量的样本进行人工标注，从而识别候选模型中表现最佳或近似最佳的LLM。其方法核心在于将“模型选择”从依赖静态基准分数，转为面向在线数据流的主动标注决策问题，并通过选择最具判别力的提示来降低标注成本，同时支持在未标注样本上进行顺序生成时更早锁定优选模型。
- An Agentic AI Framework with Large Language Models and Chain-of-Thought for UAV-Assisted Logistics Scheduling with Mobile Edge Computing
- 赛道归属: 物流调度 / 边缘计算 / UAV协同优化 / Agentic AI
- 核心创新点: 构建一个面向UAV辅助物流与MEC联合调度的agentic AI框架，利用LLM、检索增强生成和Chain-of-Thought将用户需求转化为可解释的数学建模；同时设计分层PPO强化学习，上层学习UAV路径规划，下层优化每时隙任务执行与资源分配，以处理路由、能耗、计算与通信资源及截止期约束的耦合优化问题。
- Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning
- 赛道归属: 具身智能 / 神经符号规划 / LLM辅助强化学习
- 核心创新点: 将大语言模型、符号规划与强化学习进行混合式整合：利用LLM的常识推理能力识别环境中的缺失算子，借助符号规划器生成可执行计划，再由LLM为新识别的算子自动撰写奖励函数，指导强化学习代理学习对应控制策略，从而实现对开放世界中新颖对象的适应与操作学习。
- Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Bootstrapped Prolog-based Chain-of-Thought
- 赛道归属: 大语言模型推理优化 / 符号推理增强
- 核心创新点: 提出 Thought-Like-Pro 框架，将符号逻辑引擎 Prolog 与大模型的 Chain-of-Thought 学习结合起来：先由大模型在提示引导下生成规则与陈述，再借助 Prolog 进行符号推理得到可验证的推理轨迹，随后把这些 Prolog 推导出的连续推理过程转换为自然语言 CoT，用于模仿学习。该方法的关键突破在于通过“自举式”构造高质量、可验证的推理监督信号，增强大模型的推理能力与跨分布泛化能力。
- Towards In-Parameter Memory Augmentation for Large Language Models
- 赛道归属: 大语言模型记忆增强 / 参数化记忆注入
- 核心创新点: 这是一篇综述性质工作，系统梳理了面向部署阶段的“in-parameter memory”增强范式，即将可复用的记忆信息编码到模型参数、适配器或类似参数对象中，并在推理时并入前向计算。文章提出了两个组织维度：一是按记忆注入位置划分为 Embedding、Attention、FFN 和 Hybrid；二是按记忆获取时机划分为离线获取与在线获取。其方法论价值在于明确了该类方法的边界、统一了不同路线的比较框架，并总结了干扰、安全性、与上下文学习协同以及递归自我改进等开放问题。
- Correct Verdicts, Flawed Reasoning: Structured Auditing of LLM-based Vulnerability Reasoning
- 赛道归属: 软件安全 / 漏洞分析 / LLM推理审计
- 核心创新点: 提出 VERA，用结构化推理记录（SRR）替代自由文本CoT，让模型以机器可读字段显式输出指针、内存操作和状态转移；再通过多阶段审计器对八类推理失败模式进行确定性检查，并仅在语义歧义处调用LLM，从而实现对漏洞推理过程的自动化、可扩展审计，同时支持大规模自动变异测试评估审计器能力。
- Enhancing Biomedical Named Entity Recognition via Multiple Programming Languages Instruction Tuning and Ensemble Method
- 赛道归属: 生物医学命名实体识别 / 指令微调 / 结构化信息抽取
- 核心创新点: 将BioNER重构为“结构到结构”的生成任务，把指令和实体输出都表示为代码格式，并通过Python、C++、Java等多种编程语言模板构造多样化监督信号，在不依赖外部生物医学知识的情况下增强结构约束与数据多样性；同时在推理阶段采用跨格式实体级投票集成，降低不同语言表示带来的预测方差，提升鲁棒性与跨数据集泛化能力。
- Spatial Strategies, Not Actions: Vector-Quantized Geodesics as Tools for LLM-Driven Agents
- 赛道归属: LLM智能体 / 空间推理 / 工具使用
- 核心创新点: 提出一种将几何轨迹作为工具、由LLM进行高层编排的两层智能体框架：先在网格世界中收集地理路径轨迹，再通过向量量化从中提取代表性轨迹集合；离线阶段让LLM为每条选中的轨迹关联自然语言行为描述，形成可调用工具；在线阶段LLM根据当前状态与目标选择合适工具，底层则由原始动作执行对应轨迹。该方法把工具发现交给无监督轨迹量化，把推理与决策交给LLM，从而在部分可观测动态环境中以更低推理成本实现接近更强链式思维版本的目标达成效果。
GitHub
- [2026-10-12] sgl-project/sglang ⭐37014
- [2026-10-12] NVIDIA/TensorRT-LLM ⭐14795
- [2026-10-12] openJiuwen-ai/jiuwenswarm ⭐6018 🆕NEW
- [2026-10-12] basellm/llm-metadata ⭐148
- [2026-10-12] lvyufeng/PocketLLM ⭐54
HuggingFace Models
HuggingFace Datasets
- [2026-09-26] XiaomiMiMo/MiMo-V2.6-RL-oss
- [2026-09-23] bakrianoo/jabarti-llm-dataset
- [2026-10-10] MoreThought/Fable-5.1-Max-Reasoning-Filtered-10000x
HuggingFace Spaces
多模态大模型
arXiv
- CRUISE: Vision-Language Model-Guided Uncertainty-Aware Cross-Modal Sensor Fusion for Robust Autonomous Driving
- 赛道归属: 自动驾驶 / 多模态传感器融合 / 不确定性建模
- 核心创新点: 提出一种由视觉-语言模型（VLM）引导的不确定性感知跨模态融合框架，将VLM的先验知识与上下文推理能力用于生成更细粒度的像素级不确定性估计，从而为融合过程提供更精细的可靠性指引；同时引入动态自适应机制，显式建模并捕获跨模态依赖关系，以更充分利用摄像头、LiDAR、雷达等多传感器之间的互补信息。
- MoR-MLLM: Mixture of Recursions for Efficient Multimodal Large Language Models
- 赛道归属: 多模态大模型推理优化 / 计算效率优化
- 核心创新点: 基于 Mixture-of-Recursions 框架，将“静态稀疏”改为“按 token 自适应递归深度分配”，使模型能够针对视觉或语言中更复杂的 token 动态增加计算、对简单 token 跳过冗余递归，从而实现计算稀疏化；同时提出三阶段 MoR-Tuning 训练策略，并结合熵正则化损失稳定多模态场景下的递归稀疏训练，提升路由分布多样性，在降低训练显存与计算开销的同时尽量保持任务性能。
- A Vision-Language Model (VLM)-based Pipeline for End-to-End Procedural Modeling of Field-Grown Maize from Point Clouds
- 赛道归属: 3D生成 / 点云到可编辑3D建模 / 多模态理解
- 核心创新点: 提出一条从原始田间玉米点云到参数化、可编辑三维作物模型的端到端自动化流程：先用视觉语言模型在渲染的正交视图中标注叶片中线，再通过确定性的几何回投、跨视图一致性融合与基于方向加权表面图的中线生长，将2D标注转化为3D叶片结构；随后把测得的器官参数填入基于NURBS的程序化模型生成器，并用可微NURBS拟合对叶片表面进行精修。该方法的关键突破在于不依赖人工调参或物种特定训练数据，把VLM的语义标注与后续几何约束结合，转化为可用于程序化建模的器官级测量。
- LinguDistill: Recovering Linguistic Ability in Vision-Language Models via Selective Cross-Modal Distillation
- 赛道归属: 多模态理解 / 语言能力恢复
- 核心创新点: 提出无需额外适配器的选择性跨模态蒸馏方法，利用微调前冻结的原始语言模型作为教师，在多模态后训练阶段专门监督语言能力恢复。关键技术是层级 KV-cache 共享，使纯文本教师能够感知学生的多模态表示而无需改动模型结构；同时仅在语言占比高的数据上进行蒸馏，避免削弱视觉对齐能力。该方法在不增加参数和推理开销的前提下，缓解了多模态微调导致的语言遗忘。
- SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding
- 赛道归属: 多模态理解 / 音视频理解评测
- 核心创新点: 提出SONIC-O1这一面向真实世界音视频理解的系统化评测基准，覆盖60小时、231个片段、13个对话场景，并由人工全量核验；同时联合评估开放式总结、选择题问答与带理由的时间定位三类能力，尤其强调对“时序对齐+推理依据”的考察，并附带人口统计元数据以分析模型在不同群体上的行为差异。
- PathLang: A Language-Centered Benchmark for Vision-Language Models in Computational Pathology
- 赛道归属: 医学多模态理解 / 病理视觉语言模型评测 / 零样本基准
- 核心创新点: 构建了一个以语言为中心的病理VLM零样本基准PathLang，核心不是改变图像内容，而是固定切片、标签和图文评测方向，仅系统性变化诊断语言，从而专门评估模型对术语、具体性和报告风格变化的鲁棒性；同时覆盖分类、检索、释义鲁棒性和开放词表诊断检索四类任务，并由临床病理专家验证提示词与候选集，使得评测能够更真实地反映临床语境下“同义不同表述”对模型行为的影响。
- ReMem: Streaming Video Understanding With Long Context Retention
- 赛道归属: 视频理解 / 流式视频理解 / 长上下文记忆
- 核心创新点: 提出一种训练无关的流式视频适配方法，通过双记忆机制提升长上下文保留能力。其一是 Streaming Context Memory，使用与查询无关的注意力持续压缩历史上下文；其二是 Retrieved Vision Memory，从记忆中检索与当前查询最相关的视觉上下文补充输入。该方法面向任意长度流式视频，在不依赖额外训练的情况下增强长视频信息保留，并兼顾流式与长视频理解任务表现。
- FlashGaze: Training-Free Multi-Scale Patch Pruning For Efficient Video Understanding
- 赛道归属: 视频理解 / 高效视频推理 / 视觉token剪枝
- 核心创新点: 提出训练无关的多尺度 patch 剪枝方法，在 ViT 编码之前就减少时空冗余，从源头降低计算开销。方法以像素空间差异作为信息损失的代理，并通过四叉树动态规划联合优化 patch 的丢弃、合并与保留，在固定预算下实现更优的效率-精度权衡。相比在编码后剪枝的方案，该方法更早削减计算成本，且无需辅助网络训练，能够在大幅加速的同时尽量保持视频理解精度。
- Multimodal Large Language Models as Image Classifiers 🆕NEW
- 赛道归属: 多模态理解 / 图像分类评测
- 核心创新点: 该工作聚焦于多模态大模型作为图像分类器时的评测可靠性问题，系统分析并修正了常见评测协议中的偏差来源，包括超出候选类别的输出被丢弃、弱干扰项导致的多选题结果虚高、以及开放世界设置下因输出映射不当造成的性能低估。同时，作者量化了批大小、图像顺序、文本编码器选择等容易被忽视的设计因素对准确率的显著影响，并通过对 ImageNet-1k 的多标签重标注数据集 ReGT 重新评估，证明许多“MLLM 不如监督模型”的结论主要来自噪声标注和错误评测协议，而非模型本身能力不足。
- MedVL-SAM2: A unified 3D medical vision-language model for multimodal reasoning and prompt-driven segmentation
- 赛道归属: 3D医学多模态理解 / 3D医学分割
- 核心创新点: 提出统一的3D医学视觉语言模型MedVL-SAM2，将报告生成、VQA与多范式分割（语义、指代、交互式）整合到单一框架中；方法上通过3D CT图文大规模预训练对齐体数据视觉特征与放射学语言嵌入，再结合语言理解与分割目标联合优化，并引入基于SAM2的体数据分割模块，实现语言、点、框等多种提示方式下的精细空间定位与跨模态推理统一。
GitHub
- [2026-10-11] Blaizzy/mlx-vlm ⭐5612
- [2026-10-11] liudaizong/Awesome-LVLM-Attack ⭐578 🆕NEW
- [2026-10-10] NVIDIA-Omniverse/usd-content-agents ⭐215 🆕NEW
- [2026-10-12] ydyhello/Awesome-VLM-Streaming-Video ⭐213
- [2026-10-11] ll220/qwen3d ⭐99 🆕NEW
强化学习
arXiv
- OOM-RL: Out-of-Money Reinforcement Learning Market-Driven Alignment for LLM-Based Multi-Agent Systems
- 赛道归属: 多智能体系统对齐 / 强化学习驱动的LLM代理优化
- 核心创新点: 提出 Out-of-Money Reinforcement Learning（OOM-RL）这一目标对齐范式，将真实金融市场中的资本亏损、滑点和执行成本作为外部施加的负反馈信号，用“经济后果”替代传统内部评估中的不确定性监督；同时在长期实证中推动代理架构与治理机制演化，并进一步形式化出严格的测试驱动工作流与单向状态锁约束，用于提升执行感知能力与系统鲁棒性。
- CORE-RL: Confidence-Oriented Reliability Evaluation of Black-Box Reinforcement Learning Policies
- 赛道归属: 强化学习安全评估 / 黑盒策略可靠性验证
- 核心创新点: 提出面向黑盒RL策略的统一可靠性评估流程，将早停终止与安全约束违规纳入同一可靠性指标，避免策略通过提前结束回合掩盖失败；同时在感知噪声、执行噪声和环境动力学变化的噪声认证包络下，结合有限样本统计界给出安全性与期望性能的高置信证书，并据此定义安全运行设计域（ODD）用于自动筛除不合规策略。
- DVLA-RL++: Dual-Level Vision-Language Alignment with Reinforcement Learning Gating for Few-Shot Learning
- 赛道归属: 小样本学习 / 视觉-语言对齐
- 核心创新点: 提出双层视觉-语言对齐框架 DVLA-RL++，在原有方法上加入补充语义净化（CSP）与反事实强化学习门控（CRG）。CSP 将支持样本拆分为“内在语义”和“噪声/偶然上下文”两类描述，并通过与每个支持 token 的一致性比较来抑制上下文污染；同时引入基于歧义程度的拒绝边界与内在语义锚点，在视觉证据不可靠时提供回退。CRG 则通过奖励函数学习逐层语义融合强度，并借助独立参考轨迹形成配对学习信号，从而提升原型稳定性与融合策略的可学习性。
- TrustMed-RL: Long-Horizon Reinforcement Learning for Evidence-Grounded Clinical Diagnosis
- 赛道归属: 医疗多轮诊断 / 临床推理强化学习
- 核心创新点: 构建面向长时程、证据驱动诊断的多轮RL框架，将问诊、查体、检查、专科会诊与文献检索等状态相关动作纳入统一策略学习；通过临床适配的GiGPO与覆盖率调整后的诊断奖励，强化模型在给出诊断的同时主动获取支持性证据，从而提升诊断准确率与证据扎实度。
- Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning 🆕NEW
- 赛道归属: 强化学习 / 信用分配 / 推荐系统
- 核心创新点: 提出"解释性世界模型"（EWM）归因框架，突破传统RL依赖时间邻近性进行信用分配的局限。核心方法是利用前沿语言模型生成因果解释，识别对最终奖励有实质贡献的历史事件，并通过保守层次化算子递归重新分配奖励（同时保持无折扣回报不变）。创新性地将Halpern实际因果论、Lombrozo解释简洁性和Deutsch难以变化解释三种哲学框架操作化为三种互补的解释变体，将结构化语言解释转化为可复用的学习信号，有效解决长时序延迟奖励下的样本低效问题。
- Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits 🆕NEW
- 赛道归属: 大语言模型智能体 / 强化学习训练 / 推理规划
- 核心创新点: 提出"滚动时干预"（RTI）技术，专门解决LLM智能体RL训练中的在策略推理瓶颈问题。核心突破在于：在轨迹生成阶段利用奖励侧证据（评估标准）实时干预，将错误轨迹修正为成功轨迹，从而为策略极少能自主解决的困难任务提供有效学习信号。针对干预轨迹天然离策略的问题，通过过滤分布偏移过大的轨迹来保证策略优化的稳定性，使模型能够突破自身原有能力边界而非仅在边界内优化。
- MORAD: Reinforcement Learning with Multi-Objective Rewards for RNA Inverse Design 🆕NEW
- 赛道归属: 生物序列设计 / RNA逆向设计 / 强化学习
- 核心创新点: 提出MORAD框架，首次实现对骨架条件RNA扩散模型的在线多目标强化学习后训练，训练单一共享策略跨多样目标骨架复用。核心创新包括：（1）骨架条件分组采样与组相对奖励归一化，替代每个目标单独训练策略的低效范式；（2）将六项异质评估指标（三级几何、碱基配对、系综行为、序列组成）统一映射为有界期望分数，并以加权几何均值聚合，解决多目标尺度差异与优化方向不一致问题；（3）结合前向过程扩散目标实现在线RL，超越仅优化三级结构的单目标方法。
- Does Learning Recurrent Networks Matter in Partially Observable RL? 🆕NEW
- 赛道归属: 部分可观测强化学习 / 循环网络 / 参数高效训练
- 核心创新点: 受储层计算（Reservoir Computing）和广义储层计算（GRC）理论启发，系统性研究了"冻结循环网络"在POMDP求解中的可行性。核心发现是：固定权重的循环网络配合可训练的非线性输出模块，即可在无需学习循环记忆模块的情况下，支持数百步的长程记忆并在多种POMDP任务上达到竞争性性能，且可训练参数量不足完全可训练方案的一半。该工作从理论与实验两个维度挑战了"循环网络必须端到端训练"的主流假设，提供了一个简单、参数高效的强基线。
- SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents 🆕NEW
- 赛道归属: 大语言模型搜索智能体 / 强化学习 / 知识溯源推理
- 核心创新点: 提出SOAR范式，针对搜索智能体中"证据捏造"失效模式（智能体绕过外部检索、依赖内部知识捷径生成错误答案）进行根本性修复。核心创新在于：（1）通过"来源感知工作流"将推理轨迹中的外部证据（$E_{ext}$）与内部知识（$E_{int}$）解耦为并行可观测流，使原本不透明的推理过程变为来源显式的轨迹；（2）引入"来源一致性奖励"对不同知识流进行精确信用分配，从奖励机制层面引导策略优先利用外部检索证据，从根源上抑制捏造行为。
- Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL 🆕NEW
- 赛道归属: 大语言模型推理 / 强化学习训练稳定性 / 长时序策略优化
- 核心创新点: 提出轨迹感知策略优化（TAPO）框架，从理论层面正式推导并修正长时序自回归展开中的状态分布偏移问题。现有方法（GRPO/GSPO）仅在token或序列级别控制策略不匹配，忽视了多步轨迹累积导致的分布漂移。TAPO的核心突破包括：（1）从离策略策略梯度理论推导出状态分布修正项并将其纳入RL目标；（2）采用几何均值估计器降低方差；（3）设计长度感知动态裁剪机制防止轨迹级别的过度偏离更新，从而在长时序场景下显著提升训练稳定性并避免训练崩溃。
GitHub
- [2026-10-12] huggingface/trl ⭐19492
- [2026-10-12] radixark/miles ⭐3090
- [2026-10-12] menloresearch/cyclotron ⭐122 🆕NEW
- [2026-10-12] erolilhan/DataForge-Lua ⭐68 🆕NEW
- [2026-10-12] rl-language/rlc ⭐63 🆕NEW
HuggingFace Models
HuggingFace Datasets
- [2026-10-09] FineEnvs/openai-math 🆕NEW
世界动作模型
arXiv
- LeWAM: A JEPA World Action Model with Diffusion-Steering-Based MPC
- 赛道归属: 机器人操作 / 世界动作模型 / 具身智能控制
- 核心创新点: 提出 LeWAM，将世界动作模型构建为基于 decoder-free JEPA 潜空间的双向 Transformer，并在同一潜表示上端到端联合训练前向、后向、逆动力学和策略预测四种模式。其方法上的关键突破在于：用更干净的 JEPA latent 替代重建式表示，减少噪声与冗余信息；通过双向建模增强状态与动作表征对齐；并进一步指出规划时在策略头的噪声空间中采样，比直接采样原始动作更有利于 MPC 闭环性能提升。
- Humanoid World Action Model With Joint State--Action Generation
- 赛道归属: 人形机器人操作 / 世界动作模型 / 具身动作生成
- 核心创新点: 提出 HWAM，将“执行后的本体感知状态”显式纳入预测目标，联合生成参考动作与实际实现的身体状态，以缓解分层人形系统中的 action-execution gap。方法上通过三条互补条件路径协同训练：策略路径在仅基于当前观测的条件下去噪状态-动作轨迹，前向动力学路径用动作和执行后状态预测未来视觉结果，逆动力学路径从视觉转移重建联合轨迹，从而把参考动作、真实身体运动和视觉后果直接连接起来。
- WAM-Cache: Staleness-Bounded KV Reuse for Efficient World Action Models
- 赛道归属: 机器人推理加速 / 世界动作模型推理优化 / KV 缓存复用
- 核心创新点: 提出 WAM-Cache，一种无需训练的 WAM 加速框架，通过跨 chunk 复用视频 DiT 的分层 KV 表示，仅对少量刷新 token 进行重计算，降低每个控制 chunk 的预填充开销。其方法上的关键点在于：不再按“视觉漂移”直觉选刷新 token，而是结合动作专家的 cross-attention 关注区域与视觉 latent surprise 来决定刷新集合，并引入严格的 age bound 抑制误差累积，从而在保持接近稠密基线性能的同时显著减少 FLOPs。
- TAPDreamer: Transferable Adversarial Patches for World Action Models
- 赛道归属: 世界动作模型安全攻击 / 对抗扰动
- 核心创新点: 提出一种无需访问目标模型输出、仅依赖公开编码器的可迁移对抗补丁攻击方法。其关键突破在于利用补丁引发的注意力权重与 value 向量交互，诱导一种可在图像大范围传播且跨任务稳定的表征偏移；并通过仅用单一源任务的6帧样本，直接优化干净与补丁编码表示之间的全局 L1 距离，从而得到可跨任务、跨动作架构迁移的固定局部扰动。
- RealtimeWAM: One-Step Asynchronous World Action Models
- 赛道归属: 世界动作模型推理加速 / 低延迟动作生成
- 核心创新点: 提出一种面向世界动作模型的极致高效推理框架，将动作生成压缩为单步，并通过异步执行减少视频专家与动作专家之间的等待开销。方法上包含两项关键设计：一是 Teacher-Anchored Consistency Distillation，用冻结教师的多步 rollout 终点补足仅靠局部一致性训练带来的“局部-全局误差鸿沟”，从而实现准确的一步动作生成；二是 Cross-Expert Wavefront Pipelining，通过块级共享视频 KV cache 并仅在动作注意力真正消费前同步，消除专家级串行等待。整体实现了近乎无损的性能保持与显著端到端加速。
- Future Anchored Verification and Online Recovery for World Action Models
- 赛道归属: 世界动作模型在线验证 / 执行恢复
- 核心创新点: 提出 FAVOR 框架，将世界动作模型在执行前预测出的未来帧作为“锚点”，同时用于偏差检测与在线恢复，而不是仅在偏离后决定是否停止。其方法核心是：通过 Anchor Verifier 将当前观测与对应锚点及已执行动作联合比对，识别破坏任务进程的偏移；再由 Anchor-Guided Recovery 借助视觉语言模型把被标记的锚点转化为简短纠正指令，促使模型回到原先预测的未来轨迹后继续执行。该工作把“监测”扩展为“验证 + 恢复”的闭环机制，且无需修改原策略。
- WAMJET: A Harness for World Action Model Acceleration
- 赛道归属: 世界动作模型推理加速 / 系统优化
- 核心创新点: 提出 WAMJET 这一面向世界动作模型加速的 agentic harness，通过为编码代理提供可复用的优化指导、测量与验证工具，自动化完成加速方案的选择、组合与迭代优化。其方法论重点在于采用“瓶颈驱动”的工作流：先剖析推理瓶颈，再定向修改代码，随后验证收益并根据瓶颈迁移继续优化，从而减少人工工程成本并保持动作质量。该框架可跨模型与硬件平台生成有效的加速栈，实现无损或近无损的显著提速。
- XGenAct: Geometry-Enhanced World Action Models through Cross-Task Generation
- 赛道归属: 机器人控制 / 世界动作模型 / 3D感知增强
- 核心创新点: 将RGB观测、机器人动作、度量深度、表面法线和功能角色分割统一编码为RGB视频表示，通过确定性codec把多种感知与动作任务纳入同一个视频扩散Transformer中联合学习；训练时通过采样不同感知与动作任务，用单一模型和单一目标学习跨空间的时序预测，避免了为不同模态设计专门头部或分支的碎片化架构。
- Native Action-Prior Learning from Videos for World Action Models
- 赛道归属: 机器人控制 / 世界动作模型 / 观察视频预训练
- 核心创新点: 提出从仅含观察的视频中直接预训练动作策略的“native action-prior learning”，不再依赖先学表征再迁移到控制，也不需要单独的潜变量动作模型；方法上先用未来视频流匹配监督，通过带有转移结构的联合注意力把视觉转移信息传递到Action-DiT中学习动作先验，再用带动作标注的示范进行联合视频-动作流匹配后训练，并通过非对称注意力将视觉分支与动作去噪解耦以支持高效动作推理。
- PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
- 赛道归属: 机器人控制 / 世界动作模型 / 3D点云动作建模
- 核心创新点: 将世界表示从RGB提升到3D点轨迹，把场景与手部分解为两个实体，并在共享的时空坐标系中联合预测二者的3D演化；这种显式、解耦的3D表示使模型能够直接利用大规模人类演示视频进行预训练，无需任务特定的物体或关键点选择，随后再将预测到的手部运动重定向为机器人动作，从而更好建模灵巧操作中的空间结构与接触几何。
GitHub
- [2026-10-12] NVlabs/LongLive ⭐2756
- [2026-10-12] DravenALG/awesome-vla-wam ⭐1045 🆕NEW
- [2026-10-09] OpenMOSS/EasyWAM ⭐397
- [2026-10-10] OpenWAM/OpenWAM ⭐187
- [2026-10-10] UniWAM/UniWAM ⭐112
由 Research Daily 自动生成 生成时间: 2026-10-12 13:30:44