AI 每日进展速报 - 2026-05-21

查找

重置

新旧

全部 仅 NEW

正在统计...

来源

全部来源 arXiv GitHub HuggingFace

图像生成/编辑

arXiv

• Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards

  • 赛道归属: 文生图（偏好对齐/后训练强化学习）
  • 核心创新点: 提出 SOLACE 后训练框架，用“模型内生自信度”替代外部奖励模型/人工偏好监督：将模型自身生成结果重新加噪，并以其对注入噪声的恢复准确性作为自信度奖励信号，从而在不依赖额外标注或奖励网络的情况下进行偏好对齐式优化，提升生成的可靠性与审美一致性。

• MaskAttn-SDXL: Controllable Region-Level Text-To-Image Generation

  • 赛道归属: 文生图（区域级可控生成 / 组合式生成）
  • 核心创新点: 在SDXL的U-Net扩散框架中引入“Mask Attention”式的区域级注意力控制机制，用显式区域/掩码约束将文本条件与空间区域绑定，从而提升多目标场景下的全局协调与属性不串扰（减少对象间属性混淆），在保持U-Net高效性的同时增强跨区域的可控组合生成能力。

• Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation

  • 赛道归属: 文生图（强化学习对齐 / 训练策略与采样优化）
  • 核心创新点: 面向基于GRPO的T2I强化学习训练，提出“课程式组策略优化”自适应采样：根据模型当前能力动态调整样本难度分布，避免统一采样带来的难度失配与低效更新，从而以更高样本效率释放RL在文生图对齐/偏好优化中的收益。

• Skill-Aligned Annotation for Reliable Evaluation in Text-to-Image Generation

  • 赛道归属: 文生图评测 / 人类标注与评估协议设计
  • 核心创新点: 提出“技能对齐标注”评测范式：不再用统一的Likert/BQA覆盖所有评测维度，而是先将T2I评测拆解为异质“技能”（如语义一致性、属性绑定、空间关系、文本可读性、审美/真实感等），再为不同技能匹配更合适的标注接口、问题形式与聚合方式，从而降低标注噪声与维度混淆；强调在模型差距缩小时，通过对齐技能本质来提升评测的可靠性、可复现性与区分度。

• EPIC: Efficient Predicate-Guided Inference-Time Control for Compositional Text-to-Image Generation

  • 赛道归属: 文生图（推理时可控生成/组合式生成）
  • 核心创新点: 提出 EPIC 的训练无关推理时控制：将复杂提示词一次性解析为包含对象变量与类型化谓词（数量、属性、关系等）的“视觉程序”，并把生成改写为谓词引导的搜索/精炼过程，在不改动模型参数的前提下，通过对违反谓词的部分进行定向修正来提升组合一致性与可控性，同时强调推理效率。

• CogBlender: Towards Continuous Cognitive Intervention in Text-to-Image Generation

  • 赛道归属: 文生图（审美/心理属性可控生成 / 连续属性编辑）
  • 核心创新点: 将“认知属性”（如情绪效价、可记忆性等）作为可控维度引入T2I生成，提出支持连续干预的CogBlender：在不只对齐语义的前提下，提供可连续调节的控制接口/机制，使生成结果能按用户心理意图在认知指标上平滑可控，而非仅靠离散风格词或后验筛选。

• Unifying Contrastive and Generative Objectives for Visual Understanding and Text-to-Image Generation

  • 赛道归属: 多模态统一建模（视觉理解 + 文生图的对比-生成统一训练）
  • 核心创新点: 提出DREAM统一框架，将图文对比学习与掩码生成式建模端到端融合；关键在于“Masking Warmup”掩码课程调度，逐步移动掩码比例分布中心，使低掩码（利于对比对齐）与高掩码（利于生成建模）在同一训练过程中兼容，从而缓解两类目标对“可见token比例”相互冲突的问题。

• SPOT: Selective Prompt Projection via Total Variation for Inference-Only Safe Text-to-Image Generation

  • 赛道归属: 文生图安全对齐 / 推理期安全控制
  • 核心创新点: 提出SPOT：在冻结扩散生成器的前提下，仅在推理期对文本提示进行“选择性投影”以抑制不安全生成，同时尽量保持对良性提示的行为不变；用总变差距离将“相对原始提示条件分布的偏移”与“风险期望变化”建立可控上界关系，把安全约束转化为对提示投影强度/选择策略的可优化目标，实现无需再训练的安全-保真折中控制。

• TextBoost: Boosting Text Encoder for Personalized Text-to-Image Generation 🆕NEW

  • 赛道归属: 个性化文生图（Text-to-Image Personalization / Diffusion 微调）
  • 核心创新点: 提出一-shot 个性化方案，仅选择性微调文本编码器而非扩散模型主体/UNet，从而显著降低存储开销与训练成本并加快收敛；为避免个性化导致的语义漂移，引入“因果性保持” 机制/约束，在注入新概念表征的同时尽量维持原有文本语义结构与可组合性，实现更稳健的个性化生成与更好的泛化。

• PixVerve: Advancing Native UHR Image Generation to 100MP with a Large-Scale High-Quality Dataset 🆕NEW

  • 赛道归属: 超高分辨率文生图（Ultra-High-Resolution T2I / 原生 UHR 生成）
  • 核心创新点: 面向原生超高分辨率（最高 100MP）生成的关键瓶颈（数据稀缺与内容复杂），构建并开源大规模高质量 UHR 数据集 PixVerve-95K，通过系统化的数据筛选/清洗与质量控制提升训练信号密度；以数据为核心驱动推进“原生 UHR”生成能力（而非仅依赖后处理放大），为训练与评测超高像素级 T2I 模型提供可复用的数据基础与基准。

GitHub

• [2026-05-21] YouMind-OpenLab/awesome-nano-banana-pro-prompts ⭐12132

• [2026-05-20] Light-Heart-Labs/DreamServer ⭐1549

• [2026-05-21] vibheksoni/free-ai ⭐473

• [2026-05-20] jegly/Box ⭐451

• [2026-05-20] Z1rconium/gpt-image-linux ⭐54 🆕NEW

HuggingFace Models

• HiDream-ai/HiDream-O1-Image

视频生成/编辑

arXiv

• MAVEN A Multi-Agent Framework for Multicultural Text-to-Video Generation

  • 赛道归属: 视频生成（文生视频 / 多智能体提示工程）
  • 核心创新点: 提出多智能体提示精炼框架 MAVEN，面向“多文化/跨文化”文生视频的文化保真度问题，将文本提示分解为人物、动作、地点等可控维度，并由专门代理并行/串行协作改写与补全文化关键信息；通过结构化分解降低单一提示对文化细节的丢失与歧义，提升同文化与跨文化场景下生成内容的文化一致性与可评测性。

• MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation 🆕NEW

  • 赛道归属: 视频生成评测（多镜头音视频生成/编辑评测）
  • 核心创新点: 提出面向“多镜头音视频叙事”的综合评测基准与自适应混合评测框架，针对现有评测在数据多样性不足、任务覆盖窄、流程僵化导致难以稳定比较前沿MSAV模型的问题，强调以更丰富的多镜头场景与更灵活的评测管线实现系统化、可复现、可扩展的可靠评估。

• CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition 🆕NEW

  • 赛道归属: 可控视频生成（推理驱动/意图理解的条件控制）
  • 核心创新点: 提出“创作意图认知”驱动的可控视频生成框架，将生成控制从单纯条件注入或在扩散骨干中生硬耦合通用VLM，提升为“先推理理解意图、再执行生成控制”的范式；重点解决抽象/稀疏/复杂条件（如分镜草图、泥模/灰模等制作级条件）下的脆弱性，通过显式推理链路把专业制作输入转化为可执行的控制信号，从而提高与创作意图的一致性与可用性。

• PhyWorld: Physics-Faithful World Model for Video Generation 🆕NEW

  • 赛道归属: 物理一致性视频生成（世界模型/物理约束视频续写）
  • 核心创新点: 面向将大规模视频生成模型用作世界模拟器的需求，提出强调“物理忠实”的视频世界模型：生成的未来视频不仅要逼真，还需保持输入条件所隐含的物理状态（如物体位置、速度、接触关系等）并遵循基础物理规律演化。其方法论突破在于把“物理状态保持 + 物理规律一致的时间演化”作为核心生成目标来建模与评测，从而提升视频续写在物理AI训练场景中的可用性与可靠性。

• LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation

  • 赛道归属: 推理优化/训练系统（长视频生成基础设施，AR+扩散/视频模型并行）
  • 核心创新点: 提出 LongLive-2.0 的 NVFP4 并行训练与推理基础设施，针对长视频生成的显存与吞吐瓶颈做端到端系统级共设计；核心是序列并行的自回归训练方案 Balanced SP，通过将“干净历史”与“噪声目标”时间块在各 rank 上配对，形成天然 teacher-forcing mask，并与 SP 执行及分块 VAE 编码/解码协同，提升长序列训练/推理的速度与内存效率。

• Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory

  • 赛道归属: 视频生成（长叙事一致性 / 训练免改的记忆机制）
  • 核心创新点: 提出训练免改的身份感知记忆机制，用于自回归长视频叙事生成中的长期一致性与“记忆退化”问题；针对提示随时间演化、实体指代变化导致的身份漂移/角色重复/属性丢失，方法引入显式的 identity-aware 记忆读写与检索策略（相较仅压缩历史或用粗粒度注意力选关键帧），在不重新训练模型的前提下更稳健地维持角色身份与属性连续性。

• NEWTON: Agentic Planning for Physically Grounded Video Generation

  • 赛道归属: 视频生成（物理一致性/可控生成，智能体规划）
  • 核心创新点: 提出 NEWTON 的 agentic planning 框架，针对视频生成普遍违反物理常识的根因“规格瓶颈”——文本提示无法充分描述决定动力学的关键物理参数；方法通过规划式的条件构造/补全，将物理条件从“缺失”变为“充分、可控、可组合”的显式约束（而非单纯扩模型规模），以提升物理落地的视频生成可靠性与可评测性。

• GeoFlow: Enforcing Implicit Geometric Consistency in Video Generation

  • 赛道归属: 视频生成（几何一致性/相机运动鲁棒性，奖励约束）
  • 核心创新点: 提出 GeoFlow，通过“几何一致性奖励”显式约束生成视频的隐式几何一致性，缓解相机运动下的物体形变、纹理漂移与背景非刚性等问题；区别于把一致性当副产物、仅适用于静态场景或需要重对齐整个潜空间的方案，GeoFlow直接度量并优化视频运动是否满足几何一致的条件，从而以更轻量的方式提升跨帧结构稳定性。

• Temporal Aware Pruning for Efficient Diffusion-based Video Generation

  • 赛道归属: 推理优化（扩散式视频生成加速，时序感知剪枝）
  • 核心创新点: 提出 Temporal Aware Pruning，将 token pruning 从“逐帧、仅基于注意力”的静态策略扩展为面向视频生成的时序一致性剪枝：在长时空序列注意力计算中，剪枝决策显式考虑跨帧依赖与时间连贯性，避免简单按帧裁剪导致的时序抖动与一致性破坏，从而在降低计算量的同时尽量保持视频质量与连贯性。

• Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation

  • 赛道归属: 多模态生成（音视频联合生成 / 身份定制）
  • 核心创新点: 提出 Omni-Customizer 端到端多模态定制框架，解决多主体交互场景下“视觉身份(人脸/外观)”与“声音音色”的同时绑定与一致保持；核心在于将多模态身份信息进行精确绑定与融合，支持在联合音视频生成中对多个角色的视觉与声纹进行一致、可控的个性化定制，而非分别微调或松散对齐。

GitHub

• [2026-05-20] hao-ai-lab/FastVideo ⭐3494

• [2026-05-20] ZeroLu/awesome-seedance ⭐1776

• [2026-05-20] NVlabs/LongLive ⭐1412

• [2026-05-20] YouMind-OpenLab/awesome-seedance-2-prompts ⭐1145

• [2026-05-20] zghhui/OmniNFT ⭐57 🆕NEW

HuggingFace Models

• SulphurAI/Sulphur-2-base

音频生成

arXiv

• TED-TTS: Training-Free Intra-Utterance Emotion and Duration Control for Text-to-Speech Synthesis

  • 赛道归属: 文本转语音 / 可控语音合成（零样本、细粒度韵律与情感控制）
  • 核心创新点: 提出一种“免训练”的可控框架，直接作用于预训练零样本TTS，实现句内级别的情感与时长控制；通过分段感知的情感条件注入将情感控制从整句提升到片段级，避免依赖私有情感数据或多阶段再训练；同时将时长/节奏控制与情感表达解耦到可操作的句内控制接口，使同一句话内部可实现不同情绪与语速/停连的组合表达。

• SemaVoice: Semantic-Aware Continuous Autoregressive Speech Synthesis

  • 赛道归属: 文本转语音 / 连续表示自回归语音生成
  • 核心创新点: 针对连续自回归TTS中“语义-韵律建模”与“重建驱动的连续声学表示”之间的根本错配，提出语义感知的连续自回归合成框架；核心在于强化高层语义一致性与可控韵律的建模优先级，抑制模型过度追逐低层纹理细节导致的自回归误差累积；通过在生成过程中显式引入语义约束/对齐机制，使连续表示既能保持高保真重建，又能提升长程语义连贯与表达稳定性。

• AgentSteerTTS: A Multi-Agent Closed-Loop Framework for Composite-Instruction Text-to-Speech

  • 赛道归属: 文本转语音 / 指令可控语音合成（复合指令、Agent框架、闭环控制）
  • 核心创新点: 提出多智能体闭环框架，将“离散文本意图”到“连续声学实现”的结构性鸿沟拆解为可协作的子任务；通过对抗式解耦智能体降低说话人特征、内容与风格控制之间的纠缠，提升复合指令（如情绪+语速+强调+停顿等）的可组合性与可控性；引入闭环评估/反馈机制（由智能体对生成语音的意图一致性进行判别并迭代修正），实现更“意图忠实”的表达控制，而非一次性前向生成。

• Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models 🆕NEW

  • 赛道归属: 情感可控文本转语音 / 自回归语音生成的控制与引导优化
  • 核心创新点: 提出跨模态一致性引导的Classifier-Free Guidance，针对“文本语义隐含情绪”与“显式目标情绪指令”冲突时导致的表现力与音质退化问题，引入基于不一致程度的动态引导尺度，按冲突强弱自适应调节情绪控制强度以提升鲁棒性；同时将CFG中的dropout无条件分支替换为“文本情绪”条件，使引导信号显式对齐文本侧情绪信息，从而在保持语音自然度/质量的同时增强情绪可控性；并通过蒸馏将CCG-CFG的推理期引导收益压缩进单模型（减少推理开销），实现更高效的情绪控制生成。

• WavFlow: Audio Generation in Waveform Space

  • 赛道归属: 音频生成 / 波形域生成（非潜空间压缩、扩散/流模型方向）
  • 核心创新点: 反其道而行之，提出直接在原始波形空间生成高保真音频的框架，避免潜空间压缩带来的信息损失与系统复杂度；通过waveform patchify将一维波形重排为二维token网格，降低超高维序列建模难度并提升并行建模效率；提出amplitude lifting等信号能量重标定策略，缓解波形“低能量/高动态范围”导致的训练与生成不稳定，使流式/生成模型能在波形域实现可用的密度建模与高质量合成。

• Modeling Music as a Time-Frequency Image: A 2D Tokenizer for Music Generation

  • 赛道归属: 音频生成（音乐生成）/ 音频Tokenizer与表示学习
  • 核心创新点: 提出面向生成的2D Mel谱Tokenizer，将音乐建模为“时-频图像”，用单一共享码本在每个时间帧上按Mel频带产生2D token网格，避免残差多码本量化在序列展平后引入的强层级依赖与误差累积；该设计更贴合自回归语言建模的依赖结构，在保持可重建性的同时提升生成建模的可学习性与稳定性。

• Adapting a Text-to-Audio Model for Room Impulse Response Generation

  • 赛道归属: 音频生成 / 声学建模（RIR 房间脉冲响应生成）
  • 核心创新点: 将预训练的文生音频大模型作为“生成先验”迁移到RIR这一强物理约束、数据稀缺的声学对象上，通过适配策略把通用音频生成能力对齐到RIR的时域结构与混响特征分布，实现无需从零训练即可生成高质量RIR；关键突破在于证明大规模生成式音频先验可有效覆盖并可控地生成RIR这类非语音/非音乐的声学响应信号，从而缓解真实RIR采集成本高与训练数据不足的问题。

• TW-Sound580K: A Regional Audio-Text Dataset with Verification-Guided Curation for Localized Audio-Language Modeling

  • 赛道归属: 音频-文本数据集构建 / 音频语言模型指令微调
  • 核心创新点: 提出面向区域方言与韵律（台湾语境）的高质量音频-文本指令数据集构建范式：通过 Verify-Generate-Critique流程先“验证再扩增”，用双ASR交叉校验对52.2万原始音频进行一致性过滤以提升转写可靠性，再借助教师模型生成并批判式筛选，扩展为58万高保真指令对；该“验证引导的数据策展”显著降低方言场景的噪声标注与语音-文本错配，为后续Tai-LALM等区域化音频语言建模提供可复用的数据生产管线。

• The World is Not Mono: Enabling Spatial Understanding in Large Audio-Language Models

  • 赛道归属: 多模态理解（音频-语言）/ 空间音频理解
  • 核心创新点: 将“空间音频-语言理解”从零散问题提升为统一的任务接口，提出音频场景分析的三层级形式化：从原子级感知（事件与方位/距离等空间属性）到对象级绑定（语义与空间属性的归属一致性、多对象分离与排列），再到场景级物理一致性判断（答案是否符合空间声学常识）。核心突破在于把“听到什么”扩展为“在哪里、谁对应谁、整体是否合理”的可评测框架，为大音频语言模型引入可系统训练/评估的空间推理目标。

• PhyAVBench: A Challenging Audio Physics-Sensitivity Benchmark for Physically Grounded Text-to-Audio-Video Generation

  • 赛道归属: 文本到音频视频生成 / 基准评测（物理一致性与音频物理可解释性）
  • 核心创新点: 提出首个系统评估“音频-物理规律敏感性”的T2AV基准，弥补现有评测过度关注音画同步、忽视物理可置信声音生成的问题；通过构造对物理因素敏感的任务与标注（如材料、碰撞方式、距离/遮挡、能量与衰减等），将评测从“对齐”提升到“物理落地”；提供可量化指标与挑战集，推动模型在世界建模场景中学习/验证声音与物理因果的一致性，而不仅是生成听起来合理的纹理。

GitHub

• [2026-05-21] huggingface/diffusers ⭐33674

• [2026-05-17] AudioKit/AudioKit ⭐11356

• [2026-05-20] Stability-AI/stable-audio-tools ⭐3712

• [2026-05-19] SamurAIGPT/Generative-Media-Skills ⭐3304

• [2026-05-20] apocas/restai ⭐506

HuggingFace Models

• Supertone/supertonic-3

• ResembleAI/Dramabox

HuggingFace Spaces

• Supertone/supertonic-3

语言大模型

arXiv

• ACIL: Auto Chain of Thoughts for In-Context Learning

  • 赛道归属: 提示学习与推理增强（In-Context Learning / Chain-of-Thought 自动化）
  • 核心创新点: 提出一种面向ICL的“自动链式思维”构造机制：不再只提供输入-输出示例，而是自动为示例补全/生成可复用的多步推理轨迹，并将其组织成更适配目标任务的演示模板，从而在不更新参数的前提下显式注入推理过程，提升ICL在多步推理任务上的稳定性与泛化能力。

• Can Large Language Models Imitate Human Speech for Clinical Assessment? LLM-Driven Data Augmentation for Cognitive Score Prediction

  • 赛道归属: 医疗语音理解与临床评估（LLM数据增强/认知评分预测）
  • 核心创新点: 利用“同一临床提示下的书面回答”作为语义锚点，构建LLM驱动的数据增强框架，将文本层面的语义约束注入到自发口语叙事的生成/改写中，以缓解小样本与类别不均衡问题；通过语义锚定的增强样本提升从语音/转写到认知量表分数的回归/预测鲁棒性与泛化能力。

• Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

  • 赛道归属: LLM+强化学习/序列决策（离线RL、MDP/POMDP上的In-Context Learning与微调）
  • 核心创新点: 通过对“离线、oracle标注的轨迹”进行监督微调，把LLM的少样本ICL能力显式迁移到序列决策任务中，使模型能够在MDP、POMDP及更具不确定性的APOMDP设定下，直接从上下文轨迹中进行few-shot决策；方法上将“轨迹作为上下文提示”的ICL与“用高质量轨迹进行SFT”的训练范式结合，系统化提升LLM在长期依赖与部分可观测场景中的决策稳健性。

• Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective

  • 赛道归属: 大模型学习机制与归纳偏置分析（Fine-tuning vs In-Context Learning，对比评测方法学）
  • 核心创新点: 从形式语言学习视角构建可控、边界精确的任务体系，用严格定义的语言类别与可控字符串分布来统一对比FT与ICL：通过消除以往实验设置不一致带来的混淆，系统刻画两种学习模式在样本效率、泛化边界与归纳偏置上的差异，为“FT与ICL到底学到什么、偏好什么结构”提供可复现实证框架。

• Early Stopping Chain-of-thoughts in Large Language Models

  • 赛道归属: 推理优化与高效推断（Chain-of-Thought 早停/自适应计算）
  • 核心创新点: 提出ES-CoT推断时方法：在黑盒条件下通过检测“答案收敛”信号来提前终止CoT生成，避免冗长推理带来的高token成本；相较依赖白盒监控或不稳定提示技巧的方法，该方案强调推断阶段可插拔、无需改模型参数，并以收敛判据实现更可靠的自适应推理长度控制。

• GVGAI-LLM: Evaluating Large Language Model Agents with Infinite Games

  • 赛道归属: LLM智能体评测与基准（游戏环境推理/规划/交互）
  • 核心创新点: 构建GVGAI-LLM无限游戏评测基准：基于GVGAI框架与游戏描述语言（规则+关卡可快速生成），提供多样街机式任务以测试LLM在非传统NLP分布下的推理、规划与问题求解；通过可程序化生成新游戏来降低基准过拟合风险，并支持持续扩展的“无限”评测设置。

• Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models

  • 赛道归属: 多模态大模型训练与OCR增强（多语言文本理解/视觉文本推理）
  • 核心创新点: 提出面向真实场景视觉文本的多语言OCR增强训练框架：结合(1)大规模合成“OCR→翻译/理解”数据生成以覆盖复杂版式与噪声，(2)基于LoRA的OCR-aware监督微调以低成本注入视觉文本能力，(3)结构化的视觉提示与提示引导CoT推理以提升跨语言读图与文本推理的可控性与鲁棒性，系统性缓解MLLM在小字、遮挡、模糊与复杂字体上的失效。

• RLearner-LLM: Balancing Logical Grounding and Fluency in Large Language Models via Hybrid Direct Preference Optimization

  • 赛道归属: 对齐训练 / 偏好优化（DPO改进、逻辑一致性对齐）
  • 核心创新点: 提出Hybrid-DPO的自动化偏好构建与优化框架，用“逻辑正确性信号 + 流畅性偏好信号”的混合偏好来替代单一偏好监督，针对DPO在知识密集生成中被“冗长/流畅偏置”误导的问题进行校正；通过引入基于NLI/逻辑判别器（如DeBERTa类模型）的可验证逻辑一致性评估，与LLM评审/人类偏好形成互补，从而在不牺牲可读性的前提下缩小“逻辑对齐缺口”，提升生成的可证正确性与事实/推理一致性。

• Backtracking When It Strays: Mitigating Dual Exposure Biases in LLM Reasoning Distillation 🆕NEW

  • 赛道归属: 推理蒸馏与对齐（LLM Reasoning Distillation / CoT蒸馏）
  • 核心创新点: 针对推理蒸馏中的“双重曝光偏差”（训练时只看教师的“金轨迹”导致的 off-policy 偏差，以及学生自由生成时的 on-policy 分布漂移），提出带“回溯/纠偏”机制的蒸馏范式：在学生推理轨迹偏离教师有效路径时，显式检测并回退到更可靠的中间状态/分支，再继续生成与学习，从而在保留教师高质量推理监督的同时，让学生在更接近自身生成分布的轨迹上获得稳定训练信号，降低长CoT蒸馏的错误累积与泛化退化。

• Position: Let's Develop Data Probes to Fundamentally Understand How Data Affects LLM Performance 🆕NEW

  • 赛道归属: 数据中心的LLM评测与数据工程（Data-centric LLM / 数据探针与可解释评估）
  • 核心创新点: 提出“数据探针”作为一种更基础、更可解释的研究与评测工具，用于系统刻画“什么数据在LLM工作流的不同阶段（预训练、微调、对齐、ICL等）有效、为何有效”。核心方法论突破在于：用可控、可诊断的小规模探针数据/任务来分解数据属性（如信息密度、噪声、覆盖度、难度、分布匹配、指令/偏好信号等）对模型能力与行为的因果影响，替代依赖大规模试错的经验式过滤与拼装，从而为数据选择、过滤、配比与合成提供可复用的原则与机制解释。

GitHub

• [2026-05-21] sgl-project/sglang ⭐28063

• [2026-05-20] guidance-ai/guidance ⭐21462 🆕NEW

• [2026-05-21] NVIDIA/TensorRT-LLM ⭐13687

• [2026-05-20] UKGovernmentBEIS/inspect_ai ⭐2100

• [2026-05-20] NVIDIA-NeMo/Skills ⭐955

HuggingFace Models

• froggeric/Qwen-Fixed-Chat-Templates

• Jackrong/Qwopus3.5-9B-Coder-GGUF

HuggingFace Datasets

• [2026-05-01] angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k

  Background
  

Ended up with some tokens to burn on a Claude Max plan. Assembly began during 4.6 and moved to 4.7. Model is tagged. The develop...

• [2026-04-19] Jackrong/GLM-5.1-Reasoning-1M-Cleaned

  GLM-5.1-Reasoning-1M-Cleaned
  

GLM-5.1-Reasoning-1M-Cleaned is a cleaned and reformatted derivative of Kassadin88/GLM-5.1-1000000x. It prese...

• [2026-02-10] Modotte/CodeX-2M-Thinking

  Modotte
  

Note: This dataset is part of the lineup CodeX by Modotte. You can get lots of datasets in this same lineup, with the main ...

多模态大模型

arXiv

• RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding 🆕NEW

  • 赛道归属: 多模态理解（事件相机+视觉语言模型/鲁棒场景理解）
  • 核心创新点: 提出首个事件流-图像双流VLM，将事件相机的高时间分辨率与高动态范围信息作为与RGB互补的输入，通过跨模态对齐与融合机制把事件的运动/边缘变化线索注入语言推理，从而显著提升低照度、HDR、快速运动等恶劣条件下的场景理解与描述鲁棒性。

• GeoWorld-VLM: Geometry from World Models for Vision-Language Models

  • 赛道归属: 多模态理解（3D/几何空间关系推理增强、VLM蒸馏）
  • 核心创新点: 提出一种“从世界模型蒸馏几何能力到VLM视觉端”的框架，针对VLM在视觉特征提取阶段丢失3D结构线索导致的空间关系脆弱性，在语言推理开始前就补齐可用于空间判断的几何表征；通过VLM侧蒸馏将世界模型中隐含的几何/结构知识注入视觉编码器，使下游语言模型接收到更保真的空间结构特征，从而提升left/right、behind、between等基础空间关系的鲁棒性与可泛化性。

• A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

  • 赛道归属: 多模态安全（LVLM 对抗攻击 / Prompt Injection）
  • 核心创新点: 提出一种“跨模态”提示注入攻击范式：仅对图像输入施加微小扰动，即可在不改动文本提示的情况下，把攻击指令注入并迁移到模型对另一模态（文本/指令）的解释与执行中，从而突破以往“单模态注入只影响该模态”或“多模态但无法实现跨模态扰动”的限制；方法层面强调通过优化图像扰动来实现对模型跨模态对齐/融合表征的定向操控，使模型在后续语言生成阶段遵循攻击者意图。

• VLM-AutoDrive: Post-Training Vision-Language Models for Safety-Critical Autonomous Driving Events

  • 赛道归属: 多模态理解（自动驾驶视频理解/安全关键事件检测、VLM后训练）
  • 核心创新点: 提出面向安全关键驾驶事件的模块化后训练框架，专门解决通用VLM在驾驶领域的“领域不对齐”和“时间不对齐”（短暂、稀有事件难捕捉）问题；通过可插拔的适配流程在不从头训练的前提下对预训练VLM进行领域与时序能力增强，使其更擅长识别碰撞/近碰等瞬时高风险事件，并提升在真实行车长视频中的可靠性与可部署性。

• Eyes on VLM: Benchmarking Gaze Following and Social Gaze Prediction in Vision Language Models 🆕NEW

  • 赛道归属: 多模态理解（人类注视/社会注视预测评测基准）
  • 核心创新点: 构建并系统评测VLM在“注视跟随”与“社会注视预测”上的能力边界，强调该任务需要同时理解几何/物理场景与交互语境；通过基准化任务设定与指标，揭示现有VLM在注视相关推理中的可靠性缺口与典型失败模式，为后续面向注意力与行为理解的训练/对齐提供可复现的评测框架。

• Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment

  • 赛道归属: 多模态安全与隐私（VLM成员推断攻击、黑盒攻击）
  • 核心创新点: 提出单样本、黑盒条件下的VLM成员推断攻击方法，绕开现有方法对内部logits/梯度等灰盒信息的依赖；核心利用“跨模态语义对齐”信号构造可查询的攻击统计量，在仅能访问模型输出的现实API场景中判断某图文样本是否被训练集记忆，从而更贴近真实威胁模型并揭示VLM训练数据泄露风险。

• GRIP-VLM: Group-Relative Importance Pruning for Efficient Vision-Language Models

  • 赛道归属: 多模态模型推理优化 / 视觉Token剪枝与模型压缩
  • 核心创新点: 将VLM视觉token剪枝从常见的连续梯度松弛视角，转向更贴合本质的离散组合优化建模；提出“组相对重要性”的剪枝框架，通过在组内/组间进行相对重要性比较来稳定地选择保留token，缓解连续近似在激进压缩下易陷入次优局部最小的问题，从而在显著降低视觉token计算开销的同时尽量保持多模态性能。

• PPU-Bench:Real World Benchmark for Personalized Partial Unlearning in Vision Language Models

  • 赛道归属: 多模态安全与隐私 / 机器遗忘（VLM个性化部分遗忘评测）
  • 核心创新点: 提出PPU-Bench，一个面向真实世界“个性化部分遗忘”的VLM基准：不依赖合成知识注入、也不做整类/整主体删除，而是覆盖更贴近用户请求的细粒度跨模态事实删除需求；同时强调fine-tuning-free的评测设定，用统一任务与数据规模（约24K多模态样本）系统衡量模型对敏感记忆的可控删除能力与残留风险。

• From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models 🆕NEW

  • 赛道归属: 多模态理解（VLM后训练/推理能力提升）
  • 核心创新点: 提出“感知-推理解耦”的后训练范式，实证指出许多视觉任务瓶颈主要来自视觉感知不足而非长链推理；将能力分解为视觉感知、视觉推理、文本推理三阶段，并引入针对性的训练信号/数据在不同阶段分别强化，从而更有效地提升VLM在视觉任务上的整体表现与泛化。

• Breaking Modality Heterogeneity in Low-Bit Quantization for Large Vision-Language Models 🆕NEW

  • 赛道归属: 推理优化（大规模视觉语言模型低比特量化/PTQ）
  • 核心创新点: 针对VLM量化中的“模态异质性”问题，发现视觉与文本激活分布差异主要由少量通道的模态特异离群值主导，且离群通道在不同模态中位置不同；据此提出面向通道级的异质性消解思路（如对离群通道进行差异化处理/校准），在低比特PTQ下减少跨模态分布不匹配带来的精度损失，提升VLM端侧部署可用性。

GitHub

• [2026-05-20] Blaizzy/mlx-vlm ⭐4756

• [2026-05-17] waybarrios/vllm-mlx ⭐1221

• [2026-05-16] zli12321/Vision-Language-Models-Overview ⭐591

• [2026-05-18] mala-lab/Awesome-Anomaly-Detection-Foundation-Models ⭐189

• [2026-05-20] opendatalab/mineru-vl-utils ⭐122

HuggingFace Models

• NemoStation/Marlin-2B 🆕NEW

强化学习

arXiv

• ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders 🆕NEW

  • 赛道归属: 强化学习基准与仿真环境（MuJoCo连续控制/游戏风格NPC运动控制）
  • 核心创新点: 提出ARC-RL作为面向“游戏NPC风格约束”的连续控制基准套件：在MuJoCo中构建4个受游戏生物图鉴启发的非真实机器人形态环境，刻意脱离传统仿真到真实常见的商业硬件形态假设，从而把研究焦点从“真实可落地的腿式机器人”扩展到“无现实对应形态但有强风格/表现约束的角色运动”。其方法论价值在于用系统化的形态多样性与任务设定，推动奖励设计、控制策略与泛化能力在“非工程硬件先验”下的评测与对比。

• MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning

  • 赛道归属: 自动驾驶强化学习（多模态感知-控制融合、可解释决策）
  • 核心创新点: 提出以“3D可供性”作为感知与控制之间的中间表征，用多模态Transformer从RGB等输入预测结构化、可解释的3D可供性，再由强化学习在该表征空间上进行策略学习；相较端到端直接回归动作，减少感知-控制脆弱接口带来的误差传播，同时提升在城市密集交互场景下的鲁棒性与可解释性。

• LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

  • 赛道归属: LLM后训练对齐 / 连续潜空间强化学习 / 推理增强
  • 核心创新点: 将RL的优化空间从离散token序列迁移到连续潜变量中的“推理轨迹”层面，用潜空间策略探索更语义化、全局性的决策，从而缓解token级优化导致的推理结构错配；引入基于潜扩散推理的训练机制以稳定探索分布，重点解决连续潜空间RL中常见的熵塌缩问题，使策略在高层推理表征上保持多样性与可探索性。

• CayleyPy RL: Pathfinding and Reinforcement Learning on Cayley Graphs

  • 赛道归属: 超大规模图路径规划 / 图强化学习 / 群论结构图搜索
  • 核心创新点: 面向极大规模（可达$10^{70}$节点）Cayley图的路径规划，将强化学习与更直接的扩散距离方法进行组合：用扩散距离提供结构化的几何/谱信息以引导搜索，用RL学习在该结构先验下的策略，从而在传统RL难以覆盖的巨大状态空间中提升可达性与样本效率；并以开源CayleyPy作为可复现实验与基准平台，系统评测该混合范式在数学结构图上的性能。

• GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

  • 赛道归属: 大语言模型后训练、开放式环境泛化强化学习
  • 核心创新点: 提出GRLO，面向“从零开始”的开放式环境RL后训练，目标是在无特定领域人类偏好数据的前提下获得可迁移、可泛化的策略更新范式；方法上强调在开放式任务分布中构建更通用的奖励/验证驱动训练流程，以缓解RLHF对目标域偏好信号的依赖，并提升跨环境的泛化能力。

• A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

  • 赛道归属: 大语言模型对齐 / 偏好强化学习优化
  • 核心创新点: 提出一个以 Pair-GRPO 为核心的统一偏好优化理论框架，将主流成对偏好学习中“隐式约束”的做法系统化为一族方法，并给出两种紧耦合变体：Soft-Pair-GRPO（以软方式施加偏好约束）与 Hard-Pair-GRPO（以显式/硬约束形式刻画偏好约束）。该框架旨在从方法层面同时缓解 RLHF 中常见的策略更新不稳定、梯度方向不明确、可解释性差与梯度方差高等问题：通过把偏好信号转化为可控、可解释的约束形式，统一了从隐式到显式约束的优化路径，从而提升训练稳定性与泛化对齐效果。

• Reinforcement Learning for LLM Post-Training: A Survey

  • 赛道归属: LLM后训练综述 / RLHF与RLVR方法体系化梳理 / 对齐与推理能力提升
  • 核心创新点: 对LLM后训练中的RL范式进行系统化归纳与对比：覆盖偏好优化（如DPO等）与可验证奖励驱动的在线RL（如PPO、GRPO等）两大路线，梳理其目标函数、训练流程、数据与奖励来源、稳定性与可扩展性差异；总结在安全对齐、数学/代码推理等任务上的适用边界与常见失败模式，并提炼未来研究方向（如奖励建模、验证器设计、在线探索与离线偏好学习的融合等）。

• Projecting Latent RL Actions: Towards Generalizable and Scalable Graph Combinatorial Optimization 🆕NEW

  • 赛道归属: 图组合优化的强化学习求解器（GNN+RL、动作空间建模/可扩展推理）
  • 核心创新点: 提出“潜在动作投影”框架来缓解GCO中动作空间随图规模爆炸导致的可扩展性与跨实例泛化问题：先在连续/低维潜在空间中生成动作（便于学习与扩展），再通过投影算子将潜在动作映射为满足组合约束的离散可执行决策，从而把“学习”与“可行性/约束满足”解耦。该思路在方法上提供了统一的动作参数化与约束投影机制，使策略网络（含GNN表征）更容易迁移到不同规模与分布的图实例，并降低逐步决策的计算负担。

• GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment 🆕NEW

  • 赛道归属: 大模型后训练与多任务对齐（可验证奖励、长上下文能力评测与数据构建）
  • 核心创新点: 提出GoLongRL，一个面向长上下文能力的开源RLVR后训练配方，核心突破在“能力导向”的数据构建与多任务对齐：不再主要依赖复杂检索链路来堆叠长上下文，而是以可验证奖励为中心，系统覆盖更贴近真实长上下文需求的能力维度与任务分布，并通过多任务对齐策略缓解任务同质化与奖励定义单一的问题。方法论上，它把长上下文RL从“检索路径工程”转向“能力覆盖+可验证奖励+对齐训练”的可复用流程。

• Sampling-Based Safe Reinforcement Learning 🆕NEW

  • 赛道归属: 安全强化学习与模型式强化学习（不确定动力学下的约束满足/鲁棒性）
  • 核心创新点: 提出Sampling-Based Safe Reinforcement Learning ，以“有限动力学样本集合上的联合约束”近似不确定动力学下的最坏情况安全优化：通过从动力学不确定性中采样多个模型/参数实例，并在学习与规划过程中同时对这些样本施加安全约束，从而将原本难以直接求解的鲁棒安全问题转化为可操作的采样约束优化，实现在连续控制中“学习全过程保持安全”的模型式算法框架。其方法突破在于把安全保证从单一名义模型扩展到样本化的不确定集合，并以可计算方式逼近最坏情况安全性。

GitHub

• [2026-05-20] Unity-Technologies/ml-agents ⭐19423

• [2026-05-20] huggingface/trl ⭐18422

• [2026-05-20] PufferAI/PufferLib ⭐5701

• [2026-05-20] radixark/miles ⭐1368

• [2026-05-20] tinker495/jax-baseline ⭐65 🆕NEW

HuggingFace Datasets

• [2026-05-19] PsiBotAI/SynData

  SynData
  

中文说明

    Demo

If the video cannot be displayed in your environment, open it directly: assets/syndata-demo.mp4

    ...

• [2026-05-14] AlienKevin/SWE-ZERO-12M-trajectories

  SWE-ZERO 12M Trajectories
  

The largest agentic-coding trace dataset to date: 112 B tokens of execution-free agentic trajectories covering 12...

• [2026-05-13] TuringEnterprises/Open-MM-RL

  Dataset Summary
  

Open-MM-RL is a multimodal STEM reasoning dataset covering Physics, Mathematics, Biology, and Chemistry. It is designed for...

• [2026-05-08] Qwen/WebWorldData

  WebWorldData 🌐
  
  Overview
  

WebWorldData is a large-scale dataset of 1.06M web interaction trajectories collect...

世界动作模型

arXiv

• WorldVLN: Autoregressive World Action Model for Aerial Vision-Language Navigation

  • 赛道归属: 视觉-语言导航 / 世界动作模型 / 自回归策略建模
  • 核心创新点: 提出面向航拍VLN的首个自回归世界动作模型，将任务从“直接学策略”重构为“预测驱动的世界-动作联合建模”：在闭环导航中显式预测潜在世界状态的演化及动作后果，并以自回归方式逐步生成后续决策，从而避免依赖全序列视频生成式世界模型的高成本与冗余建模，强化对长时序指令跟随与环境动态的可控推演能力。

• World Action Models: The Next Frontier in Embodied AI

  • 赛道归属: 具身智能 / 视觉-语言-动作+ 世界模型融合的策略学习（World Action Model范式）
  • 核心创新点: 中文：提出并系统化“世界动作模型”这一新范式：将环境动力学的显式预测（世界模型）纳入动作生成/策略学习管线，突破传统VLA仅做“观测→动作”的反应式映射，转向“可干预的未来演化建模 + 基于预测的动作决策”的统一框架，从而为具身基础模型提供更强的可规划性、可推演性与对物理演化的建模能力。

• When to Trust Imagination: Adaptive Action Execution for World Action Models

  • 赛道归属: 机器人操控（World Action Model / 视觉-动作联合预测）与闭环控制策略（自适应动作执行）
  • 核心创新点: 将WAM的“固定步长开环执行”问题重构为未来-现实一致性验证：在执行过程中持续对比模型想象的未来观测与真实环境rollout的一致性，并据此自适应决定每次推理后应连续执行的动作步数（何时继续信任想象、何时提前中止并重新推理）。该方法在不改变WAM本体预测机制的前提下，引入面向执行阶段的验证与决策模块，实现从开环到更稳健的闭环执行，降低因预测漂移导致的失配与失败风险。

• The DAWN of World-Action Interactive Models

  • 赛道归属: 自动驾驶 / 世界模型驱动的交互式规划与动作生成
  • 核心创新点: 中文：提出“世界-动作交互模型”以刻画世界预测与动作选择的互依关系，指出现有WAM常见的并行分支或“先预测再规划”的刚性流水线难以体现“动作影响场景演化、场景演化反过来约束动作”的闭环耦合；并在自动驾驶中实例化为DAWN，通过在生成过程中联合/交替地对动作与世界演化进行一致性建模（以去噪式生成视角实现动作与未来场景的协同推断），实现更符合交互逻辑的场景-动作联合生成与规划。

GitHub

• [2026-05-18] DravenALG/awesome-vla-wam ⭐445

• [2026-05-15] OpenMOSS/Awesome-WAM ⭐396

---

由 Research Daily 自动生成 生成时间: 2026-05-21 01:01:41