AI 每日进展速报 - 2026-05-22

查找

重置

新旧

全部 仅 NEW

正在统计...

来源

全部来源 arXiv GitHub HuggingFace

图像生成/编辑

arXiv

• Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards

  • 赛道归属: 文生图（偏好对齐/后训练强化学习）
  • 核心创新点: 提出 SOLACE 后训练框架，用“模型内生自信度”替代外部奖励模型/人工偏好监督：将模型自身生成结果重新加噪，并以其对注入噪声的恢复准确性作为自信度奖励信号，从而在不依赖额外标注或奖励网络的情况下进行偏好对齐式优化，提升生成的可靠性与审美一致性。

• MaskAttn-SDXL: Controllable Region-Level Text-To-Image Generation

  • 赛道归属: 文生图（区域级可控生成 / 组合式生成）
  • 核心创新点: 在SDXL的U-Net扩散框架中引入“Mask Attention”式的区域级注意力控制机制，用显式区域/掩码约束将文本条件与空间区域绑定，从而提升多目标场景下的全局协调与属性不串扰（减少对象间属性混淆），在保持U-Net高效性的同时增强跨区域的可控组合生成能力。

• Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation

  • 赛道归属: 文生图（强化学习对齐 / 训练策略与采样优化）
  • 核心创新点: 面向基于GRPO的T2I强化学习训练，提出“课程式组策略优化”自适应采样：根据模型当前能力动态调整样本难度分布，避免统一采样带来的难度失配与低效更新，从而以更高样本效率释放RL在文生图对齐/偏好优化中的收益。

• Skill-Aligned Annotation for Reliable Evaluation in Text-to-Image Generation

  • 赛道归属: 文生图评测 / 人类标注与评估协议设计
  • 核心创新点: 提出“技能对齐标注”评测范式：不再用统一的Likert/BQA覆盖所有评测维度，而是先将T2I评测拆解为异质“技能”（如语义一致性、属性绑定、空间关系、文本可读性、审美/真实感等），再为不同技能匹配更合适的标注接口、问题形式与聚合方式，从而降低标注噪声与维度混淆；强调在模型差距缩小时，通过对齐技能本质来提升评测的可靠性、可复现性与区分度。

• EPIC: Efficient Predicate-Guided Inference-Time Control for Compositional Text-to-Image Generation

  • 赛道归属: 文生图（推理时可控生成/组合式生成）
  • 核心创新点: 提出 EPIC 的训练无关推理时控制：将复杂提示词一次性解析为包含对象变量与类型化谓词（数量、属性、关系等）的“视觉程序”，并把生成改写为谓词引导的搜索/精炼过程，在不改动模型参数的前提下，通过对违反谓词的部分进行定向修正来提升组合一致性与可控性，同时强调推理效率。

• CogBlender: Towards Continuous Cognitive Intervention in Text-to-Image Generation

  • 赛道归属: 文生图（审美/心理属性可控生成 / 连续属性编辑）
  • 核心创新点: 将“认知属性”（如情绪效价、可记忆性等）作为可控维度引入T2I生成，提出支持连续干预的CogBlender：在不只对齐语义的前提下，提供可连续调节的控制接口/机制，使生成结果能按用户心理意图在认知指标上平滑可控，而非仅靠离散风格词或后验筛选。

• Unifying Contrastive and Generative Objectives for Visual Understanding and Text-to-Image Generation

  • 赛道归属: 多模态统一建模（视觉理解 + 文生图的对比-生成统一训练）
  • 核心创新点: 提出DREAM统一框架，将图文对比学习与掩码生成式建模端到端融合；关键在于“Masking Warmup”掩码课程调度，逐步移动掩码比例分布中心，使低掩码（利于对比对齐）与高掩码（利于生成建模）在同一训练过程中兼容，从而缓解两类目标对“可见token比例”相互冲突的问题。

• SPOT: Selective Prompt Projection via Total Variation for Inference-Only Safe Text-to-Image Generation

  • 赛道归属: 文生图安全对齐 / 推理期安全控制
  • 核心创新点: 提出SPOT：在冻结扩散生成器的前提下，仅在推理期对文本提示进行“选择性投影”以抑制不安全生成，同时尽量保持对良性提示的行为不变；用总变差距离将“相对原始提示条件分布的偏移”与“风险期望变化”建立可控上界关系，把安全约束转化为对提示投影强度/选择策略的可优化目标，实现无需再训练的安全-保真折中控制。

• TextBoost: Boosting Text Encoder for Personalized Text-to-Image Generation

  • 赛道归属: 个性化文生图（Text-to-Image Personalization / Diffusion 微调）
  • 核心创新点: 提出一-shot 个性化方案，仅选择性微调文本编码器而非扩散模型主体/UNet，从而显著降低存储开销与训练成本并加快收敛；为避免个性化导致的语义漂移，引入“因果性保持” 机制/约束，在注入新概念表征的同时尽量维持原有文本语义结构与可组合性，实现更稳健的个性化生成与更好的泛化。

• PixVerve: Advancing Native UHR Image Generation to 100MP with a Large-Scale High-Quality Dataset

  • 赛道归属: 超高分辨率文生图（Ultra-High-Resolution T2I / 原生 UHR 生成）
  • 核心创新点: 面向原生超高分辨率（最高 100MP）生成的关键瓶颈（数据稀缺与内容复杂），构建并开源大规模高质量 UHR 数据集 PixVerve-95K，通过系统化的数据筛选/清洗与质量控制提升训练信号密度；以数据为核心驱动推进“原生 UHR”生成能力（而非仅依赖后处理放大），为训练与评测超高像素级 T2I 模型提供可复用的数据基础与基准。

GitHub

• [2026-05-22] YouMind-OpenLab/awesome-nano-banana-pro-prompts ⭐12146

• [2026-05-21] Light-Heart-Labs/DreamServer ⭐1573

• [2026-05-21] jegly/Box ⭐454

• [2026-05-21] etkecc/baibot ⭐226

• [2026-05-21] ferranpons/Llamatik ⭐132

HuggingFace Models

• HiDream-ai/HiDream-O1-Image

视频生成/编辑

arXiv

• MAVEN A Multi-Agent Framework for Multicultural Text-to-Video Generation

  • 赛道归属: 视频生成（文生视频 / 多智能体提示工程）
  • 核心创新点: 提出多智能体提示精炼框架 MAVEN，面向“多文化/跨文化”文生视频的文化保真度问题，将文本提示分解为人物、动作、地点等可控维度，并由专门代理并行/串行协作改写与补全文化关键信息；通过结构化分解降低单一提示对文化细节的丢失与歧义，提升同文化与跨文化场景下生成内容的文化一致性与可评测性。

• MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation

  • 赛道归属: 视频生成评测（多镜头音视频生成/编辑评测）
  • 核心创新点: 提出面向“多镜头音视频叙事”的综合评测基准与自适应混合评测框架，针对现有评测在数据多样性不足、任务覆盖窄、流程僵化导致难以稳定比较前沿MSAV模型的问题，强调以更丰富的多镜头场景与更灵活的评测管线实现系统化、可复现、可扩展的可靠评估。

• CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition

  • 赛道归属: 可控视频生成（推理驱动/意图理解的条件控制）
  • 核心创新点: 提出“创作意图认知”驱动的可控视频生成框架，将生成控制从单纯条件注入或在扩散骨干中生硬耦合通用VLM，提升为“先推理理解意图、再执行生成控制”的范式；重点解决抽象/稀疏/复杂条件（如分镜草图、泥模/灰模等制作级条件）下的脆弱性，通过显式推理链路把专业制作输入转化为可执行的控制信号，从而提高与创作意图的一致性与可用性。

• PhyWorld: Physics-Faithful World Model for Video Generation

  • 赛道归属: 物理一致性视频生成（世界模型/物理约束视频续写）
  • 核心创新点: 面向将大规模视频生成模型用作世界模拟器的需求，提出强调“物理忠实”的视频世界模型：生成的未来视频不仅要逼真，还需保持输入条件所隐含的物理状态（如物体位置、速度、接触关系等）并遵循基础物理规律演化。其方法论突破在于把“物理状态保持 + 物理规律一致的时间演化”作为核心生成目标来建模与评测，从而提升视频续写在物理AI训练场景中的可用性与可靠性。

• LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation

  • 赛道归属: 推理优化/训练系统（长视频生成基础设施，AR+扩散/视频模型并行）
  • 核心创新点: 提出 LongLive-2.0 的 NVFP4 并行训练与推理基础设施，针对长视频生成的显存与吞吐瓶颈做端到端系统级共设计；核心是序列并行的自回归训练方案 Balanced SP，通过将“干净历史”与“噪声目标”时间块在各 rank 上配对，形成天然 teacher-forcing mask，并与 SP 执行及分块 VAE 编码/解码协同，提升长序列训练/推理的速度与内存效率。

• Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory

  • 赛道归属: 视频生成（长叙事一致性 / 训练免改的记忆机制）
  • 核心创新点: 提出训练免改的身份感知记忆机制，用于自回归长视频叙事生成中的长期一致性与“记忆退化”问题；针对提示随时间演化、实体指代变化导致的身份漂移/角色重复/属性丢失，方法引入显式的 identity-aware 记忆读写与检索策略（相较仅压缩历史或用粗粒度注意力选关键帧），在不重新训练模型的前提下更稳健地维持角色身份与属性连续性。

• NEWTON: Agentic Planning for Physically Grounded Video Generation

  • 赛道归属: 视频生成（物理一致性/可控生成，智能体规划）
  • 核心创新点: 提出 NEWTON 的 agentic planning 框架，针对视频生成普遍违反物理常识的根因“规格瓶颈”——文本提示无法充分描述决定动力学的关键物理参数；方法通过规划式的条件构造/补全，将物理条件从“缺失”变为“充分、可控、可组合”的显式约束（而非单纯扩模型规模），以提升物理落地的视频生成可靠性与可评测性。

• GeoFlow: Enforcing Implicit Geometric Consistency in Video Generation

  • 赛道归属: 视频生成（几何一致性/相机运动鲁棒性，奖励约束）
  • 核心创新点: 提出 GeoFlow，通过“几何一致性奖励”显式约束生成视频的隐式几何一致性，缓解相机运动下的物体形变、纹理漂移与背景非刚性等问题；区别于把一致性当副产物、仅适用于静态场景或需要重对齐整个潜空间的方案，GeoFlow直接度量并优化视频运动是否满足几何一致的条件，从而以更轻量的方式提升跨帧结构稳定性。

• Temporal Aware Pruning for Efficient Diffusion-based Video Generation

  • 赛道归属: 推理优化（扩散式视频生成加速，时序感知剪枝）
  • 核心创新点: 提出 Temporal Aware Pruning，将 token pruning 从“逐帧、仅基于注意力”的静态策略扩展为面向视频生成的时序一致性剪枝：在长时空序列注意力计算中，剪枝决策显式考虑跨帧依赖与时间连贯性，避免简单按帧裁剪导致的时序抖动与一致性破坏，从而在降低计算量的同时尽量保持视频质量与连贯性。

• Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation

  • 赛道归属: 多模态生成（音视频联合生成 / 身份定制）
  • 核心创新点: 提出 Omni-Customizer 端到端多模态定制框架，解决多主体交互场景下“视觉身份(人脸/外观)”与“声音音色”的同时绑定与一致保持；核心在于将多模态身份信息进行精确绑定与融合，支持在联合音视频生成中对多个角色的视觉与声纹进行一致、可控的个性化定制，而非分别微调或松散对齐。

GitHub

• [2026-05-22] Anil-matcha/Open-Generative-AI ⭐16444

• [2026-05-21] yukkcat/gemini-business2api ⭐1273 🆕NEW

  OpenAI-compatible API for Gemini Business with multi-account load balancing and multimodal capabilities | 将 Gem...

• [2026-05-21] YouMind-OpenLab/awesome-seedance-2-prompts ⭐1153

• [2026-05-21] Winn1y/Awesome-Human-Motion-Video-Generation ⭐328

• [2026-05-21] heygen-com/heygen-cli ⭐50 🆕NEW

HuggingFace Models

• SulphurAI/Sulphur-2-base

音频生成

arXiv

• TED-TTS: Training-Free Intra-Utterance Emotion and Duration Control for Text-to-Speech Synthesis

  • 赛道归属: 文本转语音 / 可控语音合成（零样本、细粒度韵律与情感控制）
  • 核心创新点: 提出一种“免训练”的可控框架，直接作用于预训练零样本TTS，实现句内级别的情感与时长控制；通过分段感知的情感条件注入将情感控制从整句提升到片段级，避免依赖私有情感数据或多阶段再训练；同时将时长/节奏控制与情感表达解耦到可操作的句内控制接口，使同一句话内部可实现不同情绪与语速/停连的组合表达。

• SemaVoice: Semantic-Aware Continuous Autoregressive Speech Synthesis

  • 赛道归属: 文本转语音 / 连续表示自回归语音生成
  • 核心创新点: 针对连续自回归TTS中“语义-韵律建模”与“重建驱动的连续声学表示”之间的根本错配，提出语义感知的连续自回归合成框架；核心在于强化高层语义一致性与可控韵律的建模优先级，抑制模型过度追逐低层纹理细节导致的自回归误差累积；通过在生成过程中显式引入语义约束/对齐机制，使连续表示既能保持高保真重建，又能提升长程语义连贯与表达稳定性。

• Raon-OpenTTS: Open Models and Data for Robust Text-to-Speech 🆕NEW

  • 赛道归属: 文本到语音/开源数据与可复现训练
  • 核心创新点: 提出“模型+数据”一体化的开源TTS方案：一方面发布可与闭源数据SOTA竞争的Raon-OpenTTS模型；另一方面构建超大规模可复现训练数据池Raon-OpenTTS-Pool（由公开英文语音聚合而成，规模达数十万小时级），系统性验证“大规模开放数据”在提升TTS鲁棒性与质量中的关键作用，并降低TTS研究对私有数据的依赖、提升可复现实验基线的可获得性。

• AgentSteerTTS: A Multi-Agent Closed-Loop Framework for Composite-Instruction Text-to-Speech

  • 赛道归属: 文本转语音 / 指令可控语音合成（复合指令、Agent框架、闭环控制）
  • 核心创新点: 提出多智能体闭环框架，将“离散文本意图”到“连续声学实现”的结构性鸿沟拆解为可协作的子任务；通过对抗式解耦智能体降低说话人特征、内容与风格控制之间的纠缠，提升复合指令（如情绪+语速+强调+停顿等）的可组合性与可控性；引入闭环评估/反馈机制（由智能体对生成语音的意图一致性进行判别并迭代修正），实现更“意图忠实”的表达控制，而非一次性前向生成。

• Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models

  • 赛道归属: 情感可控文本转语音 / 自回归语音生成的控制与引导优化
  • 核心创新点: 提出跨模态一致性引导的Classifier-Free Guidance，针对“文本语义隐含情绪”与“显式目标情绪指令”冲突时导致的表现力与音质退化问题，引入基于不一致程度的动态引导尺度，按冲突强弱自适应调节情绪控制强度以提升鲁棒性；同时将CFG中的dropout无条件分支替换为“文本情绪”条件，使引导信号显式对齐文本侧情绪信息，从而在保持语音自然度/质量的同时增强情绪可控性；并通过蒸馏将CCG-CFG的推理期引导收益压缩进单模型（减少推理开销），实现更高效的情绪控制生成。

• Instrumental Text-to-Music Generation with Auxiliary Conditioning Branches 🆕NEW

  • 赛道归属: 文本到音乐生成/扩散模型条件控制
  • 核心创新点: 在受控数据与受控预训练的设定下，基于Diffusion Transformer骨干提出“辅助条件分支”的条件注入框架：将文本语义之外的属性（如音色/风格等）通过独立分支进行建模与融合，并针对“纯器乐”生成场景改造原有含歌词/音色条件的设计，从而在不依赖额外大规模外部预训练的情况下，提升文本到器乐音乐生成的可控性与生成质量，并更清晰地归因哪些结构设计在数据受限时仍有效。

• Musical Attention Transformer: Music Generation Using a Music-Specific Attention Model 🆕NEW

  • 赛道归属: 音乐生成/Transformer注意力机制改造（结构化元信息建模）
  • 核心创新点: 提出面向音乐的专用注意力机制“Musical Attention”，将小节编号、调性/拍号等结构化元信息显式融入注意力计算与序列建模过程，以增强Transformer对音乐层级结构与长程依赖的刻画能力；通过把“乐理结构信号”作为注意力的先验/引导，缓解生成中常见的重复、音符复制与旋律不自然等问题，从机制层面提升音乐生成的结构一致性与可听性。

• WavFlow: Audio Generation in Waveform Space

  • 赛道归属: 音频生成 / 波形域生成（非潜空间压缩、扩散/流模型方向）
  • 核心创新点: 反其道而行之，提出直接在原始波形空间生成高保真音频的框架，避免潜空间压缩带来的信息损失与系统复杂度；通过waveform patchify将一维波形重排为二维token网格，降低超高维序列建模难度并提升并行建模效率；提出amplitude lifting等信号能量重标定策略，缓解波形“低能量/高动态范围”导致的训练与生成不稳定，使流式/生成模型能在波形域实现可用的密度建模与高质量合成。

• Modeling Music as a Time-Frequency Image: A 2D Tokenizer for Music Generation

  • 赛道归属: 音频生成（音乐生成）/ 音频Tokenizer与表示学习
  • 核心创新点: 提出面向生成的2D Mel谱Tokenizer，将音乐建模为“时-频图像”，用单一共享码本在每个时间帧上按Mel频带产生2D token网格，避免残差多码本量化在序列展平后引入的强层级依赖与误差累积；该设计更贴合自回归语言建模的依赖结构，在保持可重建性的同时提升生成建模的可学习性与稳定性。

• Adapting a Text-to-Audio Model for Room Impulse Response Generation

  • 赛道归属: 音频生成 / 声学建模（RIR 房间脉冲响应生成）
  • 核心创新点: 将预训练的文生音频大模型作为“生成先验”迁移到RIR这一强物理约束、数据稀缺的声学对象上，通过适配策略把通用音频生成能力对齐到RIR的时域结构与混响特征分布，实现无需从零训练即可生成高质量RIR；关键突破在于证明大规模生成式音频先验可有效覆盖并可控地生成RIR这类非语音/非音乐的声学响应信号，从而缓解真实RIR采集成本高与训练数据不足的问题。

GitHub

• [2026-05-21] huggingface/diffusers ⭐33681

• [2026-05-20] Stability-AI/stable-audio-tools ⭐3724

• [2026-05-19] SamurAIGPT/Generative-Media-Skills ⭐3309

• [2026-05-21] apocas/restai ⭐506

• [2026-05-19] facebookresearch/WavFlow ⭐57 🆕NEW

HuggingFace Models

• Supertone/supertonic-3

• ResembleAI/Dramabox

HuggingFace Spaces

• Supertone/supertonic-3

语言大模型

arXiv

• EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models 🆕NEW

  • 赛道归属: 对齐评测（道德/价值观对齐、LLM-as-Judge评估）
  • 核心创新点:
  • 提出一个可解释的链式思维评测框架EvalMORAAL，将道德对齐评估从“黑箱打分”推进到“可追溯推理+量化评分”的透明流程。
  • 设计双评分通道：基于模型输出的log-probabilities与直接主观评分并行，降低单一指标偏置并增强稳健性。
  • 引入LLM-as-Judge 的同侪评审机制，用于对模型推理与结论进行二次审阅，提升评测一致性与可审计性。
  • 将评测基准落到跨文化大规模社会调查数据（WVS/PEW，多国家多议题），把“道德对齐”具体化为与真实人群价值分布的相关性度量（如Pearson相关），形成更具外部效度的对齐评估范式。

• ACIL: Auto Chain of Thoughts for In-Context Learning

  • 赛道归属: 提示学习与推理增强（In-Context Learning / Chain-of-Thought 自动化）
  • 核心创新点: 提出一种面向ICL的“自动链式思维”构造机制：不再只提供输入-输出示例，而是自动为示例补全/生成可复用的多步推理轨迹，并将其组织成更适配目标任务的演示模板，从而在不更新参数的前提下显式注入推理过程，提升ICL在多步推理任务上的稳定性与泛化能力。

• Can Large Language Models Imitate Human Speech for Clinical Assessment? LLM-Driven Data Augmentation for Cognitive Score Prediction

  • 赛道归属: 医疗语音理解与临床评估（LLM数据增强/认知评分预测）
  • 核心创新点: 利用“同一临床提示下的书面回答”作为语义锚点，构建LLM驱动的数据增强框架，将文本层面的语义约束注入到自发口语叙事的生成/改写中，以缓解小样本与类别不均衡问题；通过语义锚定的增强样本提升从语音/转写到认知量表分数的回归/预测鲁棒性与泛化能力。

• Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

  • 赛道归属: LLM+强化学习/序列决策（离线RL、MDP/POMDP上的In-Context Learning与微调）
  • 核心创新点: 通过对“离线、oracle标注的轨迹”进行监督微调，把LLM的少样本ICL能力显式迁移到序列决策任务中，使模型能够在MDP、POMDP及更具不确定性的APOMDP设定下，直接从上下文轨迹中进行few-shot决策；方法上将“轨迹作为上下文提示”的ICL与“用高质量轨迹进行SFT”的训练范式结合，系统化提升LLM在长期依赖与部分可观测场景中的决策稳健性。

• Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective

  • 赛道归属: 大模型学习机制与归纳偏置分析（Fine-tuning vs In-Context Learning，对比评测方法学）
  • 核心创新点: 从形式语言学习视角构建可控、边界精确的任务体系，用严格定义的语言类别与可控字符串分布来统一对比FT与ICL：通过消除以往实验设置不一致带来的混淆，系统刻画两种学习模式在样本效率、泛化边界与归纳偏置上的差异，为“FT与ICL到底学到什么、偏好什么结构”提供可复现实证框架。

• Early Stopping Chain-of-thoughts in Large Language Models

  • 赛道归属: 推理优化与高效推断（Chain-of-Thought 早停/自适应计算）
  • 核心创新点: 提出ES-CoT推断时方法：在黑盒条件下通过检测“答案收敛”信号来提前终止CoT生成，避免冗长推理带来的高token成本；相较依赖白盒监控或不稳定提示技巧的方法，该方案强调推断阶段可插拔、无需改模型参数，并以收敛判据实现更可靠的自适应推理长度控制。

• GVGAI-LLM: Evaluating Large Language Model Agents with Infinite Games

  • 赛道归属: LLM智能体评测与基准（游戏环境推理/规划/交互）
  • 核心创新点: 构建GVGAI-LLM无限游戏评测基准：基于GVGAI框架与游戏描述语言（规则+关卡可快速生成），提供多样街机式任务以测试LLM在非传统NLP分布下的推理、规划与问题求解；通过可程序化生成新游戏来降低基准过拟合风险，并支持持续扩展的“无限”评测设置。

• Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models

  • 赛道归属: 多模态大模型训练与OCR增强（多语言文本理解/视觉文本推理）
  • 核心创新点: 提出面向真实场景视觉文本的多语言OCR增强训练框架：结合(1)大规模合成“OCR→翻译/理解”数据生成以覆盖复杂版式与噪声，(2)基于LoRA的OCR-aware监督微调以低成本注入视觉文本能力，(3)结构化的视觉提示与提示引导CoT推理以提升跨语言读图与文本推理的可控性与鲁棒性，系统性缓解MLLM在小字、遮挡、模糊与复杂字体上的失效。

• RLearner-LLM: Balancing Logical Grounding and Fluency in Large Language Models via Hybrid Direct Preference Optimization

  • 赛道归属: 对齐训练 / 偏好优化（DPO改进、逻辑一致性对齐）
  • 核心创新点: 提出Hybrid-DPO的自动化偏好构建与优化框架，用“逻辑正确性信号 + 流畅性偏好信号”的混合偏好来替代单一偏好监督，针对DPO在知识密集生成中被“冗长/流畅偏置”误导的问题进行校正；通过引入基于NLI/逻辑判别器（如DeBERTa类模型）的可验证逻辑一致性评估，与LLM评审/人类偏好形成互补，从而在不牺牲可读性的前提下缩小“逻辑对齐缺口”，提升生成的可证正确性与事实/推理一致性。

• Mechanics of Bias and Reasoning: Interpreting the Impact of Chain-of-Thought Prompting on Gender Bias in LLMs 🆕NEW

  • 赛道归属: 可解释性与偏见机理分析（CoT提示对偏见/推理的影响）
  • 核心创新点:
  • 从“CoT能否降低偏见”的表层结论，推进到对偏见变化是否对应内部推理机制改变的机理层分析：区分“指标变好”与“机制真的变了”。
  • 聚焦CoT提示对性别偏见的作用路径，系统研究CoT如何改变模型生成过程中的推理结构与偏见表达方式，而不仅仅比较任务准确率或单一偏见分数。
  • 强调对CoT作为偏见缓解手段的因果/机制解释视角：评估观察到的偏见下降是否可能来自表述层面的重写、规避策略或评测伪影，从而为更可靠的偏见缓解方法设计提供依据。

GitHub

• [2026-05-22] sgl-project/sglang ⭐28095

• [2026-05-21] NVIDIA-NeMo/NeMo ⭐17244

• [2026-05-22] NVIDIA/TensorRT-LLM ⭐13693

• [2026-05-22] ModelTC/LightLLM ⭐4072 🆕NEW

• [2026-05-21] aimeos/prisma ⭐167 🆕NEW

HuggingFace Models

• froggeric/Qwen-Fixed-Chat-Templates

• Jackrong/Qwopus3.5-9B-Coder-GGUF

HuggingFace Datasets

• [2026-05-01] angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k

  Background
  

Ended up with some tokens to burn on a Claude Max plan. Assembly began during 4.6 and moved to 4.7. Model is tagged. The develop...

• [2026-02-10] Modotte/CodeX-2M-Thinking

  Modotte
  

Note: This dataset is part of the lineup CodeX by Modotte. You can get lots of datasets in this same lineup, with the main ...

• [2026-04-19] Jackrong/GLM-5.1-Reasoning-1M-Cleaned

  GLM-5.1-Reasoning-1M-Cleaned
  

GLM-5.1-Reasoning-1M-Cleaned is a cleaned and reformatted derivative of Kassadin88/GLM-5.1-1000000x. It prese...

多模态大模型

arXiv

• RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding

  • 赛道归属: 多模态理解（事件相机+视觉语言模型/鲁棒场景理解）
  • 核心创新点: 提出首个事件流-图像双流VLM，将事件相机的高时间分辨率与高动态范围信息作为与RGB互补的输入，通过跨模态对齐与融合机制把事件的运动/边缘变化线索注入语言推理，从而显著提升低照度、HDR、快速运动等恶劣条件下的场景理解与描述鲁棒性。

• GeoWorld-VLM: Geometry from World Models for Vision-Language Models

  • 赛道归属: 多模态理解（3D/几何空间关系推理增强、VLM蒸馏）
  • 核心创新点: 提出一种“从世界模型蒸馏几何能力到VLM视觉端”的框架，针对VLM在视觉特征提取阶段丢失3D结构线索导致的空间关系脆弱性，在语言推理开始前就补齐可用于空间判断的几何表征；通过VLM侧蒸馏将世界模型中隐含的几何/结构知识注入视觉编码器，使下游语言模型接收到更保真的空间结构特征，从而提升left/right、behind、between等基础空间关系的鲁棒性与可泛化性。

• A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

  • 赛道归属: 多模态安全（LVLM 对抗攻击 / Prompt Injection）
  • 核心创新点: 提出一种“跨模态”提示注入攻击范式：仅对图像输入施加微小扰动，即可在不改动文本提示的情况下，把攻击指令注入并迁移到模型对另一模态（文本/指令）的解释与执行中，从而突破以往“单模态注入只影响该模态”或“多模态但无法实现跨模态扰动”的限制；方法层面强调通过优化图像扰动来实现对模型跨模态对齐/融合表征的定向操控，使模型在后续语言生成阶段遵循攻击者意图。

• VLM-AutoDrive: Post-Training Vision-Language Models for Safety-Critical Autonomous Driving Events

  • 赛道归属: 多模态理解（自动驾驶视频理解/安全关键事件检测、VLM后训练）
  • 核心创新点: 提出面向安全关键驾驶事件的模块化后训练框架，专门解决通用VLM在驾驶领域的“领域不对齐”和“时间不对齐”（短暂、稀有事件难捕捉）问题；通过可插拔的适配流程在不从头训练的前提下对预训练VLM进行领域与时序能力增强，使其更擅长识别碰撞/近碰等瞬时高风险事件，并提升在真实行车长视频中的可靠性与可部署性。

• Eyes on VLM: Benchmarking Gaze Following and Social Gaze Prediction in Vision Language Models

  • 赛道归属: 多模态理解（人类注视/社会注视预测评测基准）
  • 核心创新点: 构建并系统评测VLM在“注视跟随”与“社会注视预测”上的能力边界，强调该任务需要同时理解几何/物理场景与交互语境；通过基准化任务设定与指标，揭示现有VLM在注视相关推理中的可靠性缺口与典型失败模式，为后续面向注意力与行为理解的训练/对齐提供可复现的评测框架。

• Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment

  • 赛道归属: 多模态安全与隐私（VLM成员推断攻击、黑盒攻击）
  • 核心创新点: 提出单样本、黑盒条件下的VLM成员推断攻击方法，绕开现有方法对内部logits/梯度等灰盒信息的依赖；核心利用“跨模态语义对齐”信号构造可查询的攻击统计量，在仅能访问模型输出的现实API场景中判断某图文样本是否被训练集记忆，从而更贴近真实威胁模型并揭示VLM训练数据泄露风险。

• GRIP-VLM: Group-Relative Importance Pruning for Efficient Vision-Language Models

  • 赛道归属: 多模态模型推理优化 / 视觉Token剪枝与模型压缩
  • 核心创新点: 将VLM视觉token剪枝从常见的连续梯度松弛视角，转向更贴合本质的离散组合优化建模；提出“组相对重要性”的剪枝框架，通过在组内/组间进行相对重要性比较来稳定地选择保留token，缓解连续近似在激进压缩下易陷入次优局部最小的问题，从而在显著降低视觉token计算开销的同时尽量保持多模态性能。

• PPU-Bench:Real World Benchmark for Personalized Partial Unlearning in Vision Language Models

  • 赛道归属: 多模态安全与隐私 / 机器遗忘（VLM个性化部分遗忘评测）
  • 核心创新点: 提出PPU-Bench，一个面向真实世界“个性化部分遗忘”的VLM基准：不依赖合成知识注入、也不做整类/整主体删除，而是覆盖更贴近用户请求的细粒度跨模态事实删除需求；同时强调fine-tuning-free的评测设定，用统一任务与数据规模（约24K多模态样本）系统衡量模型对敏感记忆的可控删除能力与残留风险。

• WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents 🆕NEW

  • 赛道归属: 多模态理解（视觉定位/grounding）与VLM智能体评测基准
  • 核心创新点: 提出同一套专业标注的无人机道路病害数据上“统一双协议”的评测框架：一方面用固定VLM在“单图+短提示”条件下做领域病害的直接视觉定位（统一提示、解码与解析流程，使用按类别的 AP@50 作为核心指标），另一方面在相同图像与同一指标体系下评测LLM驱动的自主研究/工程型智能体，从而把“模型定位能力”和“智能体端到端解决问题能力”在可对齐的设置中耦合比较，降低评测口径不一致带来的偏差，突出野外航拍场景的真实分布与领域特异性。

• GROW: Aligning GRPO with State-Action Modeling for Open-World VLM Agents 🆕NEW

  • 赛道归属: 多模态智能体强化学习（开放世界VLM Agent，多轮感知-行动对齐/推理优化）
  • 核心创新点: 针对GRPO在开放世界、多轮“看-想-做”任务中难以直接落地的问题，提出将GRPO与显式的“状态-动作建模”对齐：把多轮交互中的视觉观测与历史上下文抽象为可学习的状态表示，并将可执行操作结构化为动作空间，使策略优化不再仅依赖SFT示范，而能在多步决策链条上进行稳定的相对优势更新与信用分配；从方法论上推动GRPO适配多模态智能体的序列决策训练范式，提升开放世界任务中的泛化与交互鲁棒性。

GitHub

• [2026-05-22] Blaizzy/mlx-vlm ⭐4756

• [2026-05-21] waybarrios/vllm-mlx ⭐1230

• [2026-05-21] XPixelGroup/DepictQA ⭐221 🆕NEW

• [2026-05-18] mala-lab/Awesome-Anomaly-Detection-Foundation-Models ⭐189

• [2026-05-21] opendatalab/mineru-vl-utils ⭐124

HuggingFace Models

• NemoStation/Marlin-2B

强化学习

arXiv

• ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders

  • 赛道归属: 强化学习基准与仿真环境（MuJoCo连续控制/游戏风格NPC运动控制）
  • 核心创新点: 提出ARC-RL作为面向“游戏NPC风格约束”的连续控制基准套件：在MuJoCo中构建4个受游戏生物图鉴启发的非真实机器人形态环境，刻意脱离传统仿真到真实常见的商业硬件形态假设，从而把研究焦点从“真实可落地的腿式机器人”扩展到“无现实对应形态但有强风格/表现约束的角色运动”。其方法论价值在于用系统化的形态多样性与任务设定，推动奖励设计、控制策略与泛化能力在“非工程硬件先验”下的评测与对比。

• MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning

  • 赛道归属: 自动驾驶强化学习（多模态感知-控制融合、可解释决策）
  • 核心创新点: 提出以“3D可供性”作为感知与控制之间的中间表征，用多模态Transformer从RGB等输入预测结构化、可解释的3D可供性，再由强化学习在该表征空间上进行策略学习；相较端到端直接回归动作，减少感知-控制脆弱接口带来的误差传播，同时提升在城市密集交互场景下的鲁棒性与可解释性。

• LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

  • 赛道归属: LLM后训练对齐 / 连续潜空间强化学习 / 推理增强
  • 核心创新点: 将RL的优化空间从离散token序列迁移到连续潜变量中的“推理轨迹”层面，用潜空间策略探索更语义化、全局性的决策，从而缓解token级优化导致的推理结构错配；引入基于潜扩散推理的训练机制以稳定探索分布，重点解决连续潜空间RL中常见的熵塌缩问题，使策略在高层推理表征上保持多样性与可探索性。

• ClaimDiff-RL: Fine-Grained Caption Reinforcement Learning through Visual Claim Comparison 🆕NEW

  • 赛道归属: 多模态理解（图像长文本描述对齐 / 细粒度奖励建模的强化学习）
  • 核心创新点: 提出以“视觉主张”为单位的细粒度强化学习框架：不再用整段caption的单一标量奖励，而是将描述拆解为可对齐到图像证据的原子主张，并通过“主张级视觉对比/验证”来产生更密集、更可归因的训练信号；从而显式区分并优化“事实性（减少幻觉）”与“信息覆盖（不遗漏细节）”之间的权衡，缓解长文本caption中序列级奖励过度压缩导致的信用分配与训练不稳定问题。

• FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning 🆕NEW

  • 赛道归属: 推理对齐（大模型RLHF/RLVR训练算法优化：在线采样-更新闭环）
  • 核心创新点: 提出“反馈驱动的双目标协同强化学习”训练范式：针对GRPO类方法中“采样阶段产生的高质量rollout决定了更新方向但梯度目标并不显式”的痛点，引入由反馈信号驱动的双目标优化机制，将（1）提升rollout质量/可用性与（2）稳定有效的策略更新方向联合建模，并通过协同约束/耦合更新减少采样噪声与梯度方向漂移；本质上是在rollout生成与参数更新之间建立更强的闭环，使训练更稳、更高效地对齐推理能力。

• CayleyPy RL: Pathfinding and Reinforcement Learning on Cayley Graphs

  • 赛道归属: 超大规模图路径规划 / 图强化学习 / 群论结构图搜索
  • 核心创新点: 面向极大规模（可达$10^{70}$节点）Cayley图的路径规划，将强化学习与更直接的扩散距离方法进行组合：用扩散距离提供结构化的几何/谱信息以引导搜索，用RL学习在该结构先验下的策略，从而在传统RL难以覆盖的巨大状态空间中提升可达性与样本效率；并以开源CayleyPy作为可复现实验与基准平台，系统评测该混合范式在数学结构图上的性能。

• GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

  • 赛道归属: 大语言模型后训练、开放式环境泛化强化学习
  • 核心创新点: 提出GRLO，面向“从零开始”的开放式环境RL后训练，目标是在无特定领域人类偏好数据的前提下获得可迁移、可泛化的策略更新范式；方法上强调在开放式任务分布中构建更通用的奖励/验证驱动训练流程，以缓解RLHF对目标域偏好信号的依赖，并提升跨环境的泛化能力。

• A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

  • 赛道归属: 大语言模型对齐 / 偏好强化学习优化
  • 核心创新点: 提出一个以 Pair-GRPO 为核心的统一偏好优化理论框架，将主流成对偏好学习中“隐式约束”的做法系统化为一族方法，并给出两种紧耦合变体：Soft-Pair-GRPO（以软方式施加偏好约束）与 Hard-Pair-GRPO（以显式/硬约束形式刻画偏好约束）。该框架旨在从方法层面同时缓解 RLHF 中常见的策略更新不稳定、梯度方向不明确、可解释性差与梯度方差高等问题：通过把偏好信号转化为可控、可解释的约束形式，统一了从隐式到显式约束的优化路径，从而提升训练稳定性与泛化对齐效果。

• Reinforcement Learning for LLM Post-Training: A Survey

  • 赛道归属: LLM后训练综述 / RLHF与RLVR方法体系化梳理 / 对齐与推理能力提升
  • 核心创新点: 对LLM后训练中的RL范式进行系统化归纳与对比：覆盖偏好优化（如DPO等）与可验证奖励驱动的在线RL（如PPO、GRPO等）两大路线，梳理其目标函数、训练流程、数据与奖励来源、稳定性与可扩展性差异；总结在安全对齐、数学/代码推理等任务上的适用边界与常见失败模式，并提炼未来研究方向（如奖励建模、验证器设计、在线探索与离线偏好学习的融合等）。

• How Much Online RL is Enough? Informative Rollouts for Offline Preference Optimization in RLVR 🆕NEW

  • 赛道归属: 推理优化（RLVR的离线偏好优化 / 在线-离线混合训练与数据效率）
  • 核心创新点: 研究“需要多少在线RL”这一数据与算力权衡问题，提出用少量但信息量更高的在线rollout来支撑离线偏好优化：在RLVR场景下，不再依赖持续在线生成（如GRPO），而是设计/筛选“信息性rollouts”构建更有效的离线偏好数据集，使DPO类离线方法在更低在线成本下逼近在线RL性能；核心突破在于将在线阶段从“规模驱动”转为“信息驱动”，系统化地提升离线训练的可迁移性与样本效率。

GitHub

• [2026-05-21] huggingface/trl ⭐18429

• [2026-05-21] OpenPipe/ART ⭐9646

• [2026-05-21] PufferAI/PufferLib ⭐5706

• [2026-05-22] radixark/miles ⭐1380

• [2026-05-21] vmohl/JaxMARL-HFT ⭐56 🆕NEW

HuggingFace Datasets

• [2026-05-19] PsiBotAI/SynData

  SynData
  

中文说明

    Demo

If the video cannot be displayed in your environment, open it directly: assets/syndata-demo.mp4

    ...

• [2026-05-13] TuringEnterprises/Open-MM-RL

  Dataset Summary
  

Open-MM-RL is a multimodal STEM reasoning dataset covering Physics, Mathematics, Biology, and Chemistry. It is designed for...

• [2026-05-14] AlienKevin/SWE-ZERO-12M-trajectories

  SWE-ZERO 12M Trajectories
  

The largest agentic-coding trace dataset to date: 112 B tokens of execution-free agentic trajectories covering 12...

• [2026-05-08] Qwen/WebWorldData

  WebWorldData 🌐
  
  Overview
  

WebWorldData is a large-scale dataset of 1.06M web interaction trajectories collect...

世界动作模型

arXiv

• WorldVLN: Autoregressive World Action Model for Aerial Vision-Language Navigation

  • 赛道归属: 视觉-语言导航 / 世界动作模型 / 自回归策略建模
  • 核心创新点: 提出面向航拍VLN的首个自回归世界动作模型，将任务从“直接学策略”重构为“预测驱动的世界-动作联合建模”：在闭环导航中显式预测潜在世界状态的演化及动作后果，并以自回归方式逐步生成后续决策，从而避免依赖全序列视频生成式世界模型的高成本与冗余建模，强化对长时序指令跟随与环境动态的可控推演能力。

• World Action Models: The Next Frontier in Embodied AI

  • 赛道归属: 具身智能 / 视觉-语言-动作+ 世界模型融合的策略学习（World Action Model范式）
  • 核心创新点: 中文：提出并系统化“世界动作模型”这一新范式：将环境动力学的显式预测（世界模型）纳入动作生成/策略学习管线，突破传统VLA仅做“观测→动作”的反应式映射，转向“可干预的未来演化建模 + 基于预测的动作决策”的统一框架，从而为具身基础模型提供更强的可规划性、可推演性与对物理演化的建模能力。

• When to Trust Imagination: Adaptive Action Execution for World Action Models

  • 赛道归属: 机器人操控（World Action Model / 视觉-动作联合预测）与闭环控制策略（自适应动作执行）
  • 核心创新点: 将WAM的“固定步长开环执行”问题重构为未来-现实一致性验证：在执行过程中持续对比模型想象的未来观测与真实环境rollout的一致性，并据此自适应决定每次推理后应连续执行的动作步数（何时继续信任想象、何时提前中止并重新推理）。该方法在不改变WAM本体预测机制的前提下，引入面向执行阶段的验证与决策模块，实现从开环到更稳健的闭环执行，降低因预测漂移导致的失配与失败风险。

• The DAWN of World-Action Interactive Models

  • 赛道归属: 自动驾驶 / 世界模型驱动的交互式规划与动作生成
  • 核心创新点: 中文：提出“世界-动作交互模型”以刻画世界预测与动作选择的互依关系，指出现有WAM常见的并行分支或“先预测再规划”的刚性流水线难以体现“动作影响场景演化、场景演化反过来约束动作”的闭环耦合；并在自动驾驶中实例化为DAWN，通过在生成过程中联合/交替地对动作与世界演化进行一致性建模（以去噪式生成视角实现动作与未来场景的协同推断），实现更符合交互逻辑的场景-动作联合生成与规划。

GitHub

• [2026-05-18] DravenALG/awesome-vla-wam ⭐451

• [2026-05-21] OpenMOSS/Awesome-WAM ⭐426

---

由 Research Daily 自动生成 生成时间: 2026-05-22 01:01:22