AI 每日进展速报 - 2026-05-26

查找

重置

新旧

全部 仅 NEW

正在统计...

来源

全部来源 arXiv GitHub HuggingFace

图像生成/编辑

arXiv

• MaskAttn-SDXL: Controllable Region-Level Text-To-Image Generation

  • 赛道归属: 文生图（区域级可控生成 / 组合式生成）
  • 核心创新点: 在SDXL的U-Net扩散框架中引入“Mask Attention”式的区域级注意力控制机制，用显式区域/掩码约束将文本条件与空间区域绑定，从而提升多目标场景下的全局协调与属性不串扰（减少对象间属性混淆），在保持U-Net高效性的同时增强跨区域的可控组合生成能力。

• PixelPonder: Dynamic Patch Adaptation for Enhanced Multi-Conditional Text-to-Image Generation 🆕NEW

  • 赛道归属: 多条件文生图（扩散模型可控生成 / ControlNet增强）
  • 核心创新点: 提出一种“动态Patch自适应”的多条件融合机制，在扩散去噪过程中按空间区域动态分配与调整不同控制信号的影响权重/注入方式，替代传统ControlNet为每种条件建立独立分支的静态融合范式；通过缓解多源异构条件之间的指导冲突，实现更强的组合式条件遵循（结构与语义同时对齐）并减少结构扭曲，在保持高画质的同时提升多条件一致性与可控性。

• Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation

  • 赛道归属: 文生图（强化学习对齐 / 训练策略与采样优化）
  • 核心创新点: 面向基于GRPO的T2I强化学习训练，提出“课程式组策略优化”自适应采样：根据模型当前能力动态调整样本难度分布，避免统一采样带来的难度失配与低效更新，从而以更高样本效率释放RL在文生图对齐/偏好优化中的收益。

• CogBlender: Towards Continuous Cognitive Intervention in Text-to-Image Generation

  • 赛道归属: 文生图（审美/心理属性可控生成 / 连续属性编辑）
  • 核心创新点: 将“认知属性”（如情绪效价、可记忆性等）作为可控维度引入T2I生成，提出支持连续干预的CogBlender：在不只对齐语义的前提下，提供可连续调节的控制接口/机制，使生成结果能按用户心理意图在认知指标上平滑可控，而非仅靠离散风格词或后验筛选。

• Unifying Contrastive and Generative Objectives for Visual Understanding and Text-to-Image Generation

  • 赛道归属: 多模态统一建模（视觉理解 + 文生图的对比-生成统一训练）
  • 核心创新点: 提出DREAM统一框架，将图文对比学习与掩码生成式建模端到端融合；关键在于“Masking Warmup”掩码课程调度，逐步移动掩码比例分布中心，使低掩码（利于对比对齐）与高掩码（利于生成建模）在同一训练过程中兼容，从而缓解两类目标对“可见token比例”相互冲突的问题。

• TextBoost: Boosting Text Encoder for Personalized Text-to-Image Generation

  • 赛道归属: 个性化文生图（Text-to-Image Personalization / Diffusion 微调）
  • 核心创新点: 提出一-shot 个性化方案，仅选择性微调文本编码器而非扩散模型主体/UNet，从而显著降低存储开销与训练成本并加快收敛；为避免个性化导致的语义漂移，引入“因果性保持” 机制/约束，在注入新概念表征的同时尽量维持原有文本语义结构与可组合性，实现更稳健的个性化生成与更好的泛化。

• PixVerve: Advancing Native UHR Image Generation to 100MP with a Large-Scale High-Quality Dataset

  • 赛道归属: 超高分辨率文生图（Ultra-High-Resolution T2I / 原生 UHR 生成）
  • 核心创新点: 面向原生超高分辨率（最高 100MP）生成的关键瓶颈（数据稀缺与内容复杂），构建并开源大规模高质量 UHR 数据集 PixVerve-95K，通过系统化的数据筛选/清洗与质量控制提升训练信号密度；以数据为核心驱动推进“原生 UHR”生成能力（而非仅依赖后处理放大），为训练与评测超高像素级 T2I 模型提供可复用的数据基础与基准。

• Generation Navigator: A State-Aware Agentic Framework for Image Generation

  • 赛道归属: 文生图（智能体生成 / 闭环生成控制与自动提示优化）
  • 核心创新点: 将图像生成重构为“状态条件动作决策”问题，提出Generation Navigator多轮智能体框架：不再依赖手工规则或单次prompt改写，而是基于生成过程的状态反馈学习选择下一步动作（如改写提示、调整条件/参数等），实现对生成轨迹的自适应闭环导航，减少人工试错成本并提升意图达成率。

• RSEdit: Text-Guided Image Editing for Remote Sensing

  • 赛道归属: 图像编辑（遥感领域 / 文本指令编辑）
  • 核心创新点: 面向遥感图像提出RSEdit体系化方案：从U-Net到DiT构建一组可复现的文本引导编辑模型，并首次对“由现成文生图模型改造为编辑模型”的条件注入/conditioning策略进行全面对比研究；在提升指令遵循度的同时强调地理空间结构保持（道路/地物布局等），解决遥感编辑中“改得对且不破坏地理一致性”的关键矛盾。

• VINS-120K: Ultra High-Resolution Image Editing with A Large-Scale Dataset 🆕NEW

  • 赛道归属: 指令驱动图像编辑（超高分辨率 / 数据集与基准）
  • 核心创新点: 构建首个大规模指令式超高分辨率图像编辑数据集VINS-120K，提供12万组“编辑指令-输入图-编辑后图”三元组，分辨率统一达到4K及以上；通过多阶段严格筛选/清洗流程保证编辑对齐质量与高频纹理细节可信度，从数据层面系统性解决UHR编辑缺少高质量监督与难以学习细粒度纹理的问题，为训练与评测面向4K+编辑的模型提供可复用的数据基础与标准化基准。

GitHub

• [2026-05-26] YouMind-OpenLab/awesome-nano-banana-pro-prompts ⭐12195

• [2026-05-26] Light-Heart-Labs/DreamServer ⭐1777

• [2026-05-25] vibheksoni/free-ai ⭐495

• [2026-05-26] Azornes/Comfyui-Resolution-Master ⭐266

• [2026-05-25] Itz-Murali/Chiku ⭐94 🆕NEW

视频生成/编辑

arXiv

• MAVEN A Multi-Agent Framework for Multicultural Text-to-Video Generation

  • 赛道归属: 视频生成（文生视频 / 多智能体提示工程）
  • 核心创新点: 提出多智能体提示精炼框架 MAVEN，面向“多文化/跨文化”文生视频的文化保真度问题，将文本提示分解为人物、动作、地点等可控维度，并由专门代理并行/串行协作改写与补全文化关键信息；通过结构化分解降低单一提示对文化细节的丢失与歧义，提升同文化与跨文化场景下生成内容的文化一致性与可评测性。

• World-R1: Reinforcing 3D Constraints for Text-to-Video Generation 🆕NEW

  • 赛道归属: 文生视频 / 3D一致性对齐（强化学习）
  • 核心创新点: 通过强化学习而非结构改造来注入3D约束：将“几何一致性/世界约束”显式构造成奖励信号，对视频生成模型进行对齐优化，从而在不显著增加推理开销、保持可扩展性的前提下缓解几何不一致问题；同时构建面向“世界模拟”的纯文本数据集，用于更系统地覆盖可被3D约束检验的描述分布，提升对齐训练的有效性与泛化。

• Geo-Align: Video Generation Alignment via Metric Geometry Reward 🆕NEW

  • 赛道归属: 可控视频生成（相机/视角控制）/ 对齐学习（几何度量奖励）
  • 核心创新点: 用“度量几何”构造奖励来做视频生成对齐：针对真实世界多视角同步数据稀缺、SFT依赖合成数据导致OOD泛化差的问题，将物理尺度与相机运动一致性转化为可优化的几何度量奖励信号，推动模型在缺少成对监督的情况下更好遵循相机轨迹与尺度约束，从而提升对真实视频重渲染/相机可控生成的鲁棒性。

• EM-Vid: Training-Free Entity-Centric Memory for Efficient and Consistent Multi-Shot Video Generation 🆕NEW

  • 赛道归属: 多镜头视频生成 / 一致性与效率优化（训练免）
  • 核心创新点: 提出训练免的“实体中心记忆”替代全帧记忆：将跨镜头需要保持一致的主体信息解耦为“实体索引的潜变量patch库”，避免把短时场景上下文一并写入记忆导致的信息泄漏；在生成时按实体检索与复用对应latent patch，实现跨镜头主体外观一致性，同时显著降低存储与计算开销，提升多镜头长程生成的效率与稳定性。

• One-Forcing: Towards Stable One-Step Autoregressive Video Generation 🆕NEW

  • 赛道归属: 自回归视频生成 / 一步采样加速与稳定性
  • 核心创新点: 面向“一步自回归生成”的稳定训练/推断范式：针对少步AR模型在进一步降步（尤其1步）时质量崩塌的问题，提出One-Forcing以缓解训练-推断轨迹不匹配与误差累积，使模型在极少步甚至单步生成时仍能保持稳定的时序一致性与画质，从而显著降低交互式部署延迟。

• DFSAttn: Dynamic Fine-grained Sparse Attention for Efficient Video Generation 🆕NEW

  • 赛道归属: 视频生成推理优化（Diffusion Transformer加速）/ 稀疏注意力
  • 核心创新点: 提出动态细粒度稀疏注意力DFSAttn以匹配DiT注意力的“动态+细粒度”稀疏模式：不同于固定块稀疏在视频DiT中因稀疏形态变化而显著掉点，DFSAttn在时空维度上自适应选择更细粒度的关键连接并动态更新稀疏结构，在保持生成质量的同时降低3D全注意力的二次复杂度开销，实现更高效的视频扩散Transformer。

• CoMoGen: COntrollable MOtion Dynamics and Interactions with Mask-Guided Video GENeration 🆕NEW

  • 赛道归属: 可控视频生成（Mask引导的运动/交互）/ 图像到视频
  • 核心创新点: 从“单张输入图像 + 二值mask序列”生成可控交互运动：提出轻量MaskAdapter将二值mask序列编码为latent残差信号，并通过余弦加权的注入日程融合进MMDiT，实现对运动动力学与交互的精细控制；利用MMDiT统一Transformer序列建模的特性，避免UNet式层级粗到细控制带来的耦合与限制，在保持轻量改动的同时增强可控性与动态真实性。

• MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation

  • 赛道归属: 视频生成评测（多镜头音视频生成/编辑评测）
  • 核心创新点: 提出面向“多镜头音视频叙事”的综合评测基准与自适应混合评测框架，针对现有评测在数据多样性不足、任务覆盖窄、流程僵化导致难以稳定比较前沿MSAV模型的问题，强调以更丰富的多镜头场景与更灵活的评测管线实现系统化、可复现、可扩展的可靠评估。

• CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition

  • 赛道归属: 可控视频生成（推理驱动/意图理解的条件控制）
  • 核心创新点: 提出“创作意图认知”驱动的可控视频生成框架，将生成控制从单纯条件注入或在扩散骨干中生硬耦合通用VLM，提升为“先推理理解意图、再执行生成控制”的范式；重点解决抽象/稀疏/复杂条件（如分镜草图、泥模/灰模等制作级条件）下的脆弱性，通过显式推理链路把专业制作输入转化为可执行的控制信号，从而提高与创作意图的一致性与可用性。

• PhyWorld: Physics-Faithful World Model for Video Generation

  • 赛道归属: 物理一致性视频生成（世界模型/物理约束视频续写）
  • 核心创新点: 面向将大规模视频生成模型用作世界模拟器的需求，提出强调“物理忠实”的视频世界模型：生成的未来视频不仅要逼真，还需保持输入条件所隐含的物理状态（如物体位置、速度、接触关系等）并遵循基础物理规律演化。其方法论突破在于把“物理状态保持 + 物理规律一致的时间演化”作为核心生成目标来建模与评测，从而提升视频续写在物理AI训练场景中的可用性与可靠性。

GitHub

• [2026-05-25] Anil-matcha/Open-Generative-AI ⭐16928

• [2026-05-26] hao-ai-lab/FastVideo ⭐3512

• [2026-05-25] ZeroLu/awesome-seedance ⭐1806

• [2026-05-25] YouMind-OpenLab/awesome-seedance-2-prompts ⭐1188

• [2026-05-25] heygen-com/heygen-cli ⭐51

HuggingFace Models

• meituan-longcat/LongCat-Video-Avatar-1.5

• SulphurAI/Sulphur-2-base

音频生成

arXiv

• TED-TTS: Training-Free Intra-Utterance Emotion and Duration Control for Text-to-Speech Synthesis

  • 赛道归属: 文本转语音 / 可控语音合成（零样本、细粒度韵律与情感控制）
  • 核心创新点: 提出一种“免训练”的可控框架，直接作用于预训练零样本TTS，实现句内级别的情感与时长控制；通过分段感知的情感条件注入将情感控制从整句提升到片段级，避免依赖私有情感数据或多阶段再训练；同时将时长/节奏控制与情感表达解耦到可操作的句内控制接口，使同一句话内部可实现不同情绪与语速/停连的组合表达。

• SemaVoice: Semantic-Aware Continuous Autoregressive Speech Synthesis

  • 赛道归属: 文本转语音 / 连续表示自回归语音生成
  • 核心创新点: 针对连续自回归TTS中“语义-韵律建模”与“重建驱动的连续声学表示”之间的根本错配，提出语义感知的连续自回归合成框架；核心在于强化高层语义一致性与可控韵律的建模优先级，抑制模型过度追逐低层纹理细节导致的自回归误差累积；通过在生成过程中显式引入语义约束/对齐机制，使连续表示既能保持高保真重建，又能提升长程语义连贯与表达稳定性。

• Natural Yet Challenging to Detect: Robust In-the-Wild TTS through EMA and Dual-Scoring Prompt Selection -- Submission for WildSpoof 2026 TTS Track 🆕NEW

  • 赛道归属: 文本到语音 / 语音反欺骗鲁棒生成
  • 核心创新点: 在F5-TTS架构上提出F5-TTS-DPS，将EMA（指数滑动平均）引入监督微调以稳定训练轨迹、降低野外数据分布噪声带来的过拟合，从而提升跨场景泛化与鲁棒性；同时提出双评分提示词/参考音频选择，利用LLM与音频大模型对候选参考/提示进行双路质量评估与过滤，在不改动主干生成机制的前提下提高合成保真度与自然度，并面向“更自然且更难检测”的对抗性目标优化生成质量。

• Raon-OpenTTS: Open Models and Data for Robust Text-to-Speech

  • 赛道归属: 文本到语音/开源数据与可复现训练
  • 核心创新点: 提出“模型+数据”一体化的开源TTS方案：一方面发布可与闭源数据SOTA竞争的Raon-OpenTTS模型；另一方面构建超大规模可复现训练数据池Raon-OpenTTS-Pool（由公开英文语音聚合而成，规模达数十万小时级），系统性验证“大规模开放数据”在提升TTS鲁棒性与质量中的关键作用，并降低TTS研究对私有数据的依赖、提升可复现实验基线的可获得性。

• AgentSteerTTS: A Multi-Agent Closed-Loop Framework for Composite-Instruction Text-to-Speech

  • 赛道归属: 文本转语音 / 指令可控语音合成（复合指令、Agent框架、闭环控制）
  • 核心创新点: 提出多智能体闭环框架，将“离散文本意图”到“连续声学实现”的结构性鸿沟拆解为可协作的子任务；通过对抗式解耦智能体降低说话人特征、内容与风格控制之间的纠缠，提升复合指令（如情绪+语速+强调+停顿等）的可组合性与可控性；引入闭环评估/反馈机制（由智能体对生成语音的意图一致性进行判别并迭代修正），实现更“意图忠实”的表达控制，而非一次性前向生成。

• Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models

  • 赛道归属: 情感可控文本转语音 / 自回归语音生成的控制与引导优化
  • 核心创新点: 提出跨模态一致性引导的Classifier-Free Guidance，针对“文本语义隐含情绪”与“显式目标情绪指令”冲突时导致的表现力与音质退化问题，引入基于不一致程度的动态引导尺度，按冲突强弱自适应调节情绪控制强度以提升鲁棒性；同时将CFG中的dropout无条件分支替换为“文本情绪”条件，使引导信号显式对齐文本侧情绪信息，从而在保持语音自然度/质量的同时增强情绪可控性；并通过蒸馏将CCG-CFG的推理期引导收益压缩进单模型（减少推理开销），实现更高效的情绪控制生成。

• StepAudio 2.5 Technical Report 🆕NEW

  • 赛道归属: 统一音频-语言基础模型 / 语音多任务（ASR+TTS+实时语音交互）
  • 核心创新点: 提出StepAudio 2.5作为统一的音频-语言建模框架，目标是在单一基础模型内同时覆盖ASR、TTS与实时口语交互，并缩小“统一模型 vs 专用系统”在能力深度上的差距；其方法论突破在于将LLM级推理能力系统性引入听觉任务的统一建模与交互闭环（理解-推理-生成-对话），以统一表示与训练范式支撑跨任务迁移与端到端口语交互能力，而非为每个子任务分别堆叠独立模块。

• Instrumental Text-to-Music Generation with Auxiliary Conditioning Branches

  • 赛道归属: 文本到音乐生成/扩散模型条件控制
  • 核心创新点: 在受控数据与受控预训练的设定下，基于Diffusion Transformer骨干提出“辅助条件分支”的条件注入框架：将文本语义之外的属性（如音色/风格等）通过独立分支进行建模与融合，并针对“纯器乐”生成场景改造原有含歌词/音色条件的设计，从而在不依赖额外大规模外部预训练的情况下，提升文本到器乐音乐生成的可控性与生成质量，并更清晰地归因哪些结构设计在数据受限时仍有效。

• Musical Attention Transformer: Music Generation Using a Music-Specific Attention Model

  • 赛道归属: 音乐生成/Transformer注意力机制改造（结构化元信息建模）
  • 核心创新点: 提出面向音乐的专用注意力机制“Musical Attention”，将小节编号、调性/拍号等结构化元信息显式融入注意力计算与序列建模过程，以增强Transformer对音乐层级结构与长程依赖的刻画能力；通过把“乐理结构信号”作为注意力的先验/引导，缓解生成中常见的重复、音符复制与旋律不自然等问题，从机制层面提升音乐生成的结构一致性与可听性。

• WavFlow: Audio Generation in Waveform Space

  • 赛道归属: 音频生成 / 波形域生成（非潜空间压缩、扩散/流模型方向）
  • 核心创新点: 反其道而行之，提出直接在原始波形空间生成高保真音频的框架，避免潜空间压缩带来的信息损失与系统复杂度；通过waveform patchify将一维波形重排为二维token网格，降低超高维序列建模难度并提升并行建模效率；提出amplitude lifting等信号能量重标定策略，缓解波形“低能量/高动态范围”导致的训练与生成不稳定，使流式/生成模型能在波形域实现可用的密度建模与高质量合成。

GitHub

• [2026-05-25] huggingface/diffusers ⭐33697

• [2026-05-25] denizsafak/abogen ⭐4578 🆕NEW

• [2026-05-20] Stability-AI/stable-audio-tools ⭐3738

• [2026-05-20] Ameobea/web-synth ⭐554

• [2026-05-24] apocas/restai ⭐505

HuggingFace Models

• Supertone/supertonic-3

HuggingFace Spaces

• Supertone/supertonic-3

语言大模型

arXiv

• EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models

  • 赛道归属: 对齐评测（道德/价值观对齐、LLM-as-Judge评估）
  • 核心创新点:
  • 提出一个可解释的链式思维评测框架EvalMORAAL，将道德对齐评估从“黑箱打分”推进到“可追溯推理+量化评分”的透明流程。
  • 设计双评分通道：基于模型输出的log-probabilities与直接主观评分并行，降低单一指标偏置并增强稳健性。
  • 引入LLM-as-Judge 的同侪评审机制，用于对模型推理与结论进行二次审阅，提升评测一致性与可审计性。
  • 将评测基准落到跨文化大规模社会调查数据（WVS/PEW，多国家多议题），把“道德对齐”具体化为与真实人群价值分布的相关性度量（如Pearson相关），形成更具外部效度的对齐评估范式。

• ACIL: Auto Chain of Thoughts for In-Context Learning

  • 赛道归属: 提示学习与推理增强（In-Context Learning / Chain-of-Thought 自动化）
  • 核心创新点: 提出一种面向ICL的“自动链式思维”构造机制：不再只提供输入-输出示例，而是自动为示例补全/生成可复用的多步推理轨迹，并将其组织成更适配目标任务的演示模板，从而在不更新参数的前提下显式注入推理过程，提升ICL在多步推理任务上的稳定性与泛化能力。

• Can Large Language Models Imitate Human Speech for Clinical Assessment? LLM-Driven Data Augmentation for Cognitive Score Prediction

  • 赛道归属: 医疗语音理解与临床评估（LLM数据增强/认知评分预测）
  • 核心创新点: 利用“同一临床提示下的书面回答”作为语义锚点，构建LLM驱动的数据增强框架，将文本层面的语义约束注入到自发口语叙事的生成/改写中，以缓解小样本与类别不均衡问题；通过语义锚定的增强样本提升从语音/转写到认知量表分数的回归/预测鲁棒性与泛化能力。

• Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective

  • 赛道归属: 大模型学习机制与归纳偏置分析（Fine-tuning vs In-Context Learning，对比评测方法学）
  • 核心创新点: 从形式语言学习视角构建可控、边界精确的任务体系，用严格定义的语言类别与可控字符串分布来统一对比FT与ICL：通过消除以往实验设置不一致带来的混淆，系统刻画两种学习模式在样本效率、泛化边界与归纳偏置上的差异，为“FT与ICL到底学到什么、偏好什么结构”提供可复现实证框架。

• Early Stopping Chain-of-thoughts in Large Language Models

  • 赛道归属: 推理优化与高效推断（Chain-of-Thought 早停/自适应计算）
  • 核心创新点: 提出ES-CoT推断时方法：在黑盒条件下通过检测“答案收敛”信号来提前终止CoT生成，避免冗长推理带来的高token成本；相较依赖白盒监控或不稳定提示技巧的方法，该方案强调推断阶段可插拔、无需改模型参数，并以收敛判据实现更可靠的自适应推理长度控制。

• GVGAI-LLM: Evaluating Large Language Model Agents with Infinite Games

  • 赛道归属: LLM智能体评测与基准（游戏环境推理/规划/交互）
  • 核心创新点: 构建GVGAI-LLM无限游戏评测基准：基于GVGAI框架与游戏描述语言（规则+关卡可快速生成），提供多样街机式任务以测试LLM在非传统NLP分布下的推理、规划与问题求解；通过可程序化生成新游戏来降低基准过拟合风险，并支持持续扩展的“无限”评测设置。

• Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models

  • 赛道归属: 多模态大模型训练与OCR增强（多语言文本理解/视觉文本推理）
  • 核心创新点: 提出面向真实场景视觉文本的多语言OCR增强训练框架：结合(1)大规模合成“OCR→翻译/理解”数据生成以覆盖复杂版式与噪声，(2)基于LoRA的OCR-aware监督微调以低成本注入视觉文本能力，(3)结构化的视觉提示与提示引导CoT推理以提升跨语言读图与文本推理的可控性与鲁棒性，系统性缓解MLLM在小字、遮挡、模糊与复杂字体上的失效。

• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning 🆕NEW

  • 赛道归属: 图基础模型 / 图领域 In-Context Learning/ 跨图泛化
  • 核心创新点: 提出一种不依赖LLM、无需微调的图基础模型框架，用于在极端异构图场景下实现类ICL的快速适配与跨图泛化。其方法论突破在于：针对不同图之间特征空间、标签集合与拓扑结构不一致带来的“任务/空间不对齐”问题，通过构建与具体图域无关的统一表示与对齐机制，使模型能够在不进行参数更新的前提下，仅依靠上下文示例完成对新图/新任务的推断与迁移，从而绕开现有GFM依赖文本化/LLM中介或需要额外调参的限制。

• Mechanics of Bias and Reasoning: Interpreting the Impact of Chain-of-Thought Prompting on Gender Bias in LLMs

  • 赛道归属: 可解释性与偏见机理分析（CoT提示对偏见/推理的影响）
  • 核心创新点:
  • 从“CoT能否降低偏见”的表层结论，推进到对偏见变化是否对应内部推理机制改变的机理层分析：区分“指标变好”与“机制真的变了”。
  • 聚焦CoT提示对性别偏见的作用路径，系统研究CoT如何改变模型生成过程中的推理结构与偏见表达方式，而不仅仅比较任务准确率或单一偏见分数。
  • 强调对CoT作为偏见缓解手段的因果/机制解释视角：评估观察到的偏见下降是否可能来自表述层面的重写、规避策略或评测伪影，从而为更可靠的偏见缓解方法设计提供依据。

• Backtracking When It Strays: Mitigating Dual Exposure Biases in LLM Reasoning Distillation

  • 赛道归属: 推理蒸馏与对齐（LLM Reasoning Distillation / CoT蒸馏）
  • 核心创新点: 针对推理蒸馏中的“双重曝光偏差”（训练时只看教师的“金轨迹”导致的 off-policy 偏差，以及学生自由生成时的 on-policy 分布漂移），提出带“回溯/纠偏”机制的蒸馏范式：在学生推理轨迹偏离教师有效路径时，显式检测并回退到更可靠的中间状态/分支，再继续生成与学习，从而在保留教师高质量推理监督的同时，让学生在更接近自身生成分布的轨迹上获得稳定训练信号，降低长CoT蒸馏的错误累积与泛化退化。

GitHub

• [2026-05-26] sgl-project/sglang ⭐28245

• [2026-05-25] NVIDIA-NeMo/NeMo ⭐17255

• [2026-05-26] thu-pacman/chitu ⭐3129 🆕NEW

• [2026-05-26] UKGovernmentBEIS/inspect_ai ⭐2126

• [2026-05-26] Azure/GPT-RAG ⭐1151 🆕NEW

HuggingFace Models

• Jackrong/Qwopus3.6-27B-v2-GGUF

HuggingFace Datasets

• [2026-05-01] angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k

  Background
  

Ended up with some tokens to burn on a Claude Max plan. Assembly began during 4.6 and moved to 4.7. Model is tagged. The develop...

多模态大模型

arXiv

• RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding

  • 赛道归属: 多模态理解（事件相机+视觉语言模型/鲁棒场景理解）
  • 核心创新点: 提出首个事件流-图像双流VLM，将事件相机的高时间分辨率与高动态范围信息作为与RGB互补的输入，通过跨模态对齐与融合机制把事件的运动/边缘变化线索注入语言推理，从而显著提升低照度、HDR、快速运动等恶劣条件下的场景理解与描述鲁棒性。

• GeoWorld-VLM: Geometry from World Models for Vision-Language Models

  • 赛道归属: 多模态理解（3D/几何空间关系推理增强、VLM蒸馏）
  • 核心创新点: 提出一种“从世界模型蒸馏几何能力到VLM视觉端”的框架，针对VLM在视觉特征提取阶段丢失3D结构线索导致的空间关系脆弱性，在语言推理开始前就补齐可用于空间判断的几何表征；通过VLM侧蒸馏将世界模型中隐含的几何/结构知识注入视觉编码器，使下游语言模型接收到更保真的空间结构特征，从而提升left/right、behind、between等基础空间关系的鲁棒性与可泛化性。

• A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

  • 赛道归属: 多模态安全（LVLM 对抗攻击 / Prompt Injection）
  • 核心创新点: 提出一种“跨模态”提示注入攻击范式：仅对图像输入施加微小扰动，即可在不改动文本提示的情况下，把攻击指令注入并迁移到模型对另一模态（文本/指令）的解释与执行中，从而突破以往“单模态注入只影响该模态”或“多模态但无法实现跨模态扰动”的限制；方法层面强调通过优化图像扰动来实现对模型跨模态对齐/融合表征的定向操控，使模型在后续语言生成阶段遵循攻击者意图。

• VLM-AutoDrive: Post-Training Vision-Language Models for Safety-Critical Autonomous Driving Events

  • 赛道归属: 多模态理解（自动驾驶视频理解/安全关键事件检测、VLM后训练）
  • 核心创新点: 提出面向安全关键驾驶事件的模块化后训练框架，专门解决通用VLM在驾驶领域的“领域不对齐”和“时间不对齐”（短暂、稀有事件难捕捉）问题；通过可插拔的适配流程在不从头训练的前提下对预训练VLM进行领域与时序能力增强，使其更擅长识别碰撞/近碰等瞬时高风险事件，并提升在真实行车长视频中的可靠性与可部署性。

• Eyes on VLM: Benchmarking Gaze Following and Social Gaze Prediction in Vision Language Models

  • 赛道归属: 多模态理解（人类注视/社会注视预测评测基准）
  • 核心创新点: 构建并系统评测VLM在“注视跟随”与“社会注视预测”上的能力边界，强调该任务需要同时理解几何/物理场景与交互语境；通过基准化任务设定与指标，揭示现有VLM在注视相关推理中的可靠性缺口与典型失败模式，为后续面向注意力与行为理解的训练/对齐提供可复现的评测框架。

• Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment

  • 赛道归属: 多模态安全与隐私（VLM成员推断攻击、黑盒攻击）
  • 核心创新点: 提出单样本、黑盒条件下的VLM成员推断攻击方法，绕开现有方法对内部logits/梯度等灰盒信息的依赖；核心利用“跨模态语义对齐”信号构造可查询的攻击统计量，在仅能访问模型输出的现实API场景中判断某图文样本是否被训练集记忆，从而更贴近真实威胁模型并揭示VLM训练数据泄露风险。

• ChartFI: Benchmarking Faithfulness and Insightfulness of Chart Descriptions from Multimodal Large Language Models 🆕NEW

  • 赛道归属: 多模态理解（图表理解/图表描述评测）
  • 核心创新点: 中文：提出 ChartFI 基准，面向多模态大模型的图表描述能力进行更细粒度的双维度评测：一方面系统衡量“忠实性”——描述是否严格受图表证据约束、是否存在幻觉/误读；另一方面衡量“洞察性”——是否能从图表中提炼高层结论与趋势而非仅罗列数值事实。其方法论突破在于把图表描述从“事实枚举”提升为“证据对齐 + 洞察提炼”的可操作评测框架，从而更真实地区分模型在图表语义理解、推断与表述上的能力差异。

• Autonomous Frontier-Based Exploration with VLM Guidance 🆕NEW

  • 赛道归属: 具身智能/机器人自主探索（VLM 规划与导航）
  • 核心创新点: 中文：提出一种“VLM 高层决策 + 传统控制栈低层执行”的分层探索管线：机器人在关键决策点将当前地图与候选前沿/路径的视觉信息打包成多模态提示，交由视觉语言模型进行策略性选择与解释，再由经典导航与控制模块完成可行性约束下的执行。方法上的突破在于把 VLM 的语义推理与任务导向的策略能力以“可插拔”的方式接入 frontier-based exploration，使高层探索目标（如更有信息增益/更安全的区域选择）能够通过语言-视觉推理影响探索行为，同时保持底层系统的稳定性与工程可落地性。

• Transcoders Trace Visual Grounding and Hallucinations in Vision-Language Models 🆕NEW

  • 赛道归属: 多模态模型可解释性/机理分析（视觉 grounding 与幻觉溯源）
  • 核心创新点: 中文：提出用 Transcoders（对 MLP 子层的稀疏函数近似）替代仅分析静态残差表征的 SAE 视角，构建“以函数为中心”的 VLM 机理分析框架：通过对层内计算更新的稀疏分解，把跨模态交互中哪些计算步骤在驱动视觉信息注入、文本生成与偏离证据（幻觉）进行因果式追踪与定位。其关键突破在于将解释对象从“表示是什么”推进到“计算做了什么”，从而更直接地刻画视觉 grounding 的形成路径，并为诊断/缓解幻觉提供可操作的计算级线索。

• WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents

  • 赛道归属: 多模态理解（视觉定位/grounding）与VLM智能体评测基准
  • 核心创新点: 提出同一套专业标注的无人机道路病害数据上“统一双协议”的评测框架：一方面用固定VLM在“单图+短提示”条件下做领域病害的直接视觉定位（统一提示、解码与解析流程，使用按类别的 AP@50 作为核心指标），另一方面在相同图像与同一指标体系下评测LLM驱动的自主研究/工程型智能体，从而把“模型定位能力”和“智能体端到端解决问题能力”在可对齐的设置中耦合比较，降低评测口径不一致带来的偏差，突出野外航拍场景的真实分布与领域特异性。

GitHub

• [2026-05-25] Blaizzy/mlx-vlm ⭐4774

• [2026-05-25] zli12321/Vision-Language-Models-Overview ⭐599

• [2026-05-25] opendatalab/mineru-vl-utils ⭐124

• [2026-05-25] InternScience/SciEvalKit ⭐83 🆕NEW

• [2026-05-25] Jimmyxichen/SARLANG-1M ⭐51 🆕NEW

HuggingFace Models

• NemoStation/Marlin-2B

• numind/NuExtract3 🆕NEW

强化学习

arXiv

• ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders

  • 赛道归属: 强化学习基准与仿真环境（MuJoCo连续控制/游戏风格NPC运动控制）
  • 核心创新点: 提出ARC-RL作为面向“游戏NPC风格约束”的连续控制基准套件：在MuJoCo中构建4个受游戏生物图鉴启发的非真实机器人形态环境，刻意脱离传统仿真到真实常见的商业硬件形态假设，从而把研究焦点从“真实可落地的腿式机器人”扩展到“无现实对应形态但有强风格/表现约束的角色运动”。其方法论价值在于用系统化的形态多样性与任务设定，推动奖励设计、控制策略与泛化能力在“非工程硬件先验”下的评测与对比。

• LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

  • 赛道归属: LLM后训练对齐 / 连续潜空间强化学习 / 推理增强
  • 核心创新点: 将RL的优化空间从离散token序列迁移到连续潜变量中的“推理轨迹”层面，用潜空间策略探索更语义化、全局性的决策，从而缓解token级优化导致的推理结构错配；引入基于潜扩散推理的训练机制以稳定探索分布，重点解决连续潜空间RL中常见的熵塌缩问题，使策略在高层推理表征上保持多样性与可探索性。

• Infra-Bayesian Reinforcement Learning Agents Outperform Classical RL For Worst-Case Robustness 🆕NEW

  • 赛道归属: 鲁棒强化学习 / 非可实现环境下的安全RL（对抗/策略依赖环境建模）
  • 核心创新点: 提出并实证验证“Infra-Bayesian（下层贝叶斯）”RL智能体，用一种比经典贝叶斯/频率派RL更保守的信念更新与决策准则来应对模型失配与环境对策略的反应（policy-dependent / 预判型对手）。方法上关键在于：不再假设存在真实环境落在模型类中，而是以更弱的可实现性前提构造可学习的决策规则，使策略在最坏情形下具有更强鲁棒性，从而在涉及人类/预测器/其他智能体的安全场景中优于经典RL的脆弱性表现。

• ClaimDiff-RL: Fine-Grained Caption Reinforcement Learning through Visual Claim Comparison

  • 赛道归属: 多模态理解（图像长文本描述对齐 / 细粒度奖励建模的强化学习）
  • 核心创新点: 提出以“视觉主张”为单位的细粒度强化学习框架：不再用整段caption的单一标量奖励，而是将描述拆解为可对齐到图像证据的原子主张，并通过“主张级视觉对比/验证”来产生更密集、更可归因的训练信号；从而显式区分并优化“事实性（减少幻觉）”与“信息覆盖（不遗漏细节）”之间的权衡，缓解长文本caption中序列级奖励过度压缩导致的信用分配与训练不稳定问题。

• FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning

  • 赛道归属: 推理对齐（大模型RLHF/RLVR训练算法优化：在线采样-更新闭环）
  • 核心创新点: 提出“反馈驱动的双目标协同强化学习”训练范式：针对GRPO类方法中“采样阶段产生的高质量rollout决定了更新方向但梯度目标并不显式”的痛点，引入由反馈信号驱动的双目标优化机制，将（1）提升rollout质量/可用性与（2）稳定有效的策略更新方向联合建模，并通过协同约束/耦合更新减少采样噪声与梯度方向漂移；本质上是在rollout生成与参数更新之间建立更强的闭环，使训练更稳、更高效地对齐推理能力。

• CayleyPy RL: Pathfinding and Reinforcement Learning on Cayley Graphs

  • 赛道归属: 超大规模图路径规划 / 图强化学习 / 群论结构图搜索
  • 核心创新点: 面向极大规模（可达$10^{70}$节点）Cayley图的路径规划，将强化学习与更直接的扩散距离方法进行组合：用扩散距离提供结构化的几何/谱信息以引导搜索，用RL学习在该结构先验下的策略，从而在传统RL难以覆盖的巨大状态空间中提升可达性与样本效率；并以开源CayleyPy作为可复现实验与基准平台，系统评测该混合范式在数学结构图上的性能。

• GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

  • 赛道归属: 大语言模型后训练、开放式环境泛化强化学习
  • 核心创新点: 提出GRLO，面向“从零开始”的开放式环境RL后训练，目标是在无特定领域人类偏好数据的前提下获得可迁移、可泛化的策略更新范式；方法上强调在开放式任务分布中构建更通用的奖励/验证驱动训练流程，以缓解RLHF对目标域偏好信号的依赖，并提升跨环境的泛化能力。

• Reinforcement Learning for LLM Post-Training: A Survey

  • 赛道归属: LLM后训练综述 / RLHF与RLVR方法体系化梳理 / 对齐与推理能力提升
  • 核心创新点: 对LLM后训练中的RL范式进行系统化归纳与对比：覆盖偏好优化（如DPO等）与可验证奖励驱动的在线RL（如PPO、GRPO等）两大路线，梳理其目标函数、训练流程、数据与奖励来源、稳定性与可扩展性差异；总结在安全对齐、数学/代码推理等任务上的适用边界与常见失败模式，并提炼未来研究方向（如奖励建模、验证器设计、在线探索与离线偏好学习的融合等）。

• Less Effort, Shorter Proofs: Reinforcement Learning for Security Protocol Analysis in Tamarin 🆕NEW

  • 赛道归属: 强化学习用于形式化验证 / 安全协议自动证明搜索
  • 核心创新点: 将AlphaZero/AlphaProof式的强化学习框架引入Tamarin安全协议分析，提出一种新的证明搜索策略学习范式：把Tamarin中的证明构造过程建模为序列决策问题，通过自博弈/引导式搜索（结合策略网络与价值评估的思路）学习在巨大分支空间中选择推理规则与中间引理的动作，从而显著减少人工启发式调参与专家介入。技术突破点在于把“交互式、强依赖专家经验”的协议证明流程转化为可训练的RL搜索策略，并与Tamarin现有推理机制对接以提升证明效率与成功率。

• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models 🆕NEW

  • 赛道归属: 生成模型后训练 / 扩散-流匹配模型的RL对齐与采样策略优化（SDE采样）
  • 核心创新点: 针对流匹配模型做在线RL后训练时“需要把确定性ODE采样轨迹变成随机策略”的关键瓶颈，提出SDE一致的随机采样方法Precise：以与底层随机微分方程严格一致的方式构造采样噪声与离散化更新，使采样器既能提供可控探索，又不破坏去噪动力学与分布一致性。方法论突破在于把“采样器=策略”的RL视角落到可实现的数值方案上，系统性减少因不一致的SDE替换/离散化带来的偏差与训练不稳定，从而提升RL对齐的有效性与生成质量。

GitHub

• [2026-05-25] AI4Finance-Foundation/FinRL ⭐15242 🆕NEW

• [2026-05-25] PufferAI/PufferLib ⭐5745

• [2026-05-26] radixark/miles ⭐1419

• [2026-05-26] X-GenGroup/Flow-Factory ⭐527 🆕NEW

• [2026-05-25] Infini-AI-Lab/astraflow ⭐62

HuggingFace Datasets

• [2026-05-13] TuringEnterprises/Open-MM-RL

  Dataset Summary
  

Open-MM-RL is a multimodal STEM reasoning dataset covering Physics, Mathematics, Biology, and Chemistry. It is designed for...

• [2026-05-14] AlienKevin/SWE-ZERO-12M-trajectories

  SWE-ZERO 12M Trajectories
  

The largest agentic-coding trace dataset to date: 112 B tokens of execution-free agentic trajectories covering 12...

• [2026-05-22] PsiBotAI/SynData

  SynData
  

中文说明

    Demo

If the video cannot be displayed in your environment, open it directly: assets/syndata-demo.mp4

    ...

• [2026-05-24] zhifeixie/Voices-in-the-Wild-2M

  Voices in the Wild
  

Project Page | Paper | GitHub Voices in the Wild (Voices-in-the-Wild-2M) is a large-scale automatic speech recognition (...

世界动作模型

arXiv

• WorldVLN: Autoregressive World Action Model for Aerial Vision-Language Navigation

  • 赛道归属: 视觉-语言导航 / 世界动作模型 / 自回归策略建模
  • 核心创新点: 提出面向航拍VLN的首个自回归世界动作模型，将任务从“直接学策略”重构为“预测驱动的世界-动作联合建模”：在闭环导航中显式预测潜在世界状态的演化及动作后果，并以自回归方式逐步生成后续决策，从而避免依赖全序列视频生成式世界模型的高成本与冗余建模，强化对长时序指令跟随与环境动态的可控推演能力。

GitHub

• [2026-05-24] OpenMOSS/Awesome-WAM ⭐540

---

由 Research Daily 自动生成 生成时间: 2026-05-26 01:02:00