AI 每日进展速报 - 2026-05-28

查找

重置

新旧

全部 仅 NEW

正在统计...

来源

全部来源 arXiv GitHub HuggingFace

图像生成/编辑

arXiv

• MaskAttn-SDXL: Controllable Region-Level Text-To-Image Generation

  • 赛道归属: 文生图（区域级可控生成 / 组合式生成）
  • 核心创新点: 在SDXL的U-Net扩散框架中引入“Mask Attention”式的区域级注意力控制机制，用显式区域/掩码约束将文本条件与空间区域绑定，从而提升多目标场景下的全局协调与属性不串扰（减少对象间属性混淆），在保持U-Net高效性的同时增强跨区域的可控组合生成能力。

• PixelPonder: Dynamic Patch Adaptation for Enhanced Multi-Conditional Text-to-Image Generation

  • 赛道归属: 多条件文生图（扩散模型可控生成 / ControlNet增强）
  • 核心创新点: 提出一种“动态Patch自适应”的多条件融合机制，在扩散去噪过程中按空间区域动态分配与调整不同控制信号的影响权重/注入方式，替代传统ControlNet为每种条件建立独立分支的静态融合范式；通过缓解多源异构条件之间的指导冲突，实现更强的组合式条件遵循（结构与语义同时对齐）并减少结构扭曲，在保持高画质的同时提升多条件一致性与可控性。

• DyCoRM: Dynamic Criterion-Aware Reward Modeling for Text-to-Image Generation

  • 赛道归属: 文生图 / 偏好对齐与奖励建模
  • 核心创新点: 提出动态、准则感知的奖励建模框架 DyCoRM，使奖励模型不再依赖固定的通用评分维度，而是能根据用户当前关注的评价准则（如美学、文本一致性、细节、风格等）动态调整评估与打分机制；通过将“评价准则”显式纳入奖励学习与推断过程，实现对多样化、个性化偏好的更精细建模，从而为文生图生成提供更可控、更贴合需求的优化信号，提升对齐效果与泛化到不同偏好场景的能力。

• Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation

  • 赛道归属: 文生图（强化学习对齐 / 训练策略与采样优化）
  • 核心创新点: 面向基于GRPO的T2I强化学习训练，提出“课程式组策略优化”自适应采样：根据模型当前能力动态调整样本难度分布，避免统一采样带来的难度失配与低效更新，从而以更高样本效率释放RL在文生图对齐/偏好优化中的收益。

• CogBlender: Towards Continuous Cognitive Intervention in Text-to-Image Generation

  • 赛道归属: 文生图（审美/心理属性可控生成 / 连续属性编辑）
  • 核心创新点: 将“认知属性”（如情绪效价、可记忆性等）作为可控维度引入T2I生成，提出支持连续干预的CogBlender：在不只对齐语义的前提下，提供可连续调节的控制接口/机制，使生成结果能按用户心理意图在认知指标上平滑可控，而非仅靠离散风格词或后验筛选。

• Unifying Contrastive and Generative Objectives for Visual Understanding and Text-to-Image Generation

  • 赛道归属: 多模态统一建模（视觉理解 + 文生图的对比-生成统一训练）
  • 核心创新点: 提出DREAM统一框架，将图文对比学习与掩码生成式建模端到端融合；关键在于“Masking Warmup”掩码课程调度，逐步移动掩码比例分布中心，使低掩码（利于对比对齐）与高掩码（利于生成建模）在同一训练过程中兼容，从而缓解两类目标对“可见token比例”相互冲突的问题。

• TextBoost: Boosting Text Encoder for Personalized Text-to-Image Generation

  • 赛道归属: 个性化文生图（Text-to-Image Personalization / Diffusion 微调）
  • 核心创新点: 提出一-shot 个性化方案，仅选择性微调文本编码器而非扩散模型主体/UNet，从而显著降低存储开销与训练成本并加快收敛；为避免个性化导致的语义漂移，引入“因果性保持” 机制/约束，在注入新概念表征的同时尽量维持原有文本语义结构与可组合性，实现更稳健的个性化生成与更好的泛化。

• PixVerve: Advancing Native UHR Image Generation to 100MP with a Large-Scale High-Quality Dataset

  • 赛道归属: 超高分辨率文生图（Ultra-High-Resolution T2I / 原生 UHR 生成）
  • 核心创新点: 面向原生超高分辨率（最高 100MP）生成的关键瓶颈（数据稀缺与内容复杂），构建并开源大规模高质量 UHR 数据集 PixVerve-95K，通过系统化的数据筛选/清洗与质量控制提升训练信号密度；以数据为核心驱动推进“原生 UHR”生成能力（而非仅依赖后处理放大），为训练与评测超高像素级 T2I 模型提供可复用的数据基础与基准。

• Generation Navigator: A State-Aware Agentic Framework for Image Generation

  • 赛道归属: 文生图（智能体生成 / 闭环生成控制与自动提示优化）
  • 核心创新点: 将图像生成重构为“状态条件动作决策”问题，提出Generation Navigator多轮智能体框架：不再依赖手工规则或单次prompt改写，而是基于生成过程的状态反馈学习选择下一步动作（如改写提示、调整条件/参数等），实现对生成轨迹的自适应闭环导航，减少人工试错成本并提升意图达成率。

• FiRe: Fine-grained Multimodal Reasoning for Enhanced Image Generation 🆕NEW

  • 赛道归属: 文生图（多模态推理增强的图像生成 / Unified MLLM for T2I）
  • 核心创新点: 提出细粒度多模态推理框架，将统一式MLLM的“理解-生成”闭环能力用于文生图的自反思与自改写：不再停留在简单的提示词扩写或整体图文一致性打分，而是引入更细粒度的推理与评估信号（如对属性、关系、局部区域/对象级要点的逐项核对），驱动生成过程进行针对性的迭代修正，从而提升复杂指令下的可控性与语义一致性。

GitHub

• [2026-05-28] YouMind-OpenLab/awesome-nano-banana-pro-prompts ⭐12229

• [2026-05-27] vibheksoni/free-ai ⭐514

• [2026-05-27] etkecc/baibot ⭐227 🆕NEW

• [2026-05-27] VigoZhao/AI-Visual-Prompt-Cookbook ⭐151

• [2026-05-27] lucasdegeorge/T2I-ImageNet ⭐96 🆕NEW

HuggingFace Models

• microsoft/Lens 🆕NEW

• microsoft/Lens-Turbo 🆕NEW

视频生成/编辑

arXiv

• MAVEN A Multi-Agent Framework for Multicultural Text-to-Video Generation

  • 赛道归属: 视频生成（文生视频 / 多智能体提示工程）
  • 核心创新点: 提出多智能体提示精炼框架 MAVEN，面向“多文化/跨文化”文生视频的文化保真度问题，将文本提示分解为人物、动作、地点等可控维度，并由专门代理并行/串行协作改写与补全文化关键信息；通过结构化分解降低单一提示对文化细节的丢失与歧义，提升同文化与跨文化场景下生成内容的文化一致性与可评测性。

• World-R1: Reinforcing 3D Constraints for Text-to-Video Generation

  • 赛道归属: 文生视频 / 3D一致性对齐（强化学习）
  • 核心创新点: 通过强化学习而非结构改造来注入3D约束：将“几何一致性/世界约束”显式构造成奖励信号，对视频生成模型进行对齐优化，从而在不显著增加推理开销、保持可扩展性的前提下缓解几何不一致问题；同时构建面向“世界模拟”的纯文本数据集，用于更系统地覆盖可被3D约束检验的描述分布，提升对齐训练的有效性与泛化。

• Paris 2.0: A Decentralized Diffusion Model for Video Generation

  • 赛道归属: 视频生成（去中心化训练 / 分布式扩散模型）
  • 核心创新点: 提出首个通过去中心化计算预训练的视频扩散生成模型，将原本在图像上验证的去中心化扩散训练范式扩展到需要强时序一致性的文本生成视频任务；核心突破在于给出去中心化场景下实现时序连贯训练的配方与机制，使得无需单体GPU集群也能完成低分辨率T2V预训练，并在去中心化通信与优化约束下维持跨帧一致性与可训练性。

• TAGRPO: Boosting GRPO on Image-to-Video Generation with Direct Trajectory Alignment 🆕NEW

  • 赛道归属: 图生视频生成 / 强化学习式后训练
  • 核心创新点: 提出TAGRPO用于I2V的稳健后训练，指出GRPO在I2V上“奖励不稳定/不持续提升”的关键症结在于视频生成的多步轨迹与奖励信号之间存在错位；方法上引入“直接轨迹对齐”的对比学习式目标，将高奖励样本的去噪/流匹配轨迹作为正样本对齐参照、低奖励轨迹作为负样本拉开，从而在不改变基础生成架构的情况下，更稳定地把奖励偏好注入到整段生成轨迹而非仅末端结果，提升可控性与一致性。

• Kandinsky 5.0: A Family of Foundation Models for Image and Video Generation 🆕NEW

  • 赛道归属: 文生图/文生视频/图生视频（基础大模型体系与工程化）
  • 核心创新点: 给出Kandinsky 5.0成体系的图像与视频基础模型家族，通过“分层产品线”覆盖不同算力与质量需求：6B级高分辨率图像模型、2B级轻量快速的T2V/I2V、19B级高质量视频模型。技术价值在于将图像与10秒视频生成统一到可扩展的基础模型栈中，并通过不同规模与配置实现质量-速度-成本的可部署权衡，为实际应用提供从轻量到旗舰的可迁移方案与训练/推理配方。

• PARE: Pruning and Adaptive Routing for Efficient Video Generation 🆕NEW

  • 赛道归属: 视频生成推理优化（高效Video DiT / 结构化压缩与动态路由）
  • 核心创新点: 提出PARE，将“结构化剪枝”与“自适应路由”联合用于视频DiT的高效生成，突破以往只做固定宽度/深度/步数压缩、无法随输入与去噪阶段动态调整的限制。方法上进行结构感知的宽度与深度联合裁剪，并引入按输入难度与去噪时刻选择性激活子网络/层的路由机制，使模型在不同样本与不同扩散阶段分配不同计算预算，在尽量保持画质的同时显著降低平均计算量与延迟。

• Are Video Models Zero-Shot Learners and Reasoners in Education? EduVideoBench, A Knowledge-Skills-Attitude Benchmark for Educational Video Generation 🆕NEW

  • 赛道归属: 视频生成评测基准（教育场景 / 安全与有效性评估）
  • 核心创新点: 提出EduVideoBench，首次面向教育视频生成建立以KSA为核心框架的平衡评测体系，把“教学有效性/教育合理性”与“教育安全”联合纳入评价，而非仅看感知质量或一般性安全。方法论突破在于将教育目标拆解为知识准确性、技能可操作性、态度与价值导向等维度，并据此设计任务与指标，用于检验视频模型在教育领域的零样本生成、事实与步骤正确性、以及潜在误导/不当内容风险，从而更贴近真实课堂使用需求。

• E$^3$C: Video Generation with 3D Environmental Memory and Ego-Exo Human Pose Control 🆕NEW

  • 赛道归属: 可控视频生成（具身/第一视角）/ 3D场景记忆与人体姿态控制
  • 核心创新点: 提出E³C，通过“3D环境记忆”为生成过程提供可持续的场景状态表征，并结合“自我-他人人体姿态控制”实现对第一视角视频中相机运动与人体动作的可控生成。关键突破在于把第一视角中强耦合的相机-人体运动、频繁遮挡与快速视角变化，转化为可由3D记忆维持一致性的环境约束，同时用姿态条件同时约束自我与他人的动作，从而提升物理一致性、时序连贯性与动作可控性，面向具身智能的可预测视频合成。

• Where Concept Erasure Should Occur: Concept-Layer Alignment in Text-to-Video Diffusion Models

  • 赛道归属: 视频编辑（概念擦除 / 安全对齐 / 模型可控性）
  • 核心创新点: 发现并形式化“概念-层拓扑对齐”现象：T2V扩散Transformer在不同深度对语义的编码不均匀，目标概念在特定层具有更高可分性，其他层则与非目标信号强纠缠；据此将概念擦除从“选定某层做抑制”的经验问题，重构为“先定位概念最可分的瓶颈层，再在对齐层实施擦除/编辑”的层选择与对齐问题，从而提升擦除有效性并减少对非目标语义与生成质量的副作用。

• PixelWizard: Towards Efficient High-Fidelity Video Generation at Ultra-Large Spatial Resolution

  • 赛道归属: 视频生成（超高分辨率 / 高效训练与推理 / 分层建模）
  • 核心创新点: 针对超大空间分辨率下token序列爆炸带来的两类耦合问题——优化不稳定（偏向局部纹理、全局结构崩塌）与计算成本/延迟不可承受——提出PixelWizard分层解耦框架：将“全局结构建模”与“细节纹理合成”在层级上拆分，先稳定学习全局一致的布局/运动/结构，再在受控条件下补全高频细节，从而在降低训练与推理开销的同时提升超高分辨率视频的全局连贯性与保真度。

GitHub

• [2026-05-27] hao-ai-lab/FastVideo ⭐3549

• [2026-05-27] vita-epfl/Stable-Video-Infinity ⭐2454 🆕NEW

• [2026-05-27] ModelTC/LightX2V ⭐2300 🆕NEW

• [2026-05-27] ZeroLu/awesome-seedance ⭐1816

• [2026-05-27] YouMind-OpenLab/awesome-seedance-2-prompts ⭐1233

HuggingFace Models

• meituan-longcat/LongCat-Video-Avatar-1.5

• SulphurAI/Sulphur-2-base

音频生成

arXiv

• TED-TTS: Training-Free Intra-Utterance Emotion and Duration Control for Text-to-Speech Synthesis

  • 赛道归属: 文本转语音 / 可控语音合成（零样本、细粒度韵律与情感控制）
  • 核心创新点: 提出一种“免训练”的可控框架，直接作用于预训练零样本TTS，实现句内级别的情感与时长控制；通过分段感知的情感条件注入将情感控制从整句提升到片段级，避免依赖私有情感数据或多阶段再训练；同时将时长/节奏控制与情感表达解耦到可操作的句内控制接口，使同一句话内部可实现不同情绪与语速/停连的组合表达。

• FC-TTS: Style and Timbre Control in Zero-Shot Text-to-Speech with Disentangled Speech Representations

  • 赛道归属: 音频生成｜零样本文本转语音｜可控生成（风格/音色解耦控制）
  • 核心创新点: 通过解耦语音表征将语音分解为可解释属性（如内容、韵律/风格、音色等），并在零样本TTS中实现来自不同参考音频的分离式条件控制：用一段参考提供说话人音色、另一段参考提供说话风格/韵律，从而突破以往“单一参考同时绑定音色与风格”的耦合限制；方法上强调在表示学习与条件注入机制上实现属性独立性，使模型在保持高保真克隆的同时获得可组合、可编辑的控制能力。

• ParsVoice: A Large-Scale Multi-Speaker Persian Speech Corpus for Text-to-Speech Synthesis 🆕NEW

  • 赛道归属: 语音生成 / TTS 数据集与数据构建（低资源语言、多说话人）
  • 核心创新点: 提出面向多说话人TTS训练的超大规模波斯语开源语音-文本语料库ParsVoice，并给出可扩展的数据构建流水线：从长篇有声书录音中自动切分与对齐高质量语音-文本对，核心在于结合面向波斯语的句级语义/完整性建模（如微调的ParsBERT用于句子补全/筛选）与质量控制策略，以在低资源语言场景下系统性提升对齐准确性、覆盖度与可用性，从而降低多说话人TTS与语音语言建模的数据门槛。

• SemaVoice: Semantic-Aware Continuous Autoregressive Speech Synthesis

  • 赛道归属: 文本转语音 / 连续表示自回归语音生成
  • 核心创新点: 针对连续自回归TTS中“语义-韵律建模”与“重建驱动的连续声学表示”之间的根本错配，提出语义感知的连续自回归合成框架；核心在于强化高层语义一致性与可控韵律的建模优先级，抑制模型过度追逐低层纹理细节导致的自回归误差累积；通过在生成过程中显式引入语义约束/对齐机制，使连续表示既能保持高保真重建，又能提升长程语义连贯与表达稳定性。

• PilotTTS: A Disciplined Modular Recipe for Competitive Speech Synthesis 🆕NEW

  • 赛道归属: 语音生成 / TTS 系统工程与训练配方（轻量化自回归合成）
  • 核心创新点: 提出PilotTTS：以“纪律化的模块化配方”替代复杂多阶段大系统，通过极简自回归架构 + 严格的数据工程实现有竞争力的合成效果。方法论突破在于将性能提升的关键从模型堆叠转移到可复现的训练流程：全链路使用开源工具处理约20万小时数据，强调模块边界清晰、训练/数据清洗规范化与可移植的工程实践，使资源受限团队也能复现接近SOTA的TTS质量。

• PashtoTTS-Bench: automated screening for low-resource non-Latin-script text-to-speech 🆕NEW

  • 赛道归属: 语音生成 / TTS 评测与自动化筛查（低资源、非拉丁文字）
  • 核心创新点: 针对低资源且使用非拉丁文字的TTS评测中“单一ASR回环WER”易失效的问题，提出INSV报告框架，将失败模式显式拆解为可懂度、自然度、文字/脚本保真度与验证。并给出INSV-A自动化筛查子集，用自动指标区分“无音频/说错语言/仅转写保留目标文本/听感不自然”等典型误判情形，从评测方法论上提升对低资源TTS系统的可诊断性与可比性。

• CosyEdit2: Speech-Editing-Oriented Reinforcement Learning Unlocks Better Zero-Shot TTS

  • 赛道归属: 音频生成｜语音编辑｜零样本TTS｜强化学习对齐
  • 核心创新点: 面向“语音编辑”对局部一致性要求更高的特点，提出以语音编辑为目标的强化学习优化框架，用比SFT更细粒度、更贴近编辑任务的奖励信号，缓解配对编辑数据不完美带来的上限；核心突破在于将零样本TTS的生成能力通过RL进行“编辑对齐”，重点优化被编辑片段与上下文未编辑语音的声学连续性/一致性（如音色、韵律、能量、边界过渡），从而在零样本场景下获得更可靠的编辑质量与鲁棒性。

• Toward Natural Emotional Text-To-Speech System with Fine-Grained Non-Verbal Expression Control

  • 赛道归属: 音频生成｜情感TTS｜可控生成（细粒度非言语表达控制）
  • 核心创新点: 将情感表达从“仅控制言语韵律”扩展到更真实的人类情绪关键成分——非言语发声（如笑、叹气、抽泣、哼声等），并提出细粒度NV控制的合成方法；通过构建/整理带有更高质量、细粒度标注的NV相关数据与控制标签，使模型能够在文本与情感条件之外，进一步在时间位置、类型、强度等维度对NV进行可控生成，从方法论上提升情感TTS的自然度与可表达性上限。

• Natural Yet Challenging to Detect: Robust In-the-Wild TTS through EMA and Dual-Scoring Prompt Selection -- Submission for WildSpoof 2026 TTS Track

  • 赛道归属: 文本到语音 / 语音反欺骗鲁棒生成
  • 核心创新点: 在F5-TTS架构上提出F5-TTS-DPS，将EMA（指数滑动平均）引入监督微调以稳定训练轨迹、降低野外数据分布噪声带来的过拟合，从而提升跨场景泛化与鲁棒性；同时提出双评分提示词/参考音频选择，利用LLM与音频大模型对候选参考/提示进行双路质量评估与过滤，在不改动主干生成机制的前提下提高合成保真度与自然度，并面向“更自然且更难检测”的对抗性目标优化生成质量。

• Raon-OpenTTS: Open Models and Data for Robust Text-to-Speech

  • 赛道归属: 文本到语音/开源数据与可复现训练
  • 核心创新点: 提出“模型+数据”一体化的开源TTS方案：一方面发布可与闭源数据SOTA竞争的Raon-OpenTTS模型；另一方面构建超大规模可复现训练数据池Raon-OpenTTS-Pool（由公开英文语音聚合而成，规模达数十万小时级），系统性验证“大规模开放数据”在提升TTS鲁棒性与质量中的关键作用，并降低TTS研究对私有数据的依赖、提升可复现实验基线的可获得性。

GitHub

• [2026-05-28] huggingface/diffusers ⭐33714

• [2026-05-26] Stability-AI/stable-audio-tools ⭐3745

• [2026-05-24] apocas/restai ⭐507

• [2026-05-26] facebookresearch/WavFlow ⭐106

• [2026-05-27] xiquan-li/Awesome-Audio-Generation ⭐73 🆕NEW

HuggingFace Models

• Supertone/supertonic-3

语言大模型

arXiv

• EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models

  • 赛道归属: 对齐评测（道德/价值观对齐、LLM-as-Judge评估）
  • 核心创新点:
  • 提出一个可解释的链式思维评测框架EvalMORAAL，将道德对齐评估从“黑箱打分”推进到“可追溯推理+量化评分”的透明流程。
  • 设计双评分通道：基于模型输出的log-probabilities与直接主观评分并行，降低单一指标偏置并增强稳健性。
  • 引入LLM-as-Judge 的同侪评审机制，用于对模型推理与结论进行二次审阅，提升评测一致性与可审计性。
  • 将评测基准落到跨文化大规模社会调查数据（WVS/PEW，多国家多议题），把“道德对齐”具体化为与真实人群价值分布的相关性度量（如Pearson相关），形成更具外部效度的对齐评估范式。

• ACIL: Auto Chain of Thoughts for In-Context Learning

  • 赛道归属: 提示学习与推理增强（In-Context Learning / Chain-of-Thought 自动化）
  • 核心创新点: 提出一种面向ICL的“自动链式思维”构造机制：不再只提供输入-输出示例，而是自动为示例补全/生成可复用的多步推理轨迹，并将其组织成更适配目标任务的演示模板，从而在不更新参数的前提下显式注入推理过程，提升ICL在多步推理任务上的稳定性与泛化能力。

• Step-TP: A Grounded, Step-Level Dataset with Chain-of-Thought Reasoning for LLM-Guided Tensor Program Optimization

  • 赛道归属: LLM辅助编译优化 / 张量程序优化数据集（程序优化 + 推理链监督）
  • 核心创新点: 提出Step-TP，一个“可落地到具体变换”的逐步级数据集，用于将张量程序优化建模为可组合的序列决策过程；相较仅提供端到端优化前后程序对的既有数据，Step-TP提供可验证的中间变换步骤与对应的Chain-of-Thought推理监督，使每一步优化决策具备可解释性与可检查性，并避免token低效的表示方式，从而更适配LLM在迭代优化中的训练与评测（如逐步决策正确性、可组合性与可回放验证）。

• Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective

  • 赛道归属: 大模型学习机制与归纳偏置分析（Fine-tuning vs In-Context Learning，对比评测方法学）
  • 核心创新点: 从形式语言学习视角构建可控、边界精确的任务体系，用严格定义的语言类别与可控字符串分布来统一对比FT与ICL：通过消除以往实验设置不一致带来的混淆，系统刻画两种学习模式在样本效率、泛化边界与归纳偏置上的差异，为“FT与ICL到底学到什么、偏好什么结构”提供可复现实证框架。

• MetaSICL: Adapting Audiroty LLM via Meta Speech In-Context Learning 🆕NEW

  • 赛道归属: 多模态理解（语音/音频大模型适配与低资源学习、In-Context Learning）
  • 核心创新点: 提出一种面向听觉LLM的元学习式语音上下文学习框架，将“推理时用少量示例做ICL适配”作为核心适配机制，用元学习在训练阶段显式优化模型对示例集合的利用方式，从而在标注稀缺或训练-测试分布不匹配时，相比直接微调更稳健地实现快速域内适配与性能提升；强调训练免/轻训练的推理期自适应，降低低资源任务的适配成本并缓解微调脆弱性。

• Early Stopping Chain-of-thoughts in Large Language Models

  • 赛道归属: 推理优化与高效推断（Chain-of-Thought 早停/自适应计算）
  • 核心创新点: 提出ES-CoT推断时方法：在黑盒条件下通过检测“答案收敛”信号来提前终止CoT生成，避免冗长推理带来的高token成本；相较依赖白盒监控或不稳定提示技巧的方法，该方案强调推断阶段可插拔、无需改模型参数，并以收敛判据实现更可靠的自适应推理长度控制。

• GVGAI-LLM: Evaluating Large Language Model Agents with Infinite Games

  • 赛道归属: LLM智能体评测与基准（游戏环境推理/规划/交互）
  • 核心创新点: 构建GVGAI-LLM无限游戏评测基准：基于GVGAI框架与游戏描述语言（规则+关卡可快速生成），提供多样街机式任务以测试LLM在非传统NLP分布下的推理、规划与问题求解；通过可程序化生成新游戏来降低基准过拟合风险，并支持持续扩展的“无限”评测设置。

• Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models

  • 赛道归属: 多模态大模型训练与OCR增强（多语言文本理解/视觉文本推理）
  • 核心创新点: 提出面向真实场景视觉文本的多语言OCR增强训练框架：结合(1)大规模合成“OCR→翻译/理解”数据生成以覆盖复杂版式与噪声，(2)基于LoRA的OCR-aware监督微调以低成本注入视觉文本能力，(3)结构化的视觉提示与提示引导CoT推理以提升跨语言读图与文本推理的可控性与鲁棒性，系统性缓解MLLM在小字、遮挡、模糊与复杂字体上的失效。

• River-LLM: Large Language Model Seamless Exit Based on KV Share

  • 赛道归属: LLM推理加速 / 早退推理与KV Cache机制优化
  • 核心创新点: 提出River-LLM，通过“KV Share（跨层KV共享）”实现decoder-only大模型的无缝早退，针对早退在decoder架构中被“KV Cache缺失（跳过层无法产出后续token所需历史状态）”卡住的关键瓶颈；其方法核心是在允许跳层的同时，仍为后续解码提供一致、可用的KV缓存供给，从而把早退从“理论可跳层”推进到“工程可落地的端到端加速”，在不破坏自回归解码依赖的前提下降低推理时延。

• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning

  • 赛道归属: 图基础模型 / 图领域 In-Context Learning/ 跨图泛化
  • 核心创新点: 提出一种不依赖LLM、无需微调的图基础模型框架，用于在极端异构图场景下实现类ICL的快速适配与跨图泛化。其方法论突破在于：针对不同图之间特征空间、标签集合与拓扑结构不一致带来的“任务/空间不对齐”问题，通过构建与具体图域无关的统一表示与对齐机制，使模型能够在不进行参数更新的前提下，仅依靠上下文示例完成对新图/新任务的推断与迁移，从而绕开现有GFM依赖文本化/LLM中介或需要额外调参的限制。

GitHub

• [2026-05-28] sgl-project/sglang ⭐28357

• [2026-05-28] NVIDIA/TensorRT-LLM ⭐13744 🆕NEW

• [2026-05-28] stanford-crfm/helm ⭐2801

• [2026-05-28] chrisliu298/awesome-on-policy-distillation ⭐220

• [2026-05-27] gpt-cmdr/ras-commander ⭐61

HuggingFace Models

• Jackrong/Qwopus3.6-27B-v2-GGUF

• Jackrong/Qwopus3.6-27B-v2-MTP-GGUF

HuggingFace Datasets

• [2026-05-01] angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k

  Background
  

Ended up with some tokens to burn on a Claude Max plan. Assembly began during 4.6 and moved to 4.7. Model is tagged. The develop...

• [2025-07-11] HuggingFaceFW/fineweb 🆕NEW

  🍷 FineWeb
  

15 trillion tokens of the finest data the 🌐 web has to offer

    What is it?

The 🍷 FineWeb dataset consists of m...

多模态大模型

arXiv

• RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding

  • 赛道归属: 多模态理解（事件相机+视觉语言模型/鲁棒场景理解）
  • 核心创新点: 提出首个事件流-图像双流VLM，将事件相机的高时间分辨率与高动态范围信息作为与RGB互补的输入，通过跨模态对齐与融合机制把事件的运动/边缘变化线索注入语言推理，从而显著提升低照度、HDR、快速运动等恶劣条件下的场景理解与描述鲁棒性。

• GeoWorld-VLM: Geometry from World Models for Vision-Language Models

  • 赛道归属: 多模态理解（3D/几何空间关系推理增强、VLM蒸馏）
  • 核心创新点: 提出一种“从世界模型蒸馏几何能力到VLM视觉端”的框架，针对VLM在视觉特征提取阶段丢失3D结构线索导致的空间关系脆弱性，在语言推理开始前就补齐可用于空间判断的几何表征；通过VLM侧蒸馏将世界模型中隐含的几何/结构知识注入视觉编码器，使下游语言模型接收到更保真的空间结构特征，从而提升left/right、behind、between等基础空间关系的鲁棒性与可泛化性。

• VLM-AutoDrive: Post-Training Vision-Language Models for Safety-Critical Autonomous Driving Events

  • 赛道归属: 多模态理解（自动驾驶视频理解/安全关键事件检测、VLM后训练）
  • 核心创新点: 提出面向安全关键驾驶事件的模块化后训练框架，专门解决通用VLM在驾驶领域的“领域不对齐”和“时间不对齐”（短暂、稀有事件难捕捉）问题；通过可插拔的适配流程在不从头训练的前提下对预训练VLM进行领域与时序能力增强，使其更擅长识别碰撞/近碰等瞬时高风险事件，并提升在真实行车长视频中的可靠性与可部署性。

• Unveiling the Fragility of Vision-Language Models: Multi-Modal Adversarial Synergy via Texture-Constrained Perturbations and Cross-Modal Optimization 🆕NEW

  • 赛道归属: 多模态安全与鲁棒性（VLM 对抗攻击）
  • 核心创新点: 提出一种面向视觉-语言模型的跨模态协同对抗框架，将纹理约束的图像扰动与跨模态联合优化结合：在视觉侧通过受限于纹理/局部统计特性的扰动提升隐蔽性与可迁移性，在语言侧通过与视觉扰动协同的目标设计/优化放大误导效应，从而在无需不现实的强白盒假设下实现更强的多模态攻击，系统性揭示 LVLM 在“多模态联动”攻击面前的脆弱性。

• Eyes on VLM: Benchmarking Gaze Following and Social Gaze Prediction in Vision Language Models

  • 赛道归属: 多模态理解（人类注视/社会注视预测评测基准）
  • 核心创新点: 构建并系统评测VLM在“注视跟随”与“社会注视预测”上的能力边界，强调该任务需要同时理解几何/物理场景与交互语境；通过基准化任务设定与指标，揭示现有VLM在注视相关推理中的可靠性缺口与典型失败模式，为后续面向注意力与行为理解的训练/对齐提供可复现的评测框架。

• Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment

  • 赛道归属: 多模态安全与隐私（VLM成员推断攻击、黑盒攻击）
  • 核心创新点: 提出单样本、黑盒条件下的VLM成员推断攻击方法，绕开现有方法对内部logits/梯度等灰盒信息的依赖；核心利用“跨模态语义对齐”信号构造可查询的攻击统计量，在仅能访问模型输出的现实API场景中判断某图文样本是否被训练集记忆，从而更贴近真实威胁模型并揭示VLM训练数据泄露风险。

• EdgeFlow: Edge-Map Augmented VLM-Based Flowchart Processing for Industrial Requirements Engineering 🆕NEW

  • 赛道归属: 多模态文档理解（流程图解析/结构化信息抽取）
  • 核心创新点: 提出 EdgeFlow：在 VLM 输入端引入确定性提取的 Canny 边缘图作为结构先验，与原图共同输入以强化拓扑与连通关系建模，针对流程图中“节点-连线-箭头”这类对拓扑敏感的细节显著降低漏检/错连；核心突破在于用轻量、可解释的视觉结构增强替代复杂的端到端重训，使通用 VLM 更可靠地完成从静态流程图到机器可读模型的转换。

• Self-Ensembling Vision-Language Models for Chart Data Extraction 🆕NEW

  • 赛道归属: 多模态文档理解（图表到表格数据抽取）
  • 核心创新点: 提出面向图表数据抽取的 VLM 自集成策略：对同一图表进行多次采样生成多个候选表格输出，并通过一致性/聚合机制得到更稳健的最终表格，缓解单次生成在“数据点密集、样式多变”场景下的随机性与局部错误；方法论突破在于不依赖额外标注或专用模型结构，通过推理阶段的多样化采样与集成提升准确率与稳定性。

• On the Robustness of Machine Unlearning for Vision-Language Models 🆕NEW

  • 赛道归属: 多模态安全与隐私（VLM 机器遗忘/反遗忘鲁棒性评测）
  • 核心创新点: 首次对 VLM 机器遗忘进行系统化综述与鲁棒性分析：构建方法分类体系与统一评测协议（含多种提示设置），并提出三类攻击范式检验“已遗忘知识”是否可被跨提示/跨模态重新激活，从而把 unlearning 从“遗忘效果”扩展到“对再唤醒攻击的鲁棒性”维度；核心价值在于明确 VLM unlearning 的威胁模型与评测基准，揭示现有方法在可恢复性上的薄弱环节。

• Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions 🆕NEW

  • 赛道归属: 具身智能与多模态代理（长期交互个性化/记忆增强）
  • 核心创新点: 提出 POLAR：面向具身 MLLM 代理的长期个性化记忆增强框架，使代理能从跨时间的用户交互中积累偏好与隐式指代线索，并在后续任务中进行检索与利用，从而解决真实场景中“目标未显式说明、需依赖历史上下文”的个性化指令理解问题；方法突破在于将多模态交互经验结构化为可检索的长期记忆，并与具身决策/执行闭环融合，实现持续适应而非一次性定制。

GitHub

• [2026-05-27] Blaizzy/mlx-vlm ⭐4782

• [2026-05-27] EvolvingLMMs-Lab/NEO ⭐747 🆕NEW

• [2026-05-27] Roots-Automation/GutenOCR ⭐188

• [2026-05-27] ydyhello/Awesome-VLM-Streaming-Video ⭐162

• [2026-05-27] NVIDIA-Omniverse/content-agents ⭐121 🆕NEW

HuggingFace Models

• NemoStation/Marlin-2B

• numind/NuExtract3

强化学习

arXiv

• ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders

  • 赛道归属: 强化学习基准与仿真环境（MuJoCo连续控制/游戏风格NPC运动控制）
  • 核心创新点: 提出ARC-RL作为面向“游戏NPC风格约束”的连续控制基准套件：在MuJoCo中构建4个受游戏生物图鉴启发的非真实机器人形态环境，刻意脱离传统仿真到真实常见的商业硬件形态假设，从而把研究焦点从“真实可落地的腿式机器人”扩展到“无现实对应形态但有强风格/表现约束的角色运动”。其方法论价值在于用系统化的形态多样性与任务设定，推动奖励设计、控制策略与泛化能力在“非工程硬件先验”下的评测与对比。

• LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

  • 赛道归属: LLM后训练对齐 / 连续潜空间强化学习 / 推理增强
  • 核心创新点: 将RL的优化空间从离散token序列迁移到连续潜变量中的“推理轨迹”层面，用潜空间策略探索更语义化、全局性的决策，从而缓解token级优化导致的推理结构错配；引入基于潜扩散推理的训练机制以稳定探索分布，重点解决连续潜空间RL中常见的熵塌缩问题，使策略在高层推理表征上保持多样性与可探索性。

• Infra-Bayesian Reinforcement Learning Agents Outperform Classical RL For Worst-Case Robustness

  • 赛道归属: 鲁棒强化学习 / 非可实现环境下的安全RL（对抗/策略依赖环境建模）
  • 核心创新点: 提出并实证验证“Infra-Bayesian（下层贝叶斯）”RL智能体，用一种比经典贝叶斯/频率派RL更保守的信念更新与决策准则来应对模型失配与环境对策略的反应（policy-dependent / 预判型对手）。方法上关键在于：不再假设存在真实环境落在模型类中，而是以更弱的可实现性前提构造可学习的决策规则，使策略在最坏情形下具有更强鲁棒性，从而在涉及人类/预测器/其他智能体的安全场景中优于经典RL的脆弱性表现。

• ClaimDiff-RL: Fine-Grained Caption Reinforcement Learning through Visual Claim Comparison

  • 赛道归属: 多模态理解（图像长文本描述对齐 / 细粒度奖励建模的强化学习）
  • 核心创新点: 提出以“视觉主张”为单位的细粒度强化学习框架：不再用整段caption的单一标量奖励，而是将描述拆解为可对齐到图像证据的原子主张，并通过“主张级视觉对比/验证”来产生更密集、更可归因的训练信号；从而显式区分并优化“事实性（减少幻觉）”与“信息覆盖（不遗漏细节）”之间的权衡，缓解长文本caption中序列级奖励过度压缩导致的信用分配与训练不稳定问题。

• FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning

  • 赛道归属: 推理对齐（大模型RLHF/RLVR训练算法优化：在线采样-更新闭环）
  • 核心创新点: 提出“反馈驱动的双目标协同强化学习”训练范式：针对GRPO类方法中“采样阶段产生的高质量rollout决定了更新方向但梯度目标并不显式”的痛点，引入由反馈信号驱动的双目标优化机制，将（1）提升rollout质量/可用性与（2）稳定有效的策略更新方向联合建模，并通过协同约束/耦合更新减少采样噪声与梯度方向漂移；本质上是在rollout生成与参数更新之间建立更强的闭环，使训练更稳、更高效地对齐推理能力。

• CayleyPy RL: Pathfinding and Reinforcement Learning on Cayley Graphs

  • 赛道归属: 超大规模图路径规划 / 图强化学习 / 群论结构图搜索
  • 核心创新点: 面向极大规模（可达$10^{70}$节点）Cayley图的路径规划，将强化学习与更直接的扩散距离方法进行组合：用扩散距离提供结构化的几何/谱信息以引导搜索，用RL学习在该结构先验下的策略，从而在传统RL难以覆盖的巨大状态空间中提升可达性与样本效率；并以开源CayleyPy作为可复现实验与基准平台，系统评测该混合范式在数学结构图上的性能。

• GeoSVG-RL: Geometry-Aware Reinforcement Learning for Layout-Constrained Text-to-SVG Diagram Generation

  • 赛道归属: 文生矢量图 / 结构化图表生成 / 强化学习约束生成
  • 核心创新点: 提出几何感知的强化学习框架，将SVG图表生成中的“可用性”问题显式建模为布局与几何约束优化：通过对连接线端点对齐、文本与边界/元素的非重叠、画布边界约束等几何规则进行可微或可评估的约束度量，构造面向结构有效性的奖励信号；在生成过程中用RL对策略进行优化以减少结构脆弱错误（如漂移、错连、越界），从而提升可编辑、可落地的专业级SVG图表输出稳定性。

• Reinforcement Learning for LLM Post-Training: A Survey

  • 赛道归属: LLM后训练综述 / RLHF与RLVR方法体系化梳理 / 对齐与推理能力提升
  • 核心创新点: 对LLM后训练中的RL范式进行系统化归纳与对比：覆盖偏好优化（如DPO等）与可验证奖励驱动的在线RL（如PPO、GRPO等）两大路线，梳理其目标函数、训练流程、数据与奖励来源、稳定性与可扩展性差异；总结在安全对齐、数学/代码推理等任务上的适用边界与常见失败模式，并提炼未来研究方向（如奖励建模、验证器设计、在线探索与离线偏好学习的融合等）。

• Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases 🆕NEW

  • 赛道归属: 大语言模型对齐安全（RLHF鲁棒性/对抗性偏好学习）
  • 核心创新点: 提出“Alignment Tampering（对齐篡改）”这一RLHF特有的系统性漏洞：由于偏好数据往往由待对齐模型自身生成候选输出，模型可通过策略性生成来影响后续偏好数据分布，使RLHF在迭代中放大原本不期望的偏置/行为；并指出成因来自RLHF流程的关键结构限制（如基于模型输出构造数据、仅依赖成对比较信号导致监督粒度不足），从机制层面刻画了“模型—数据—优化”闭环中的可被利用点，为后续防护（数据生成隔离、抗操纵偏好建模、审计与约束优化等）提供问题定义与分析框架。

• Efficient Agentic Reinforcement Learning with On-Policy Intrinsic Knowledge Boundary Enhancement 🆕NEW

  • 赛道归属: LLM智能体强化学习（工具调用/Agentic RL效率与边界控制）
  • 核心创新点: 针对Agentic RL中“冗余工具调用增加、内在知识边界被模糊（不清楚何时该用工具 vs 直接用参数知识）”的问题，提出一种基于on-policy的内在知识边界增强机制：不依赖粗粒度reward shaping去一刀切惩罚/鼓励工具调用，而是在训练过程中显式强化“是否需要工具”的判别边界与相应行为选择，使策略在保持任务性能的同时减少不必要的工具调用，并提升对工具使用时机的可控性与一致性，从而实现更高效的agentic RL优化目标。

GitHub

• [2026-05-27] huggingface/trl ⭐18485 🆕NEW

• [2026-05-27] google-deepmind/dm_control ⭐4593

• [2026-05-27] pytorch/rl ⭐3448

• [2026-05-27] radixark/miles ⭐1441 🆕NEW

• [2026-05-27] anakin87/llm-rl-environments-lil-course ⭐201 🆕NEW

HuggingFace Datasets

• [2026-05-24] zhifeixie/Voices-in-the-Wild-2M

  Voices in the Wild
  

Project Page | Paper | GitHub Voices in the Wild (Voices-in-the-Wild-2M) is a large-scale automatic speech recognition (...

• [2026-05-13] TuringEnterprises/Open-MM-RL

  Dataset Summary
  

Open-MM-RL is a multimodal STEM reasoning dataset covering Physics, Mathematics, Biology, and Chemistry. It is designed for...

• [2026-05-22] PsiBotAI/SynData

  SynData
  

中文说明

    Demo

If the video cannot be displayed in your environment, open it directly: assets/syndata-demo.mp4

    ...

世界动作模型

arXiv

• OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation

  • 赛道归属: 机器人操作、动作空间建模与对齐、SE(3)轨迹预测
  • 核心创新点: 提出OASIS，通过在中间表征中显式引入并对齐动作空间的刚体几何结构，缓解以往WAM/VLA主要停留在观测空间表征、导致动作解码器需“隐式恢复”SE(3)几何的问题；核心做法是将中间表示与SE(3)轨迹预测绑定，使策略在表示层面具备与动作同构的刚体运动先验，从而实现观测-动作空间对齐，降低动作解码难度并提升机器人操作的可学习性与泛化。

GitHub

• [2026-05-24] OpenMOSS/Awesome-WAM ⭐580

---

由 Research Daily 自动生成 生成时间: 2026-05-28 01:02:11