Arxiv Insights

Curated Research Insights • AI & Machine Learning

自然语言处理★ 7.5

KVSlimmer: Theoretical Insights and Practical Optimizations for Asymmetric KV Merging

Lianjun Liu, Hongli An, Weiqi Yan, Xin Du, Shengchuan Zhang, Huazhong Liu, Yunshan Zhong

KVSlimmer通过谱分析揭示QKV不对称性，并提出一种基于精确Hessian的无梯度闭式解，实现高效且高性能的LLM KV缓存合并。

KV缓存长上下文LLM缓存压缩Hessian谱分析

自然语言处理★ 6.2

Hybrid Neural-LLM Pipeline for Morphological Glossing in Endangered Language Documentation: A Case Study of Jungar Tuvan

Siyu Liang, Talant Mawkanuli, Gina-Anne Levow

本研究提出了一种结合BiLSTM-CRF与LLM后修正的混合式自动化流水线，显著提升了濒危语言（以准噶尔图瓦语为例）的形态学词汇标注效率，并揭示了检索增强、词典使用和少样本学习的关键设计原则。

混合流水线LLM形态学词汇标注濒危语言检索增强生成

自然语言处理★ 6.8

The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors

Li Lucy, Albert Zhang, Nathan Anderson, Ryan Knight, Kyle Lo

视觉语言模型在K-12数学教育中，面对有错误的学生手写作业时表现不佳，且难以准确诊断错误。

视觉语言模型数学教育学生错误错误诊断多模态基准

自然语言处理★ 7.5

Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages

Kaushal Santosh Bhogale, Tahir Javed, Greeshma Susan John, Dhruv Rathi, Akshayasree Padmanaban, Niharika Parasa, Mitesh M. Khapra

针对印度语言ASR系统，提出一种基于LLM辅助生成正字法变体的评估框架和OIWER指标，以更准确地反映系统性能和人类感知。

语音识别评估指标印度语言正字法变体大语言模型

自然语言处理★ 6.5

S-VoCAL: A Dataset and Evaluation Framework for Inferring Speaking Voice Character Attributes in Literature

Abigail Berthe-Pardo, Gaspard Michel, Elena V. Epure, Christophe Cerisara

提出S-VoCAL数据集和评估框架，用于从文学作品中推断与语音相关的角色属性，以提升合成有声读物的角色表现力。

语音属性推断S-VoCAL数据集RAGLLM评估有声读物合成

自然语言处理★ 6.8

GroupGPT: A Token-efficient and Privacy-preserving Agentic Framework for Multi-User Chat Assistant

Zhuokang Shen, Yifan Wang, Hanyu Chen, Wenxuan Huang, Shaohui Lin

GroupGPT通过小-大模型协作架构，实现了多用户群聊助手的代币效率和隐私保护，并引入了首个群聊干预推理基准数据集MUIR。

多用户群聊助手代币效率隐私保护智能干预MUIR数据集

自然语言处理★ 7.8

How RL Unlocks the Aha Moment in Geometric Interleaved Reasoning

Xiangxiang Zhang, Caijun Jia, Siyuan Li, Dingyu He, Xiya Xiong, Zheng Sun, Honghao He, Yuchen Wu, Bihui Yu, Linzhuang Sun, Cheng Tan, Jingxuan Wei

Faire框架通过强化学习和三重视角验证系统，解决了监督微调在几何交错推理中仅学习表面模式的局限，实现了图表与推理的功能性对齐，从而显著提升了几何问题解决能力。

几何推理强化学习多模态大语言模型功能性对齐交错推理

自然语言处理★ 5.8

DEP: A Decentralized Large Language Model Evaluation Protocol

Jianxiang Peng, Junhao Li, Hongxiang Wang, Haocheng Lyu, Hui Guo, Siyi Hao, Zhen Wang, Chuang Liu, Shaowei Zhang, Bojian Xiong, Yue Chen, Zhuowen Han, Ling Shi, Tianyu Dong, Juesi Xiao, Lei Yang, Yuqi Ren, Deyi Xiong

DEP是一个去中心化的LLM评估协议，通过解耦LLM、客户端和基准测试，实现统一、模块化且防泄露的评估。

大语言模型评估去中心化协议基准测试数据隐私评估框架

自然语言处理★ 7.8

Reasoning or Rationalization? The Role of Justifications in Masked Diffusion Models for Fact Verification

Jacob Devasier

掩码扩散语言模型在事实核查中倾向于早期决策，其理由生成过程常为事后合理化，强制延迟决策反而因引入噪声而降低准确性。

掩码扩散语言模型事实核查精炼漂移理由生成早期决策

自然语言处理★ 5.8

XAI-enhanced Comparative Opinion Mining via Aspect-based Scoring and Semantic Reasoning

Ngoc-Quang Le, T. Thanh-Lam Nguyen, Quoc-Trung Phu, Thi-Phuong Le, Duy-Cat Can, Hoang-Quynh Le

XCom模型通过结合基于方面的评分和语义推理，并集成SHAP可解释性模块，为比较意见挖掘任务提供了透明且高性能的解决方案。

比较意见挖掘可解释人工智能Transformer模型基于方面评论分析

自然语言处理★ 6.0

Reasoning Boosts Opinion Alignment in LLMs

Frédéric Berdoz, Yann Billeter, Yann Vonlanthen, Roger Wattenhofer

通过强化学习（GRPO）和结构化推理，提升大型语言模型对个体政治观点的对齐能力，但仍存在显著偏见。

政治观点对齐大型语言模型强化学习结构化推理政治偏见

自然语言处理★ 7.7

Generative AI & Fictionality: How Novels Power Large Language Models

Edwin Roland, Richard Jean So

该论文通过对比实验揭示了小说训练数据如何显著影响大型语言模型（BERT）的沟通方式和角色生成能力，使其能更好地理解和模拟文本中的人物互动与意图。

生成式AI小说训练数据BERT文本生成

自然语言处理★ 6.2

Can Thinking Models Think to Detect Hateful Memes?

Mohamed Bayan Kmainasi, Mucahid Kutlu, Ali Ezzat Shahroor, Abul Hasnat, Firoj Alam

本研究提出一种基于强化学习的GRPO后训练框架，通过任务特定奖励和CoT蒸馏，显著提升了思维型多模态大语言模型在仇恨表情包检测中的分类准确性和解释质量。

仇恨表情包检测多模态大语言模型强化学习思维链解释性AI

自然语言处理★ 6.8

Suffix-Constrained Greedy Search Algorithms for Causal Language Models

Ayoub Hammal, Pierre Zweigenbaum, Caio Corro

本文提出并形式化了后缀约束生成问题，并设计了基于贪婪搜索的启发式算法，以确保大型语言模型输出的最终答案格式可解析，同时保持甚至提升任务性能。

大型语言模型约束生成后缀约束贪婪搜索答案提取

自然语言处理★ 6.5

A Study on Building Efficient Zero-Shot Relation Extraction Models

Hugo Thomas, Caio Corro, Guillaume Gravier, Pascale Sébillot

本文研究了零样本关系抽取模型在真实场景下的鲁棒性，通过引入单次推理和拒绝机制，并对现有模型进行适配与评估，指出AlignRE在这些挑战性设置下表现最佳。

零样本关系抽取离线编码拒绝机制单次推理模型鲁棒性

自然语言处理★ 5.5

Efficient Extractive Summarization with MAMBA-Transformer Hybrids for Low-Resource Scenarios

Nisrine Ait Khayi

该论文首次提出Mamba-Transformer混合架构，结合Transformer的语义编码能力和Mamba的线性时间序列处理，实现了在低资源场景下对长文档的高效抽取式摘要，显著提升了ROUGE分数并降低了推理时间。

MambaTransformer抽取式摘要低资源混合模型

自然语言处理★ 6.8

Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data

Minghao Guo, Ziyi Ye, Wujiang Xu, Xi Zhu, Wenyue Hua, Dimitris N. Metaxas

论文提出了“个体图灵测试”以评估LLM基于长期个人数据的个体模拟能力，揭示了通用类人性和身份级真实性之间的差距，并发现了风格与内容之间的权衡。

个体图灵测试LLM个体模拟长期数据风格与内容权衡

自然语言处理★ 7.6

Truth as a Trajectory: What Internal Representations Reveal About Large Language Model Reasoning

Hamed Damirchi, Ignacio Meza De la Jara, Ehsan Abbasnejad, Afshar Shamsi, Zhen Zhang, Javen Shi

论文提出“真理即轨迹”（TaT）框架，将LLM推理视为激活向量在层间的动态位移轨迹，而非静态激活点，从而有效区分有效推理与虚假行为，并展现出卓越的跨任务泛化能力。

LLM可解释性轨迹分析内部表示泛化能力推理有效性

自然语言处理★ 6.8

Quantifying Conversational Reliability of Large Language Models under Multi-Turn Interaction

Jiyoon Myung

论文通过三项任务系统量化了大型语言模型在多轮对话场景下的可靠性下降，揭示了模型在指令遵循、工具选择和实体抽取方面的脆弱性，尤其小型模型表现更差。

多轮对话LLM可靠性指令遵循工具选择实体抽取

自然语言处理★ 7.8

LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval

Jiajie Jin, Yanzhao Zhang, Mingxin Li, Dingkun Long, Pengjun Xie, Yutao Zhu, Zhicheng Dou

LaSER提出了一种新颖的自蒸馏框架，通过多粒度对齐将显式CoT推理内化到稠密检索器的潜在空间，从而在保持推理深度的同时提升检索效率。

稠密检索潜在推理自蒸馏链式思考多粒度对齐

自然语言处理★ 7.5

Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics

Samhruth Ananthanarayanan, Ayan Sengupta, Tanmoy Chakraborty

该论文将KV缓存压缩重新定义为对自注意力路由几何的结构性干预，揭示了推理鲁棒性取决于稀疏令牌路由“彩票”子图的存活，并在极端压缩下展现出急剧的相变。

KV Cache CompressionAttention DynamicsLLMToken-Route SparsityPhase Transition

自然语言处理★ 7.8

Anatomy of the Modality Gap: Dissecting the Internal States of End-to-End Speech LLMs

Ming-Hao Hsu, Xueyao Zhang, Xiaohai Tian, Jun Zhang, Zhizheng Wu

语音大模型中模态鸿沟的根源在于语音固有的冗余性导致信息稀释，进而造成决策不稳定性，而非简单的几何对齐问题。

语音大模型模态鸿沟机制解释信息稀释决策不稳定性

自然语言处理★ 6.5

Markovian ODE-guided scoring can assess the quality of offline reasoning traces in language models

Arghodeep Nandi, Ojasva Saxena, Tanmoy Chakraborty

MarODE通过结合马尔可夫链和常微分方程，提出了一种评估大型语言模型推理轨迹质量的新框架，在人类中心扰动敏感性和人类判断对齐方面显著优于现有基线。

推理轨迹评估大型语言模型马尔可夫链常微分方程Somers' D

自然语言处理★ 6.5

More Data, Fewer Diacritics: Scaling Arabic TTS

Ahmed Musleh, Yifan Zhang, Kareem Darwish

通过大规模自动标注数据，阿拉伯语TTS模型能在缺乏音标的情况下达到高性能，显著降低了对显式音标的需求。

阿拉伯语TTS音标化大规模数据自动化管道语音克隆

自然语言处理★ 7.9

Learning to Draft: Adaptive Speculative Decoding with Reinforcement Learning

Jiebin Zhang, Zhenghan Yu, Liang Wang, Nan Yang, Eugene J. Yu, Zheng Li, Yifan Song, Dawei Zhu, Xingxing Zhang, Furu Wei, Sujian Li

通过强化学习和协同适应策略，LTD方法直接优化推测解码的吞吐量，动态协调草稿生成和验证阶段，显著加速LLM推理。

推测解码强化学习LLM推理加速动态策略吞吐量优化

自然语言处理★ 7.1

Building a Strong Instruction Language Model for a Less-Resourced Language

Domen Vreš, Tjaša Arčon, Timotej Petrič, Dario Vajda, Marko Robnik-Šikonja, Iztok Lebar Bajec

GaMS3-12B通过多阶段持续预训练和监督微调，成功将Gemma 3模型适配到斯洛文尼亚语，并在该语言上超越基线并媲美大型商业模型，为低资源语言LLM开发提供了通用方法论。

大语言模型低资源语言斯洛文尼亚语持续预训练监督微调

自然语言处理★ 7.8

Bootstrapping Embeddings for Low Resource Languages

Merve Basoz, Andrew Horne, Mattia Opper

通过LoRA微调大型语言模型生成高质量合成三元组数据，为低资源语言的嵌入模型训练提供了有效且可扩展的途径，其中XL-LoRA方法表现最佳且无需目标语言数据。

低资源语言嵌入模型合成数据生成LoRA跨语言迁移

自然语言处理★ 6.8

AnnoABSA: A Web-Based Annotation Tool for Aspect-Based Sentiment Analysis with Retrieval-Augmented Suggestions

Nils Constantin Hellwig, Jakob Fehle, Udo Kruschwitz, Christian Wolff

AnnoABSA是首个支持所有方面级情感分析（ABSA）子任务的开源网页标注工具，通过检索增强生成（RAG）大语言模型辅助显著提升标注效率。

方面级情感分析标注工具检索增强生成大语言模型人机协作

自然语言处理★ 3.3

Beyond the Resumé: A Rubric-Aware Automatic Interview System for Information Elicitation

Harry Stuart, Masahiro Kaneko, Timothy Baldwin

该论文提出一个基于LLM的自动化面试系统，通过校准的概率信念更新机制，根据预设评估准则（rubric）有效获取候选人细致的潜在特质信息，以改进早期招聘决策。

LLM面试系统招聘自动化信念更新评估准则模拟评估

自然语言处理★ 6.8

LLM-as-an-Annotator: Training Lightweight Models with LLM-Annotated Examples for Aspect Sentiment Tuple Prediction

Nils Constantin Hellwig, Jakob Fehle, Udo Kruschwitz, Christian Wolff

LA-ABSA提出了一种利用大语言模型生成标注数据来训练轻量级模型的方法，在低资源ABSA任务中实现了与LLM直接提示相当的性能，并显著提升了能源效率。

方面情感分析大语言模型数据标注低资源学习能源效率

自然语言处理★ 6.8

nchellwig at SemEval-2026 Task 3: Self-Consistent Structured Generation (SCSG) for Dimensional Aspect-Based Sentiment Analysis using Large Language Models

Nils Constantin Hellwig, Jakob Fehle, Udo Kruschwitz, Christian Wolff

SCSG通过结合LoRA微调LLM的多轮自洽生成与多数投票机制，显著提升了维度方面情感分析的预测可靠性，并利用vLLM的PagedAttention优化了推理效率。

自洽生成维度情感分析大型语言模型PagedAttentionSemEval

自然语言处理★ 7.2

Semantic Novelty Trajectories in 80,000 Books: A Cross-Corpus Embedding Analysis

Fred Zimmerman

首次大规模跨语料库分析8万本图书的语义新颖性轨迹，利用句向量和施密德胡伯的压缩进展理论，揭示了文学结构在不同时代的系统性转变，并指出语义新颖性与感知文学质量无关。

语义新颖性句向量计算文学研究压缩进展理论叙事轨迹

自然语言处理★ 5.5

OpenAutoNLU: Open Source AutoML Library for NLU

Grigory Arshinov, Aleksandr Boriskin, Sergey Senichev, Ayaz Zaripov, Daria Galimzianova, Daniil Karpov, Leonid Sanochkin

OpenAutoNLU是一个开源的NLU自动化机器学习库，通过无需手动配置的数据感知训练机制、集成数据质量诊断和可配置的OOD检测，简化了文本分类和命名实体识别任务。

自然语言理解自动化机器学习数据感知训练域外检测低代码

自然语言处理★ 7.8

Let the Agent Search: Autonomous Exploration Beats Rigid Workflows in Temporal Question Answering

Xufei Lv, Jiahui Yang, Yifu Gao, Linbo Qiao, Houde Liu

赋予LLM自主决策能力，通过通用搜索工具进行动态探索，在时间知识图谱问答中显著超越僵化工作流和昂贵微调方法。

时间知识图谱问答LLM代理自主推理免训练自校正

自然语言处理★ 7.5

CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation

Ziyi Zhu, Olivier Tieleman, Alexey Bukhtiyarov, Jinghong Chen

CyclicJudge通过轮流分配裁判的策略，高效地消除了大型语言模型（LLM）评估中的系统性裁判偏差，同时保持了单裁判评估的成本效益并最大化了生成多样性。

LLM评估裁判偏差方差分解循环裁判效率

自然语言处理★ 7.5

Sovereign AI-based Public Services are Viable and Affordable

António Branco, Luís Gomes, Rodrigo Santos, Eduardo Santos, João Silva, Nuno Marques, Madalena Rodrigues

本论文通过实证研究证明，基于本地部署RAG的小型LLM能够提供可行且经济的公共服务，其性能可与商业巨头解决方案媲美，从而支持数字和文化主权。

主权AI公共服务小型LLMRAG数字主权

自然语言处理★ 6.5

AdaPonderLM: Gated Pondering Language Models with Token-Wise Adaptive Depth

Shixiang Song, He Li, Zitong Wang, Boyi Zeng, Feichen Song, Yixuan Wang, Zhiqin John Xu, Ziwei He, Zhouhan Lin

AdaPonderLM通过迭代特定的MLP门控和KV复用机制，实现了循环语言模型在推理时基于token难度的自适应深度计算，有效降低了计算量并保持了模型性能。

自适应计算循环语言模型早期退出推理优化KV缓存复用

自然语言处理★ 7.2

What Exactly do Children Receive in Language Acquisition? A Case Study on CHILDES with Automated Detection of Filler-Gap Dependencies

Zhenghao Herbert Zhou, William Dai, Maya Viswanathan, Simon Charlow, R. Thomas McCoy, Robert Frank

开发了一种结合句法和依存分析的自动化系统，用于大规模识别儿童语言习得中填充-空缺依存关系，并量化其在儿童指导语和儿童产出中的分布。

填充-空缺依存儿童语言习得CHILDES自动化检测句法分析

自然语言处理★ 4.5

Modeling Grammatical Hypothesis Testing in Young Learners: A Sequence-Based Learning Analytics Study of Morphosyntactic Reasoning in an Interactive Game

Thierry Geoffre, Trystan Geoffre

通过交互式游戏中的精细动作序列，本研究揭示了小学生在法语形态句法推理中的语法假设检验策略，为实时自适应学习提供数据基础。

学习分析语法推理形态句法过程数据交互式游戏

自然语言处理★ 8.5

ClinConsensus: A Consensus-Based Benchmark for Evaluating Chinese Medical LLMs across Difficulty Levels

Xiang Zheng, Han Li, Wenjie Luo, Weiqi Zhai, Yiyuan Li, Chuanmiao Yan, Tianyi Tang, Yubo Ma, Kexin Yang, Dayiheng Liu, Hu Wei, Bing Zhao

ClinConsensus是一个由临床专家策划、验证和质量控制的中文医疗大模型基准，通过引入CACS@k指标和双重评判框架，旨在评估大模型在真实世界、复杂且开放式临床场景中的可用性和安全性。

医疗大模型基准测试临床评估CACS@k中文医疗

自然语言处理★ 7.8

LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards

Guanzheng Chen, Michael Qizhe Shieh, Lidong Bing

通过引入可验证的上下文奖励，LongRLVR有效解决了长上下文强化学习中因稀疏最终答案奖励导致的“接地梯度消失”问题，显著提升了大型语言模型的长上下文推理能力。

长上下文强化学习可验证奖励上下文接地梯度消失

自然语言处理★ 8.3

Organizing, Orchestrating, and Benchmarking Agent Skills at Ecosystem Scale

Hao Li, Chunjiang Mu, Jianhao Chen, Siyue Ren, Zhiyao Cui, Yiqun Zhang, Lei Bai, Shuyue Hu

AgentSkillOS提出首个基于能力树组织和DAG编排的框架，有效管理和扩展大规模LLM代理技能生态系统，证实结构化组合是释放技能潜力的关键。

AgentSkillOS大语言模型代理技能管理任务编排能力树

自然语言处理★ 6.5

Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training

Valentin Lacombe, Valentin Quesnel, Damien Sileo

Reasoning Core是一个可扩展的程序化数据生成套件，通过外部求解器验证，为语言模型提供高泛化性的符号推理数据，旨在从预训练阶段提升其推理能力。

符号推理数据生成预训练语言模型形式逻辑

人工智能★ 8.5

Human or Machine? A Preliminary Turing Test for Speech-to-Speech Interaction

Xiang Li, Jiabao Gao, Sipei Lin, Xuan Zhou, Chi Zhang, Bo Cheng, Jiale Han, Benyou Wang

本文首次对S2S系统进行大规模图灵测试，揭示了当前系统在类人对话能力上的显著差距，并提出了一个可解释的AI评判模型以实现细粒度诊断。

S2S系统图灵测试类人对话情感表达AI评判模型

人工智能★ 6.8

Strength Change Explanations in Quantitative Argumentation

Timotheus Kampik, Xiang Yin, Nico Potyka, Francesca Toni

该论文为定量双极论证图引入了强度变化解释（SXs）的正式框架，旨在通过识别实现期望最终强度排序所需的初始强度修改，增强AI系统的可争辩性。

形式论证可解释人工智能反事实解释定量论证图强度变化解释

人工智能★ 4.0

Beyond Static Instruction: A Multi-agent AI Framework for Adaptive Augmented Reality Robot Training

Nicolas Leins, Jana Gonnermann-Müller, Malte Teichmann, Sebastian Pokutta

该论文提出了一个概念性的多智能体AI框架，旨在通过整合大型语言模型实现增强现实机器人训练的动态自适应，以应对学习者差异，并对基础AR界面进行了可用性评估。

增强现实机器人训练多智能体系统大型语言模型自适应学习

人工智能★ 6.8

Noise reduction in BERT NER models for clinical entity extraction

Kuldeep Jiwani, Yash K Jeengar, Ayush Dhaka

通过引入基于概率密度图（PDM）和统计特征的决策树噪声消除模型，显著提升临床命名实体识别（NER）的精度，有效过滤误报。

临床NER噪声消除BERT不确定性估计概率密度图

人工智能★ 7.5

Personalization Increases Affective Alignment but Has Role-Dependent Effects on Epistemic Independence in LLMs

Sean W. Kelley, Christoph Riedl

大语言模型个性化设置普遍增强情感一致性，但对认知独立性（如信念采纳和抗影响能力）的影响则取决于模型所扮演的角色。

大语言模型顺从性个性化角色依赖认知独立性

人工智能★ 7.8

ActMem: Bridging the Gap Between Memory Retrieval and Reasoning in LLM Agents

Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yaqin Jin, Yazhong Zhang, Wei Hu

ActMem通过构建因果和语义知识图谱并结合反事实推理，将LLM代理的被动记忆检索提升为主动推理，使其能识别冲突并进行复杂决策。

LLM代理记忆管理因果推理知识图谱反事实推理

人工智能★ 8.0

StaTS: Spectral Trajectory Schedule Learning for Adaptive Time Series Forecasting with Frequency Guided Denoiser

Jintao Zhang, Zirui Liu, Mingyue Cheng, Xianquan Wang, Zhiding Liu, Qi Liu

StaTS通过学习数据自适应的谱轨迹噪声调度和频率引导去噪器，显著提升了扩散模型在时间序列预测中的概率预测精度和效率。

时间序列预测扩散模型噪声调度学习频率引导去噪谱正则化