AnnoABSA: A Web-Based Annotation Tool for Aspect-Based Sentiment Analysis with Retrieval-Augmented Suggestions

1. AnnoABSA是一个开源的、基于网络的ABSA标注工具，全面兼容文献中记载的所有ABSA子任务，填补了现有通用工具在特定ABSA功能上的空白。
2. 该工具引入了基于RAG的LLM辅助建议机制，通过从已标注示例池中检索最相似的10个样本作为少样本提示，动态提升LLM建议的质量。
3. 实验证明，在不同池大小、任务和数据集上，RAG-based建议在预测性能（F1分数）上始终显著优于随机采样的基线方法。
4. 一项针对8名专家标注员的用户研究表明，在RAG-based建议的辅助下，标注时间显著减少了30.51%，验证了其在提升标注效率方面的有效性。

RAG与随机采样对比评估：使用Google Gemma-3-27B模型（温度设为0，10个少样本示例），在NVIDIA RTX PRO 6000 GPU上运行。数据集包括SemEval 2016 Rest16、Coursera、FlightABSA和Hotels的1100个随机样本。评估了ACD、TASD、ASQP三种任务，每个组合运行5次，共执行580,690个提示。用户研究：8名计算机科学领域的博士生和硕士生（具有ABSA标注经验）参与了ASQP任务的对照研究。使用SemEval 2016餐厅数据集的两个50例随机子集，通过前端计时跟踪标注时间。