M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning

1. 设计了结构化的"主题-指导"笔记本存储机制，将模型失败案例蒸馏为可复用的domain-aware知识，通过多模态RAG在推理时检索相关笔记 → 这打破了传统SFT/RL只能通过权重更新改进的范式，转向外部记忆优化的思路；2. 提出批级后验证（accept-if-improves）机制，只有当新笔记在整个批次上改进性能时才提交，否则回滚 → 这有效稳定了持续进化过程，防止低质量总结积累，但依赖于Tuner模型的反思能力；3. 支持自进化（同一VLM作为求解器和监督者）和跨模型进化（强模型指导弱模型）两种模式，在6个多模态基准上平均提升1.3-2.3%（自进化）和2.3%（跨模型），同时成本仅为RL方法的1%以下 → 成本优势显著，但性能收益幅度保守且存在样本规模和统计显著性缺陷。

在6个权威多模态基准上评估（MMMU、MathVista、MMStar、RealworldQA、AI2D、ChartQA），跨3个VLM骨干（Qwen3-VL-8B-Instruct开源版、Qwen3-VL-Plus闭源版、GPT-5.4）。监督设置下，MMMU使用官方dev集150条样本训练，MathVista随机抽样320条训练样本；其他4个基准采用测试时扩展（TTS）设置边测边学。消融实验包括：批大小敏感性（1-32）、RAG阈值（α=0.2-0.8）、批级验证有效性、检索嵌入模型对比（文本vs多模态）、笔记本跨模型迁移可行性。所有实验均通过API调用实现，未涉及本地训练。