EvoEmbedding: Evolvable Representations for Long-Context Retrieval and Agentic Memory

1. 静态切块编码会丢失时间顺序与跨段关联；作者用“潜在记忆+当前片段”的递推表示，直接把历史状态注入检索向量，因此同一查询可在不同上下文下指向不同目标。
2. 仅靠表示层改造即可获得显著收益：EvoEmbedding-4B在8个长上下文检索基准上总体优于Qwen3-Embedding-8B和KaLM-Embedding-Gemma3-12B，说明改进不只是更大模型，而是记忆化表示本身更适合动态上下文。
3. 训练稳定性依赖两个关键工程设计：memory queue限制记忆回流次数以避免representation collapse，segment-batching缓解长度差异并把训练速度提升到3.8倍；消融显示去掉这两项会明显掉点或训练变慢。
4. 论文的外延价值主要体现在RAG系统：在LoCoMo、LongMemEval和Persona相关任务上，EvoEmbedding作为普通检索器即可逼近或超过专门的agentic memory系统，说明“更好的embedding”可以替代一部分复杂记忆编排。
5. Temporal关键词分析表明模型确实学习了顺序敏感性：带“firstly/lastly”等约束时，相似度峰值会偏向历史开头或结尾，说明它不只是做语义匹配，而是在编码时间定位。

在EvoTrain-180K上训练，实际使用184,137条样本，单样本最长12K tokens、最多256个segment，平均约1.3K tokens、20.6个segment；数据覆盖网页文档、对话和记忆三类场景，并通过40+ QA模板和Gemini-3.1-Pro-Preview完成正负样本标注与过滤。模型规模包括EvoEmbedding-0.8B、2B、4B，基座来自Qwen3.5-0.8B/2B和Qwen3-4B，采用multi-LoRA、memory queue（默认C=512、K=16、Demb=1024）和segment-batching，在单机8张NVIDIA H800上训练11,509步。评估覆盖10个基准：检索类包括ESG-Reports、LoCoMo、LongMemEval、REALTALK、QASPER、PeerQA、CovidQA、MLDR，生成类包括LoCoMo、LongMemEval、PersonaMem-32K、PersonaMME-32K/128K；对比基线包含BM25、All-MiniLM-L6-v2、Jina-v5-text-small、Multilingual-e5-large、BGE-M3、Qwen3-Embedding-0.6B/4B/8B、KaLM-Embedding-Gemma3-12B，以及Mem0、A-MEM、MemoryOS、LightMem和Qwen3-Reranker-4B等。