GRAG: Generic Response-Augmented Generation Framework for Personalized Conversational Systems

1. 将人格化回复生成拆成“内容脚手架 + 人格注入”两步后，小模型更容易学到对话结构，ROUGE-2和BLEU在三个数据集上均优于直接把persona和history拼接的SFT基线。
2. PostGRAG通过独立编码persona/history/generic response并加入style embedding，整体优于PreGRAG，说明显式解耦多源信息比单一前融合更有效。
3. C-JEPA把generic response当作对比目标后，能进一步拉开个性化回复与泛化回复的表示差异，但增益主要体现在结构一致性指标，对真正的个性化提升有限。
4. 人工和LLM评测都显示，GRAG更多改善的是自然性、相关性和内容丰富度，而不是显著增强人格贴合度，论文自己的结论也指向“地面锚定”才是主要瓶颈。
5. 这种方法的有效性依赖高质量generic response，且仍需先调用大模型生成中间脚手架，说明它更像训练期增强方案，而非真正消除推理成本的端到端解决方案。

在三个基准对话数据集上评估：Synthetic Persona Chat（8,369/941/901个对话，112,264/12,894/12,167个agent turns）、EmpatheticDialogues（19,533/2,770/2,547个对话，40,254/5,738/5,259个agent turns）、Persuasion-for-Good（888/98/98个对话，8,386/920/920个agent turns）。generic response由4-bit量化的Llama-3.1-8B-Instruct离线生成；ICL基线使用4-bit量化Qwen2.5-32B-Instruct；SFT和GRAG主要以BART-base为初始化，也比较了T5-base、GPT2-medium、Llama3.2-1B-Instruct、Qwen3-0.6B，并对后两类使用QLoRA。训练使用AdamW，BART在RTX 4060 Ti 16GB上训练20个epoch，并对alpha、beta和学习率做网格搜索；基线包括ICL(Hist)、ICL(TST)、PreSFT(Hist)、PreSFT(TST)，再与PreGRAG和PostGRAG对比，另在人类/LLM评测中抽样145个SPC turn并扩展到2000个turn。