DEP: A Decentralized Large Language Model Evaluation Protocol

1. 提出DEP去中心化评估协议，通过LLM适配器、客户端和基准服务器三层架构，实现LLM评估的统一接口、模块化和可插拔性，解决现有框架碎片化和不一致问题。
2. DEP通过将基准测试文件和评估逻辑严格限制在服务器端，实现地面真实数据（ground truth）的隔离，有效防止测试集泄露和数据污染。
3. DEP允许基准作者在不修改原始数据格式的情况下集成基准，并通过DEP Toolkit提供断点续传、并发请求和拥塞控制等实用功能，降低大规模评估的部署成本。
4. 通过对12个LLM在10个基准上的评估以及用户研究，验证了DEP的有效性，并表明其在集成和复用基准方面显著降低了时间和代码量。

论文通过两部分实验验证DEP。首先，使用DEP Toolkit在10个基准测试（包括GSM8K、ARC、BoolQ等）上评估了12个大型语言模型（6个开源模型，参数范围0.6B-685B，如Qwen3系列、DeepSeek-V3.2、Llama3-8B-Instruct；6个闭源API模型，如Claude-Haiku-3、GPT-5o-nano），共消耗1800万tokens和130 GPU小时（NVIDIA A100 80G）。其次，进行了一项用户研究，招募8名专业人士在12个基准上比较了四种评估方法（手动实现、适配现有框架、适配DEP、复用DEP基准）的时间成本和代码量。