### 主要内容
1. **研究背景**:随着推理模型发展,其输出包含复杂推理过程,现有评估方法难以提取最终答案并判断与参考答案的等价性,自动评估方法中基于规则和基于大语言模型(LLM)的方法都存在局限性。
2. **问题定义**:将评估LLM对客观问题回答正确性的任务形式化为4元组,包括问题集、响应集、参考答案集和评估函数,定义了提取最终答案的评分和提取函数,以及不同模态答案的等价比较函数。
3. **方法**:构建了VAR数据集,收集19个LLM在24个推理基准上的问答对,经过多轮GPT-4o和人工标注及数据增强。使用该数据集训练不同规模的xVerify模型,采用QLoRA技术,设置特定超参数。
4. **实验**:在VAR数据集的测试集和泛化集上评估xVerify模型,以准确率和F1值为指标,与多种评估框架和判断模型对比。结果表明xVerify模型性能优异,最小的xVerify-0.5B-I模型也优于多数方法,且xVerify模型在泛化集上性能下降少,计算效率和使用成本也更具优势。
### 创新点
1. **构建VAR数据集**:包含19个LLM在24个评估基准上的答案样本,经过多轮标注,用于训练和评估推理任务的判断模型。
2. **提出xVerify**:一种高效的推理模型评估答案验证器,能处理复杂推理痕迹,支持多种等价检查,对格式错误有容忍性,发布了多个微调版本。
3. **全面评估**:在测试集和泛化集上与多种现有评估框架和判断模型对比,验证了xVerify的有效性和适用性。
### 翻译
- **摘要**:随着OpenAI的o1模型发布,采用慢思考策略的推理模型逐渐涌现。由于这类模型生成的响应往往包含复杂推理、中间步骤和自我反思,现有评估方法常常不足。它们难以确定大语言模型(