企业官网建设流程全解析

1. 为什么 o1 在 LogicGame 上只有 50% 正确率

LogicGame 是清华和智谱联合推出的规则推理基准，专门测大模型在「理解规则 → 执行规则 → 多步规划」这条链路上的真实能力。它不像 MMLU 那样考知识记忆，而是给模型一套游戏规则（比如黑白棋的翻转机制），要求模型按规则推演并输出结构化 JSON，同时评估答案正确率（A-Acc）、步骤正确率（P-Acc）和两者联合的 AP-Acc。

论文给出的结果很扎心：在最高难度 Level 3 的执行和规划任务里，o1-preview 和 o1-mini 确实领先，但绝对分数并不高，很多场景下 AP-Acc 只有 50% 上下，部分模型甚至接近 0 分。这意味着即便是当前最强的推理模型，在「严格按规则走多步」这件事上，仍然有一半的推理链会断掉。

对开发者来说，这个数字的价值不在于看热闹，而在于：你需要一个可复现的评测环境，把 o1、o1-mini、GPT-4o 甚至国产模型放在同一套 LogicGame 样例上跑，记录每个模型的 A-Acc / P-Acc / AP-Acc，才能判断「换模型」到底值不值。而多模型接入最烦的就是每家 Key 格式、Base URL、SDK 都不一样。这篇就讲怎么用 TaoToken 的统一 Key 和统一 API 通道，把 o1 等模型接进同一套评测脚本，跑通 LogicGame 样例并记录正确率。

适合谁：想复现 LogicGame 基准的算法工程师、做 Agent 规则执行评测的开发者、以及需要横向对比多个推理模型正确率的团队。

2. TaoToken 前置准备：统一 Key 与通道

TaoToken 的核心作用是提供一个统一的 API 入口，让你用同一个 Key 访问 o1、o1-mini、GPT-4o、Claude 等模型，不用为每个厂商单独维护一套鉴权和 Base URL。对 LogicGame 这种需要批量跑多模型、多难度、多 shot 设置的评测场景，统一通道能省掉大量适配代码。

你需要先拿到两样东西：

第一，API Key。登录 TaoToken 控制台，在 API Keys 页面创建一个新 Key，复制保存。注意 Key 只在创建时完整显示一次，丢了就重新建。

第二，确认 API Base URL。TaoToken 的 API 入口是https://taotoken.net/api，所有模型请求都走这个地址，模型名通过请求体里的model字段区分。

注意：控制台和 API 是两个不同地址，配置代码里填的是 API 地址，不要填成官网首页。

如果你只是先验证模型能不能通，可以直接用模型对话页面手动发一条 LogicGame 样例，确认 o1 能正常返回 JSON。如果要长期跑评测、写脚本批量提交，建议直接走 API，配合下面的配置文件。

相关入口：

• 模型对话（手动验证）：https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_content=model_chat&utm_campaign=rewrite
• API Keys（创建 Key）：https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api_keys&utm_campaign=rewrite
• 接入文档（参数细节）：https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite

3. 可复制配置：settings.json 与 config.toml 骨架

LogicGame 评测脚本通常需要读一个配置文件来决定「用哪个模型、走哪个 Base URL、用什么 Key」。下面给两套骨架，一套 JSON、一套 TOML，按你项目习惯选。

3.1 settings.json 配置骨架

{ "provider": "taotoken", "base_url": "https://taotoken.net/api", "api_key_env": "TAOTOKEN_API_KEY", "models": { "o1": { "model_name": "o1", "max_tokens": 4096, "temperature": 1.0 }, "o1-mini": { "model_name": "o1-mini", "max_tokens": 4096, "temperature": 1.0 }, "gpt-4o": { "model_name": "gpt-4o", "max_tokens": 2048, "temperature": 0.0 } }, "logicgame": { "data_path": "./data/zh_all.jsonl", "levels": [0, 1, 2, 3], "shots": [0, 1, 2], "output_dir": "./results" } }

这里把 Key 放在环境变量TAOTOKEN_API_KEY里，不写进配置文件，避免提交到 Git 泄露。o1 系列注意temperature只能设 1.0，设 0 会报错，这是 o1 的硬约束，不是 TaoToken 的限制。

3.2 config.toml 配置骨架

[provider] name = "taotoken" base_url = "https://taotoken.net/api" api_key_env = "TAOTOKEN_API_KEY" [models.o1] model_name = "o1" max_tokens = 4096 temperature = 1.0 [models.o1-mini] model_name = "o1-mini" max_tokens = 4096 temperature = 1.0 [logicgame] data_path = "./data/zh_all.jsonl" levels = [0, 1, 2, 3] shots = [0, 1, 2] output_dir = "./results"

设置环境变量：

export TAOTOKEN_API_KEY="你的Key"

Windows PowerShell：

$env:TAOTOKEN_API_KEY="你的Key"

3.3 评测脚本读取配置的核心片段

import json import os from openai import OpenAI with open("settings.json", "r", encoding="utf-8") as f: cfg = json.load(f) client = OpenAI( api_key=os.environ[cfg["api_key_env"]], base_url=cfg["base_url"] ) def run_logicgame(model_key, prompt): model_cfg = cfg["models"][model_key] resp = client.chat.completions.create( model=model_cfg["model_name"], messages=[{"role": "user", "content": prompt}], max_tokens=model_cfg["max_tokens"], temperature=model_cfg["temperature"] ) return resp.choices[0].message.content

关键点：base_url统一指向 TaoToken，model字段填o1或o1-mini，其余代码和你平时调 OpenAI SDK 完全一样。这样切换模型只改配置，不改代码。

4. 跑通 LogicGame 样例并记录正确率

配置好之后，下一步是真正跑一条样例，确认输出格式符合 LogicGame 的 JSON 约束，再批量跑并统计指标。

4.1 构造一条 LogicGame 样例 prompt

LogicGame 要求模型输出结构化 JSON，包含answer和steps。以 Level 0 的比大小类问题为例：

prompt = """你是一个严格按规则推理的助手。请根据以下规则回答问题。 规则：比较两个数字大小，返回较大的那个。 问题：9.11 和 9.9 哪个大？ 请严格按以下 JSON 格式输出，不要输出任何其他内容： {"answer": "较大的数字", "steps": ["推理步骤1", "推理步骤2"]} """

4.2 调用 o1 并解析结果

import json raw = run_logicgame("o1", prompt) print("原始输出：", raw) try: result = json.loads(raw) answer = result.get("answer") steps = result.get("steps", []) print("答案：", answer) print("步骤数：", len(steps)) except json.JSONDecodeError: print("JSON 解析失败，计入 JSError")

实测下来，o1 在 Level 0 这种单步问题上基本能稳定输出合法 JSON，答案也正确。但到了 Level 2、Level 3 的多步规划，比如黑白棋翻转，o1 的步骤经常出现「漏翻某颗棋子」或「翻转方向错误」，这正是 AP-Acc 掉到 50% 左右的原因。

4.3 批量跑并统计 A-Acc / P-Acc / AP-Acc

def evaluate(model_key, dataset): a_correct = 0 p_correct = 0 ap_correct = 0 total = len(dataset) for item in dataset: raw = run_logicgame(model_key, item["prompt"]) try: pred = json.loads(raw) except json.JSONDecodeError: continue ans_ok = pred.get("answer") == item["answer"] step_ok = compute_step_similarity(pred.get("steps", []), item["steps"]) >= 0.8 if ans_ok: a_correct += 1 if step_ok: p_correct += 1 if ans_ok and step_ok: ap_correct += 1 return { "A-Acc": a_correct / total, "P-Acc": p_correct / total, "AP-Acc": ap_correct / total }

compute_step_similarity按 LogicGame 论文的做法，用字符级相似度衡量步骤匹配，阈值一般取 0.8。跑完把结果写进results/o1_zh_level3.json，方便和 o1-mini、GPT-4o 对比。

4.4 结果记录表

这张表就是你要的可复现结果。注意 Level 3 的 AP-Acc 明显低于 Level 0，说明难度梯度确实在起作用，也印证了「o1 逻辑推理仅 50%」这个现象。

5. 本篇常见错排查

5.1 401 鉴权失败

最常见原因是环境变量没生效，或者 Key 复制时带了空格。先确认：

echo $TAOTOKEN_API_KEY

如果输出为空，说明没设置成功。另外检查base_url是否写成了https://taotoken.net/api，少写/api或写成官网首页都会 404。

5.2 o1 报 temperature 不支持

o1 系列只接受temperature=1.0，传 0 或其他值会直接报错。如果你从 GPT-4o 的配置复制过来忘了改，就会踩这个坑。在settings.json里给 o1 单独设temperature: 1.0。

5.3 JSON 解析失败（JSError 偏高）

LogicGame 对输出格式要求严格，但模型有时会在 JSON 前后加解释文字。两个处理办法：一是在 prompt 里强调「只输出 JSON，不要任何其他内容」；二是在解析前用正则提取第一个{到最后一个}之间的内容：

import re def extract_json(text): match = re.search(r"\{.*\}", text, re.DOTALL) return match.group(0) if match else text

5.4 步骤相似度算出来总是 0

检查compute_step_similarity的输入是不是列表。如果模型返回的steps是字符串而不是数组，字符级相似度会算错。解析后加一层类型判断：

steps = pred.get("steps", []) if isinstance(steps, str): steps = [steps]

5.5 批量跑太慢或超时

o1 推理耗时比 GPT-4o 长很多，Level 3 单条可能几十秒。建议加超时和重试：

client = OpenAI( api_key=os.environ[cfg["api_key_env"]], base_url=cfg["base_url"], timeout=120.0, max_retries=3 )

如果还是慢，先用o1-mini跑通流程，再用o1跑正式评测。

6. 长期跑评测与 Agent 评测的建议

如果你只是偶尔复现一次 LogicGame，按上面的配置跑就行。但如果你要长期维护一个多模型评测流水线，或者把规则推理能力接进 Agent 做决策，建议关注 Coding Plan，它更适合需要持续调用、批量提交、多模型对比的场景，不用每次手动管 Key 和额度。

• Coding Plan（长期编码/评测）：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=coding_plan&utm_campaign=rewrite
• API Keys（管理多个 Key）：https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api_keys&utm_campaign=rewrite
• 接入文档（SDK 与参数）：https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite

最后提醒一个实操细节：LogicGame 的 dev 数据分中英文两版，跑之前确认data_path指向的是zh_all.jsonl还是en_all.jsonl，别混着统计。另外 o1 在中文版和英文版上的表现有差异，建议两版都跑，结果分开记录，这样对比才有意义。