企业官网建设流程全解析

Thinking Inertia: LLMs Keep Thinking When Told Not To

作者：Dianqiao Lei, Kevin Qinghong Lin, Pan Lu, Philip Torr, James Zou
核心发表机构：Tsinghua University、University of Oxford、Stanford University
论文链接：arXiv:2610.11765v1
发布于：arXiv 预印本（cs.CL）

|—|—|
| M1 | Think-On | 保持官方 thinking interface 开启 |
| M2 | Think-Off | 禁用enable_thinking，无额外交互控制；自然 no-thinking 基线 |
| M3 | CoT | 禁用 thinking，但加入“Think step by step”指令，在普通答案通道重新引出推理 |
| M4 | Soft | 保持enable_thinking=False，允许简短引导但禁止解释 |
| M5 | Strict | 保持enable_thinking=False，要求直接给答案、不要任何推理 |
| M6 | Prefix | 在生成开始预填答案模板“The answer is \boxed{”，绕过指令遵循通道 |

M1 和 M3 是“引出思考”的反向参照；M2、M4、M5、M6 是 no-thinking 变体。M6 被视为独立分支，而不是 Strict 的更强版本。论文特别指出，结构前缀强制看似比自然语言指令更强，但它绕过了指令遵循通道，实际未必能产生 answer-only；实验结果也显示 M6 的 ETR 在 MCQ 和 open-ended 上反而下降，QRel 与 EIR 反弹。因此六模式谱系不仅比较“抑制强度”，也检验“控制方式”本身是否可靠。

3.2.5 准确率与人类验证设计

Accuracy 独立评估最终答案A AA是否正确，与T TT的合规、相关性、推理判定分开。这样可以把“是否 no-thinking”与“是否答对”解耦，进而观察合规与准确率之间是否存在权衡。人类研究分两方面：一是指标验证，手工边界审计检查 ETR 所依赖的严格可见边界；五名标注者独立给出分级相关性判断以比较 QRel，并给出显式推理标签以比较 Level 3 judge；另用不同模型家族的第二 LLM judge 检查 Level 3 是否依赖主 judge。二是结论验证，检验主要的答案空间与干预趋势是否在直接人工标注下仍然成立。

人类研究抽取 600 个输出，每个 benchmark 100 个，并保持各 benchmark 全语料中空/非空T TT比例；所有输出的空T TT边界都人工审计。五名标注者独立审阅全部 402 条非空前答案文本，给出五点问题相关性分数和一个 Level 3 推理标签；198 条空案例按定义相关性为 1、无可见推理。标注视图只暴露( Q , T ) (Q,T)(Q,T)，隐藏模型身份、干预模式、最终答案、正确性和自动评分。这样的盲审设计减少了答案正确性、模型身份等线索对推理判断的污染。

四、实验 / Experiments

4.1 数据集与评估指标 / Datasets & Metrics

论文评估六个暴露显式 thinking-mode 控制的 LLM：Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B、DeepSeek-V4-Flash（284B）、GPT-5.4、Gemini-3-Flash-Preview。三个 Qwen3 尺寸支持同家族 scaling 分析；本地 4B、32B 提供透明的 paired native on/off 控制。数据集覆盖三类答案空间，每类包含两个 benchmark：Boolean verification 使用 BoolQ、StrategyQA；multiple-choice answering 使用 MMLU、MMLU-Pro；open-ended answering 使用 GSM8K、MATH。数据规模方面，BoolQ validation 为 3,270，StrategyQA test 为 687，MMLU test 为 14,042，MMLU-Pro test 为 12,032，GSM8K test 为 1,319，MATH test 为 5,000。四个 API 模型每个 mode 从 BoolQ、MMLU、MMLU-Pro、GSM8K、MATH 各采样 1,000 条，加上全部 687 条 StrategyQA，因此每个 API 模型每个 mode 贡献 5,687 个输出，六个 mode 共 34,122 个输出；本地 Qwen3-4B/32B 使用完整 benchmark splits。聚合时 Bool、MCQ、Open-ended 每一族对两个数据集做 item-weighted 平均。

评估指标为 Task Accuracy、ETR、QRel、EIR。四个指标均在每个设置的全部输出上聚合，不以非空T TT为条件：空T TT对 QRel 贡献 0，EIR 分母为全部输出。具体实现上，QRel 使用 instruction-aware Qwen3-Embedding-4B，last-token pooling，最大序列长度 32,768；EIR 主 blinded judge 为 GPT-5.5，temperature 0；附录用替代 encoder 测试 Level 2，并用 Claude Opus 4.8 在全部六模型 × 六 benchmark × 六干预模式上复现 Level 3。解码设置方面，只要 endpoint 暴露 temperature 就使用确定性解码；本地 Qwen 与 API 模型 max tokens 均为 8,192；Gemini-3-Flash-Preview 的 minimal 视为 near-off，而非严格 off。API rerun 中所有 mode 都获得相同 8,192-token 响应预算，因此更短的 no-think cap 不能解释可见输出差异；中心 equal-budget 比较中最多 0.35% 输出达到该 cap。

4.2 主实验结果 / Main Results

先看 Q1：原生 Think-On、Think-Off 与 Step-by-step 的对比。M1 是参照，在大多数模型—任务对中，M1 的 ETR 接近 0，而 QRel 和 EIR 较高，说明 thinking mode 开启时可见推理普遍存在。M2 是原生 no-think 基线，其结果呈现明显的答案空间阶梯：在 Boolean 上，多数模型 ETR 约 80–100%，QRel 和 EIR 显著降低；在 multiple-choice 上，结果中间且异质，ETR 从接近 0 到 95% 跨模型变化，六模型平均 QRel 和 EIR 介于 Boolean 与 open-ended 之间；在 open-ended 上，ETR 几乎处处降到接近 0，QRel 接近 M1 水平，EIR 仍高。也就是说，答案空间越开放，响应越不可能保持 answer-only，越可能保留问题相关且带显式推理的前答案文本。论文将这一现象称为Thinking Inertia：可见显式推理在 no-thinking 控制下持续，并随答案空间开放而更常见。下图汇总 M1、M2、M3 在六模型与三类答案空间上的对比。

M3 进一步说明“推理可以被重新引出”。M3 在 thinking switch 关闭时加入“Think step by step”，结果 QRel 和 EIR 常常回到接近 M1 的水平，包括许多模型在 Boolean 上；四个有完整长度轨迹的模型也显示同样恢复。这说明普通 step-by-step 指令可以在原生 thinking 关闭时重新引出可见显式推理。但六模型平均 EIR 在 M3 下仍保持 Boolean < multiple-choice < open-ended 的阶梯，说明 Thinking Inertia 的答案空间依赖在显式 step-by-step 提示下仍存在。GPT-5.4 是主要例外：在 Boolean 和 multiple-choice 上维持高 answer-only 合规和低 EIR。反向干预改变可见推理的总体水平，但不改变答案空间排序。

再看 Q2：不同 no-think 变体的性能。准确率随答案空间开放而更受干预影响：Boolean 准确率几乎持平，约 85%；multiple-choice 有温和变化；open-ended 准确率跨模式变化最大。从 M2 到 M5，对有 disabled-thinking 条件的模型，open-ended 平均 ETR 从接近 0 升到约 40%，平均准确率下降约 15 个百分点；完整评测语料上，相应 EIR 从 99.69% 降至 62.00%。这意味着严格 answer-only 指令提高了合规，但仍有大量可见显式推理，并且付出了准确率成本。相比之下，Boolean 和 multiple-choice 的准确率权衡较小：从 M2 到 M5，Boolean 的 EIR 从 5.15% 降至 0.12%，multiple-choice 的 EIR 从 45.57% 降至 25.39%，平均准确率基本持平。论文因此总结：“On open-ended tasks, no-thinking comes at a cost.” 下图展示开放题上严格 answer-only prompting 暴露出的合规与准确率权衡。

M6 的结果进一步说明“结构强制不等于更强抑制”。如果 M6 预填答案模板比 M5 更强地约束 answer-only，应观察到 ETR 上升、QRel 和 EIR 下降。实际相反：从 M5 到 M6，multiple-choice 和 open-ended 上平均 ETR 下降；平均 QRel 和 EIR 在每个答案空间都反弹。因此 M6 不是 Strict 的更强版本：尽管预填模板，它既不能可靠产生 answer-only 响应，也不能一致抑制问题相关文本或可见显式推理。全局本地 Qwen 结果也复现这一非单调性：Qwen3-4B 的 M5 ETR 为 78.2%，M6 为 46.4%；Qwen3-32B 的 M5 ETR 为 98.9%，M6 为 55.5%。M5 显著提高 ETR，但 QRel 和 EIR 仍非零，且 accuracy 相比 M1 下降；M3 的 EIR 又回升，说明 step-by-step 指令可重新引出显式推理。

Q3 关注学科领域内的 no-thinking 差异。固定四选一 MCQ 接口，比较 MMLU 的 Humanities、Social Sciences、STEM，主要发现是：更高准确率不意味着更容易 no-thinking。STEM 在四个模型中都同时具有最高准确率和最低 ETR，范围 0.3–36.4%；STEM 在每个模型块中也有最高 QRel（0.509–0.784）和最高 EIR（59.7–85.5%）。这与“任务成功与 answer-only 合规正相关”的简单假设相反。表内可读主值示例如下：

表注中说明，对 API 模型，Acc./ETR 使用完整 MMLU 聚合，而 QRel/EIR 使用保留的 1,000 输出领域子集；因此跨列比较需要注意样本口径。尽管如此，领域内的模式清楚：固定答案接口下，answer-only 合规不是任务成功的简单代理，答案空间也不能解释 no-thinking 行为的全部变异。Frontier native no-think 结果也显示 ETR 与 EIR 可以分离：例如 GPT-5.4 的 M2 ETR 在 Boolean/multiple-choice/open-ended 上为 99.9/94.7/0.2，EIR 为 0.0/5.3/99.5；Gemini-3-Flash-Preview 的 M2 ETR 在三个答案空间上均为 0.0，但 EIR 分别为 24.2%、88.9%、99.7%。这说明“未通过严格 answer-only”与“存在显式推理”可以同时出现，也说明单一 ETR 不足以描述 no-thinking 行为。

数据集级 trade-off 进一步显示方向因模型和任务而异。资料给出的 M2→M5 准确率变化中，Qwen3-32B 在 GSM8K 上下降 49.0 个百分点，DeepSeek-V4-Flash 下降 25.1，GPT-5.4 下降 22.7；Gemini-3-Flash-Preview 在 MMLU-Pro/GSM8K/MATH 上反而上升（+22.0/+11.0/+12.6）。同时，Gemini 的 M5 ETR 在六个数据集上均为 0.0，说明其严格 answer-only 合规并未随 accuracy 变化而实现。这些结果细化了摘要结论：Boolean 与部分 multiple-choice 较稳定，但开放/较难任务暴露 answer-only compliance 与 accuracy 的 trade-off，且方向因模型而异。

4.3 消融实验 / Ablation Study

论文没有训练新模型，因此这里的“消融”不是网络模块消融，而是测量鲁棒性消融：换编码器、换 judge、审计复述/复制/answer-first，并用人类标注校准。首先，Level 2 编码器鲁棒性。主编码器为 Qwen3-Embedding-4B，原因在于其 instruction-aware retrieval 接口允许 query 指定Q QQ与T TT的预期关系。为检验 relevance pattern 是否依赖表示，论文用 Qwen3-Embedding-4B 与 all-MiniLM-L6-v2 对完整语料重打分。full-corpus 结果中，M2 的 QRel 在 Boolean/multiple-choice/open-ended 上分别为 0.047/0.406/0.854（Qwen3-Embedding-4B），M5 为 0.001/0.045/0.546；all-MiniLM-L6-v2 的对应值为 0.046/0.366/0.701 与 0.001/0.041/0.455。在固定平衡的 3,600-output sample 上比较 MiniLM、BGE-base-en-v1.5、E5-base-v2，尽管绝对尺度不同，每个编码器都保持 Boolean < multiple-choice < open-ended under M2，也都保持 M5 < M2 in every answer space。因此方向性结论不依赖单一编码器；仍选 Qwen3-Embedding-4B 作为主 Level 2 编码器，是因为其 instruction 是 task-conditioned。

其次，Level 3 跨家族 judge 鲁棒性。主 judge 为 GPT-5.5，独立 judge 为 Claude Opus 4.8，使用相同 blinded input、prompt、five-way rubric、supporting-span requirement 应用于完整语料。结果如下：

两个 judge 都保持 Boolean < multiple-choice < open-ended under M2 and M5，也都保持 M5 < M2 in every answer space；Opus 仍在 61.02% 的 open-ended M5 输出中识别出可见显式推理，接近 GPT-5.5 的 62.00%。完整评估上，GPT-5.5–Opus 的 overall five-way 一致率为 96.92%，explicit vs. other 为 97.30%；非空T TT上分别为 95.48% 与 96.05%。这说明 EIR 的排序结论不是主 judge 的偶然产物。

第三，测量失效模式审计。对 572,688 条成功记录，近逐字复制检测仅 flag 301 条（0.053%）；即使悲观地假设所有 flagged record 都因复制得到 QRel=1 且应为 0，移除全部 flagged records 对全局 mean QRel 的最大改变也只有301 / 572,688 = 0.00053 301/572{,}688=0.00053301/572,688=0.00053，远小于主图中的观察差异。语义 paraphrase 审计中，仅 355/572,688（0.06%）输出获得 paraphrase-only 标签，这些输出不进入 EIR 分子。Answer-first 审计在 535,208 条含可解析 boxed/fbox 的输出中仅发现 149 条（0.028%），说明T → A T\rightarrow AT→A是压倒性的主导呈现顺序，但论文不假设反向顺序不可能。ETR 验证完整返回内容，因此答案前或答案后存在实质文本都会失败严格边界，answer-first 不会造成 false answer-only positives。下表汇总了审计结果的关键数值。

第四，人类验证。Level 1 的 ETR 边界审计与人工检查在 565/600（94.2%）上一致。Level 2 中，Qwen3-Embedding-4B 的 QRel 与五名标注者的相关性判断达到 item-level Spearman 均值ρ = 0.829 \rho=0.829ρ=0.829，高于 all-MiniLM-L6-v2 的 0.809。Level 3 中，人类显式推理标签与主 judge GPT-5.5 的平均二分类一致率为 98.8%，与独立 judge Claude Opus 4.8 为 96.7%。人类 EIR 在六个 M2/M5 抽样单元上的结果为：M2 Boolean 4.0%、M2 MCQ 30.4%、M2 Open 100.0%；M5 Boolean 0.0%、M5 MCQ 11.8%、M5 Open 57.1%。这些直接标注复现了两条关键趋势：显式推理从 Boolean 到 multiple-choice 到 open-ended 上升；相对于 M2，M5 在每个答案空间都降低显式推理率，但 open-ended 上仍高达 57.1%。标注者间一致性方面，五类 reasoning label 的 Krippendorff’sα \alphaα为 0.873，binary explicit reasoning 为 0.948，五点 relevance score 为 0.919。跨六个 cell，人类平均 rate 的排序与 mean instruction-aware QRel 的ρ = 1.000 \rho=1.000ρ=1.000，与 GPT-5.5 EIR 的ρ = 1.000 \rho=1.000ρ=1.000，与 Opus 4.8 EIR 的ρ = 0.986 \rho=0.986ρ=0.986，说明抽样层面的趋势与自动指标高度一致。

4.4 答案空间重写控制

为了更受控地检验“答案空间本身是否影响 no-thinking”，论文固定同一批数学题，只改变答案接口：对 Qwen3-32B 在 M2 下，将 MMLU/MMLU-Pro 中匹配的 numeric-answer 子集从原 multiple-choice 形式改写为 Boolean verification 或 open-ended generation。结果非常清楚：Boolean 改写下，准确率几乎不变，从 77.8% 到 78.9%；但 ETR 从 10.5% 升到 62.5%，QRel 从 0.709 降到 0.314，EIR 从 86.95% 降到 36.90%。Open-ended 改写下，准确率降至 52.6%，ETR 降至 0%，QRel 升至 0.810，EIR 升至 90.14%。下图展示仅改变答案空间会如何重塑同一批问题上的 no-thinking 行为。

论文给出的与观察一致的解释是：Boolean verification 给模型一个待检查的候选答案；open-ended 要求模型无支持地生成答案；原 multiple-choice 介于两者之间——提供选项，但模型可能仍需可见中间步骤来比较或计算。三级指标呈同序：Boolean 有最高 ETR、最低 QRel/EIR；open-ended 没有 answer-only 响应，并保留相关前答案文本和显式推理。案例研究也支持候选可见性：Qwen3-32B 在 MMLU abstract algebra 的 multiple-choice 形式下正确但∣ T ∣ = 209 |T|=209∣T∣=209且失败 ETR；同一内容的 Boolean verification 对真、假 proposal 都返回直接 yes/no，且都通过 ETR。因此，候选答案可见的格式使 answer-only 响应更容易产生；答案空间模式既跨 benchmark family 出现，也能在同一问题内随接口改变而出现，不能仅归因于 benchmark family 差异。需要强调，这是与观察一致的解释，不是内部因果机制证明。

五、相关工作 / Related Work

论文与“高效与自适应推理”方向相关但问题不同。test-time computation 可显著提升语言模型推理，因此已有工作通过 length-conditioned RL 控制可见推理长度或预算、token-budget prompting、budget forcing、面向简洁 trace 的自训练、蒸馏更短链或 terse drafts 压缩中间推理等。经验研究还表明，更多推理并非一致有益：不必要地长的 trace 会损害效率，甚至在简单问题上损害准确率；有用的推理长度取决于任务难度和模型能力。近期方法训练模型决定是否需要扩展推理，选择性推理也被研究于视觉语言模型。本文不优化 test-time computation 的数量，而是问：请求的 no-thinking 状态是否在可观察响应中实现？它遵循常见的 think/no-think 关注点：暴露的 CoT 或 reasoning channels，而非不可验证的潜在认知；它禁用 provider thinking 接口或施加 answer-only 格式，然后分别测严格 answer-only 合规、pre-answer 相关性、可见显式推理。这一区分重要，因为中间计算不一定以自然语言表达，如 Coconut 等 latent-reasoning 方法；可见 CoT 也不一定忠实反映产生答案的计算（Turpin 2023；Lanham 2023）。

与“隐藏推理重建/暴露”方向相比，本文不重建隐藏 CoT。近期工作如 Trace Inversion 从黑箱输入、答案和可选摘要合成对蒸馏有用的推理 trace，无需访问隐藏 CoT；也有工作研究专有 API 暴露的加密 reasoning blocks 可在同一 provider 内迁移到较弱模型并解码为明文。本文关心的是相反方向：在明确要求 no-thinking 时，可见的问题条件 payload 是否仍然存在。Prompt repetition 是互补的输入侧技术，用于改进 non-reasoning 模型，评估最终答案准确率、长度和延迟；但它不问是否仍存在可见的问题条件文本，也不区分复述、相关断言与推理。本文把响应分解为 pre-answer text 与 final answer，并通过 ETR、QRel、EIR、任务准确率、同题答案空间控制来评估输入侧和输出侧干预。

与“指令遵循”方向相比，“no-think”“answer-only”“prefix-forcing”模式本质上都是指令，其有效性取决于模型多可靠地遵守自然语言约束。已有工作包括 instruction tuning、human-feedback alignment、self-generated/synthetic instruction data，以及可验证指令基准 IFEval、FollowBench，评估输出格式和内容约束合规；ComplexBench、InfoBench 等研究复杂或多约束指令下的模型行为。本文的区别在于：它把“产生无可见推理”视为一种可验证输出约束，研究表面合规是否真正移除了可见的问题条件 payload，而不仅仅是匹配所请求的格式。M6 的结构前缀强制尤其说明这一点：即便格式上预填了答案模板，响应中仍可能反弹出问题相关文本和显式推理。

六、局限性与展望 / Limitations & Future Work

论文明确把 no-thinking 用作响应级概念，而不是对模型内部 latent reasoning 的断言。这一定位提供了跨本地模型和专有 API 的共同行为基础，因为不同 API 的内部计算既不完全同等暴露，也不可直接比较；但结论关于可见输出，不是关于 hidden states 中不存在任务相关计算。Provider signals 在可用时纳入，但不把它们视为内部推理的等价描述。若扩展到 latent reasoning，会显著扩大范围，并使 no-thinking 边界难以清晰定义。因此，论文的“Thinking Inertia”应理解为可观察响应中的惯性，而不是对内部认知过程的完整刻画。

指标层面也有边界。ETR 是严格结构指标，但非空T TT时无法区分模板、复述和问题特定推理；QRel 衡量相关性而非推理，相关断言或复述可能高分，因此它只是精确 ETR 边界的操作性 relevance 补充，而不是独立 reasoning detector；EIR 直接将显式推理与复述、相关非推理文本分开，但仍依赖可见文本 rubric 和 judge calibration。论文通过 blinding、支持片段、第二 judge 和人研缓解这一依赖，并用不同模型家族独立 judge 测试，但仍非完全人工金标准。空T TT在 QRel 中记 0、在 EIR 中默认 judge=0，EIR 分母为全部输出；这些聚合口径需要在比较时注意。人类 Level 2 校准中 emptyT TT给人类 relevance score 1、QRel 0，也说明相关性尺度与人类语义判断并非同一量纲。

实验范围同样有限。六模型、六基准套件设计为在支持时使用确定性解码来隔离 answer-space structure，但泛化到多语言、代码、工具使用、多轮和随机设置，以及对演化中的专有 endpoint 的鲁棒性，仍是开放问题。MMLU 领域表中，对 API 模型，Acc./ETR 使用完整 MMLU 聚合，而 QRel/EIR 使用保留的 1,000 输出领域子集，跨列比较需要注意样本口径。答案空间重写实验仅针对 Qwen3-32B、M2、匹配 numeric-answer 子集，不能直接外推到所有模型和任务。测量审计针对复制、paraphrase、answer-first 三类 failure mode，不声称覆盖所有可能的测量问题；copy detector 是保守的 four-gram detector，包含 answer-bearing completions，因此给出的是问题复制的上界；paraphrase 检测依赖 Level 3 的互斥 paraphrase-only 标签；answer-first 检测采用严格条件，且只适用于含可解析 boxed/fbox 的输出。在可用源码片段中，正式 ETR/QRel/EIR 的阈值与完整逐字 prompt 模板未被展开，因此本文精读不对这些细节作额外推断。

未来工作方面，论文的启示是：No-thinking 是独特的可控能力，不是 reasoning mode 的默认补充；直接回答依赖 answer-space support 和 computational necessity，而不是仅靠开关或模型规模。这指向 task-aware routing：当接口提供足够支持时直接回答；当抑制会牺牲准确率时保留显式计算。但可见合规不应等同于更低推理成本，因为隐藏推理可能仍在活跃。一个方向是训练模型进行 calibrated stopping，而非统一抑制；联合优化准确率、answer-only 合规、可见相关性与推理、延迟、实际 reasoning-token 成本。跨语言和交互任务可测试泛化性；内部状态分析可检查计算是否消失、转移到隐藏通道，或仅从视野中省略。在高风险场景，简洁输出可降低成本与披露，但解释对验证和错误检测仍重要。目标是让模型关于“何时”与“如何”暴露中间计算的决策可控、可审计，而不是普遍抑制此类计算。

七、总结 / Conclusion

这篇论文的核心贡献不在于提出一个新的推理模型，而在于重新定义并系统测量“不思考”这一行为。它指出，禁用 thinking mode、缺少<think>块、输出短、没有长 trace，都不能可靠证明响应层面没有思考；模型可能在普通 answer channel 中继续写出与问题相关的推理。为此，论文把响应拆成前答案文本T TT与最终答案A AA，用 ETR 测严格 answer-only 合规，用 QRel 测问题—前答案相关性，用 EIR 测可见显式推理，并用 Accuracy 独立评估最终答案。三层指标互补，使“只给答案”“相关但非推理”“显式推理”可以被区分。

实验在六模型、六基准、三类答案空间上揭示了稳定的 Thinking Inertia：显式 no-think 控制不能可靠消除可见推理；Boolean 最容易接近 answer-only，multiple-choice 居中，open-ended 最难抑制；严格 answer-only 指令能提高 ETR，但在开放题上伴随准确率下降，且仍残留大量显式推理；仅改变答案空间就能显著重塑同一批问题上的 no-thinking 行为。人类验证与跨编码器、跨 judge、复制/复述/answer-first 审计进一步支撑了这些结论。论文最终主张，no-thinking 应作为与推理能力并列的系统能力来评估：停止显式推理不能从模型设置或指令中想当然地假定；真正需要的是让模型学会校准地决定何时推理、何时直接回答，并让这一决策可测量、可审计。

原文摘要:Large Language Models (LLMs) increasingly ship with explicit “thinking modes”, yet their counterpart, “no-thinking”, has received far less attention. We study LLMs’ no-thinking behavior along two axes. a. How to measure no-thinking? Prior work typically defines no-thinking through proxies such as a disabled thinking mode or the absence of long traces. These proxies are unreliable: disabled thinking modes may still emit reasoning, while long traces may contain filler rather than genuine inference. We instead normalize each response into a pre-answer trace and final answer, and evaluate it at three levels: (i) Empty-Thinking Rate for strict answer-only compliance; (ii) instruction-aware Question-Pre-answer Relevance for similarity between the question and pre-answer trace; and (iii) LLM-as-judge Explicit Inference Rate for visible explicit inference. Together, these metrics distinguish answer-only output, relevant but non-inferential text, and explicit inference. b. How does no-thinking vary across tasks and models? We evaluate six prompting interventions on six LLMs across Boolean, multiple-choice, and open-ended questions. We find that explicit no-think controls cannot reliably eliminate visible inference. Models instead exhibit “Thinking Inertia”: explicit inference persists even under strict controls and becomes more prevalent as the answer space opens. Accuracy remains stable on Boolean and multiple-choice tasks, whereas open-ended tasks reveal a trade-off between answer-only compliance and task accuracy. Rewriting the same questions across answer spaces shows that supplying candidate answers makes answer-only responses easier to produce. These findings establish no-thinking as a non-trivial capability: stopping explicit reasoning cannot be assumed from model settings or instructions alone and deserves systematic evaluation alongside reasoning ability.

PDF链接:https://arxiv.org/pdf/2610.11765v1

部分平台可能图片显示异常，请以我的博客内容为准