企业官网建设流程全解析

Opus 4.8 级性能满天飞，Ornith-1.5 的榜单水分谁挤过？

【免费下载链接】Ornith-1.5-35B-A3B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-35B-A3B-GGUF

2026 年 8 月，DeepReinforce 发布 Ornith-1.5 系列，官方口径一度让开源社区沸腾：最大 397B 规模的 MoE 模型"部分性能超过 Claude Opus 4.8"，35B-A3B 型号仅激活约 3B 参数，却在 SWE-bench Verified 上拿到 79 分，把 397B 的 Qwen3.5 都甩在身后；量化版甚至号称能跑进 iPhone 17。头条号标题一个比一个猛："Opus 4.8 级性能""叫板 DeepSeek V4"。但另一篇被广泛传播的文章标题却冷静得多——《Ornith-1.5 叫板 DeepSeek V4，但仔细看分数，事情没那么简单》。

"自我进化""自己出题自己练"——这套训练叙事天然自带光环，也天然自带争议。本文不打算站队吹捧或唱衰，而是把官方评测脚注、社区实测数据与模型卡里的细节逐一摊开：榜单分数是怎么测出来的？自我改进训练算不算"刷分"？到了真实工程场景，分数还撑得住吗？

榜单分数的测试条件与口径：脚注比分数更值得读

先看官方给出的数字。以 README.md 中的基准表为准，Ornith-1.5-35B-A3B 的关键成绩如下：

单看这张表，35B 级 MoE 追平乃至部分反超 397B 旗舰，确实震撼。但分数的可信度不取决于数字本身，而取决于测量条件。README 的脚注恰恰是全文信息密度最高的部分：

• 所有 Ornith-1.5 的成绩是 5 次独立运行的平均值，且统一采用temperature=1.0——官方在模型卡中明确提示"复现榜单需将温度设为 1.0"，而通用任务推荐参数是temperature=0.6。也就是说，榜单分数对应的是一个特定采样配置下的结果，与日常使用配置并不完全一致。
• 不同的基准跑在不同的 harness 上：SWE-bench 系列用 OpenHands harness，DeepSWE 用 Claude Code harness，SWE Atlas QnA 用 mini SWE agent harness，Terminal-Bench 2.1 用 Harbor/Terminus-2 框架。同一模型在不同 harness 下的成绩，彼此并不完全可比，更别提与其他厂商自测分数的对比。
• 评判标准高度依赖第三方闭源模型：HLE 用 Claude 4.6 Opus 当 judge，MCP-Atlas 用 Claude 4.8 Opus 当 judge。榜单的一部分"分数"其实是闭源模型主观打出来的，judge 的偏置会直接传导到分数上。
• 上下文窗口与算力门槛被脚注轻描淡写：SWE-bench 评估用 256K 上下文，Terminal-Bench 2.1 单次运行 4 小时超时、32 核 CPU + 48GB RAM。这意味着榜单成绩是用"巨额推理预算"换来的，普通用户复现成本极高。

自我进化训练：是能力跃迁，还是"自己出题自己考"？

Ornith-1.5 最大的卖点，也是最大的争议点，是"端到端自我改进"。官方介绍很直白：Ornith-1.0 还依赖"固定的人类人工任务集和手工设计的 harness"，而 Ornith-1.5 把自我改进循环从 scaffold 与 rollout 优化，扩展到同时优化任务生成、scaffold 构建和方案 rollout——模型不断生成新训练任务、发现解题策略，再通过强化学习提升策略。

36Kr 那篇传播量很大的文章标题就是《AI 自己出题自己练，两个月狂涨 11%，编码自测反超 Opus 4.8》。"自测反超"四个字，精准戳中了质疑者的神经：如果一个模型从"自己生成的题目"中学习，又在含同类任务的榜单上拿高分，那这个高分里有多少是泛化能力，有多少是"熟悉考场"？

但把 README 读透会发现，官方对"评测污染"这件事是有意识的，甚至做了相当严格的防护，只是这些措施集中在评测端：

• SWE-bench Verified/Pro/Multilingual 评估中明确声明应用了反作弊防护：从本地仓库镜像中删除 Git 历史，防止模型查看先前的解决方案或提交；禁用网络访问，防止模型检索外部信息。
• NL2Repo 评估中屏蔽了对指定 GitHub 仓库和 pip 包的访问，并注明目的是"防止奖励黑客（reward hacking）"。
• 评测使用了统一的 chat template 调整（README 指向chat_template.jinja），并针对 vLLM 的reasoning_content键修改了 Harbor 框架，以保证训练与推理一致性。

这说明模型卡作者清楚"刷分"的套路在哪，并试图从评测口径上堵住。不过，"自我出题"导致的另一层风险并没有被这些措施覆盖：训练任务分布与公开基准的重合度。当模型在自生成的、贴近 SWE 类任务的语料上强化训练后，即便评测端删了 Git 历史、断了网，只要任务形态与训练分布相似，分数仍可能被系统性抬高。评测防作弊防的是"作弊手段"，防不了"分布重合"。这也是"自我进化"叙事下最难证伪、也最需要社区用独立评测去交叉验证的一环。

真实工程场景与榜单的落差：DeepSWE 的 22 分就是答案

如果说上面是方法论层面的怀疑，那官方数据本身已经给出了一个刺眼的实证：在同一张基准表里，模型在 SWE-bench Verified 拿 79 分，在 DeepSWE 上只有 22 分。DeepSWE 是什么？README 注明它是用 Claude Code harness、256K 上下文评估的"agentic 编码基准"——换句话说，它更接近"真实用户任务分布"。79 到 22，同一个模型，同一个团队，同样的评估体系，落差如此之大，只能说明：榜单分数高度依赖基准的任务形态，越贴近真实工程，分数塌得越厉害。

同样的信号也出现在 Frontier-Bench v0.1 上：Ornith-1.5-35B-A3B 拿到 5.1 分，看似是 Qwen3.5-397B（1.4 分）的 3 倍多，但注意绝对数值——一个号称"Opus 4.8 级性能"的模型，在前沿难度基准上只有 5.1 分。这个分数与其说是荣耀，不如说是提醒：榜单领先不等于前沿能力领先。

社区实测也印证了"工程场景与榜单的落差"。多篇 16G 显存部署实测（RTX 4080 / 4090）给出了一组更接地气的数据：Ornith 35B 与 Qwen 35B 在 4-bit 量化下都能在 16G 显存稳定运行，显存占用约 13.2G vs 12.8G，推理速度 18.2 t/s vs 16.8 t/s；HumanEval 分数 Ornith 78.5% 略胜 Qwen 76.2%——但测评者同时指出，"Qwen 的输出更贴近工程实践，Ornith 的算法更标准"，即榜单上 2 个百分点的差距，在实际代码生成中表现为风格与可用性的差异，而非胜负。还有测评直接给出结论：Q4_K_M 量化在 16GB 显存下是最佳平衡点——这正是本仓库提供Ornith-1.5-35B-Q4_K_M.gguf等量化文件的原因。

另一个容易被忽略的工程现实是部署门槛。README 的快速开始部分写得清楚：bf16 权重约 70GB，官方推荐的 vLLM 配方是2× 80GB GPU（--tensor-parallel-size 2）以给 256K 上下文留出余量；运行时要求 vLLM ≥ 0.19.1、SGLang ≥ 0.5.9、Transformers ≥ 5.8.1——都是相当新的版本。若想进一步突破 262K 上下文到约 1M tokens，需要开启 YaRN 缩放，而 README 自己也提醒：开源运行时对 YaRN 是静态应用的，"对普通长度输入的质量略有损害，仅在确实需要长窗口时启用"。社区里"128GB DDR4 跑 35B 大模型，90 分钟烧坏一根内存条"的极端案例，更是把"35B 人人可跑"的叙事打回了原形——本地跑得动是一回事，跑得好、跑得稳是另一回事。

结论：分数要横向比，更要纵向拆

回到标题的问题：Ornith-1.5 的榜单水分，谁挤过？

答案藏在三层证据里。第一层，官方自己挤过——README 的评测脚注详尽到令人意外：5 次运行取均值、防 reward hacking 的网络与 Git 历史屏蔽、第三方闭源 judge、明确标注的 harness 与采样参数。这些细节说明官方并非拿一张裸分数表出来营销，而是在努力交代"分数是在什么条件下测出来的"。第二层，数据本身在挤——DeepSWE 的 22 分、Frontier-Bench 的 5.1 分，与 SWE-bench Verified 的 79 分之间的巨大落差，是同一张表里最诚实的部分。第三层，社区实测在挤——16G 显存下的量化对比、与 Qwen 35B 的实际体验差异、2×80GB 才能舒服跑满的部署门槛，都在把"Opus 4.8 级性能"拉回到"这是一款需要认真对待、但远未封神的开源模型"的现实坐标。

对于要选型落地的工程师，最务实的建议是：榜单只用来筛候选，别用来定胜负。把 Ornith-1.5-35B-A3B 的 GGUF 量化版（Q4_K_M / Q5_K_M / Q6_K / Q8_0）拉到自己的真实代码库上跑一遍 Terminal-Bench 式的任务，再对照榜单决定去留——毕竟，"AI 自己出题自己练"能涨分，但只有"你出题它做"才是工程世界里唯一的硬通货。

【免费下载链接】Ornith-1.5-35B-A3B-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/ornith-ai/Ornith-1.5-35B-A3B-GGUF