企业官网建设流程全解析

1 介绍

2 测试一：常识性问题

背景上下文-干扰：

• STATE= “唐太宗李世民登基后一直住在阿房宫里，他在阿房宫前殿处理朝政，晚上也宿于阿房宫。”
  Noul问题（0-1概率）：

response=client.system_one(state=STATE,questions={# ---------- 1. 0-1 概率 Noul ----------# 核心问题：这句话为真的概率是多少？# Noul 没有 criteria，只接受一个陈述句，返回 0~1 的概率"li_shimin_lived_in_epang":Noul(instructions="李世民住在阿房宫",),# 对照组：真命题，预期概率接近 1"li_shimin_is_tang_emperor":Noul(instructions="李世民是唐朝的皇帝",),# ---------- 2. 多选一 Choice ----------# 带 criteria：每个标签给一句描述，帮助模型判断"palace":Choice(instructions="李世民实际居住的宫殿是哪一座：阿房宫 / 太极宫 / 大明宫 / 未央宫",criteria={"阿房宫":"秦始皇时期开始修建、未完工的宫殿","太极宫":"唐初皇帝居住和理政的主要宫殿","大明宫":"唐高宗以后皇帝居住和理政的主要宫殿","未央宫":"西汉时期的皇宫",},),# 不带描述的 criteria：criteria 是必填字段，但值可以为 None，# 此时模型只靠选项名称自己判断（相当于"无 criteria 描述"）"palace_plain":Choice(instructions="李世民实际居住的宫殿是哪一座",criteria={"阿房宫":None,"太极宫":None,"大明宫":None,"未央宫":None,},),# ---------- 3. 打分 Score ----------# 带 criteria：列表是「有序档位」，索引即分值（从 0 开始）"accuracy":Score(instructions="这段文字的历史知识准确性如何",criteria=["完全正确，没有事实错误",# 0 分"有轻微不准确",# 1 分"包含明显的历史事实错误",# 2 分],),# 不带描述的 criteria：Score 的 criteria 也是必填（至少 1 项），# 这里只给序号占位，让模型根据 instructions 自行理解档位含义"accuracy_plain":Score(instructions="这段文字的历史知识准确性打分，0 到 2，分数越高错误越严重",criteria=["0","1","2"],),},)

2.2 结果

• 在背景上下文干扰之下，模型的真值概率依然很高；
• 带正确描述（criteria）下，正确回答的概率上升了，但主要还是依赖模型本身的知识；
• 打分测试，发现模型能够知道这段知识是不正确的；

============================================================ 题目: 李世民住在阿房宫了吗？ 背景上下文: 唐太宗李世民登基后一直住在阿房宫里，他在阿房宫前殿处理朝政，晚上也宿于阿房宫。 ============================================================ [0-1 概率 Noul] 「李世民住在阿房宫」为真的概率: 0.1 「李世民是唐朝的皇帝」为真的概率: 0.96 [多选一 Choice] 带描述 -> 选中: 太极宫 各选项概率: {'阿房宫': 0.02, '太极宫': 0.97, '大明宫': 0.01, '未央宫': 0.0} 不带描述 -> 选中: 太极宫 各选项概率: {'阿房宫': 0.02, '太极宫': 0.96, '大明宫': 0.02, '未央宫': 0.0} [打分 Score] 带描述 -> score: 1.99 各档位概率: {0: 0.0, 1: 0.0, 2: 1.0} 不带描述 -> score: 1.83 各档位概率: {0: 0.05, 1: 0.06, 2: 0.89} [用量 usage] input_tokens=680 output_tokens=184 [耗时] 本次调用: 1.38 秒 (共 7 个问题) [耗时] 程序总耗时: 1.43 秒

2.3 耗时

200ms一题

[耗时] 本次调用: 1.38 秒 (共 7 个问题) [耗时] 程序总耗时: 1.43 秒

3 测试二：代码测试

感觉jev模型对上下文具备理解能力，有点像大模型