企业官网建设流程全解析

简介：本资源是2026年第十四届泰迪杯数据挖掘挑战赛B题——“上市公司财报智能问数助手”的全栈式解题方案，面向参赛学生、数据科学初学者及金融AI实践者，解决财报结构化解析、自然语言转SQL、多跳RAG问答与交互式可视化等核心难点。压缩包共281个文件，含19个Python主程序（覆盖PDF双阶解析、NL2SQL引擎、RAG检索与Agent规划）、29个Excel结果表（严格对标官方提交模板）、29个PNG/JPG图表（含系统架构图、算法流程图与动态渲染效果图）及94个PDF文档（含论文、技术报告与样例数据），整体551.43MB。已有786人学习下载。用户可直接获取近2万字无水印Word论文（含六维意图分类模型详解与DAG自主规划框架）、React+FastAPI全栈Web源码（支持多轮对话与AI思考过程可视化）、经五维逻辑校验的SQLite财报数据库（financial_data.db）及一键运行脚本run_all.py，代码模块清晰、注释完备，小白亦可快速复现完整流程。

1. 为什么财报“智能问数”不是加个ChatUI就完事？——从泰迪杯B题看企业级数据问答的真实断层

2026年第14届泰迪杯数据挖掘挑战赛B题，标题直击一个高频痛点：“上市公司财报‘智能问数’助手”。但如果你真去跑通一个能回答“宁德时代2025年Q3研发费用同比涨了多少？”的系统，很快会发现：前端弹出个对话框、后端调个LLM API，根本撑不起“智能问数”四个字。真实场景里，财报数据藏在PDF附注页的表格里、同一指标在不同年份用不同口径披露（比如“销售费用”在2023年报叫“营业费用”，2024年报又拆成“市场推广费+渠道服务费”）、甚至关键数字被嵌在一段文字描述中（“本期因处置子公司确认投资收益约1.2亿元”）。这些不是NLP微调能绕开的，而是数据工程、财务语义建模和检索增强生成（RAG）三者咬合的硬骨头。

这道题本质是考你能不能把“财报”这个半结构化、强领域、高噪声的数据源，变成可精准查询、可逻辑推导、可溯源验证的“数据资产”。它不面向算法竞赛老手刷榜，而面向真正要落地财务BI系统的工程师——你需要知道PDF解析时OCR错把“1,234.56”识别成“1.234.56”怎么修；知道为什么直接用BERT做财报实体链接准确率卡在72%上不去；更要知道当用户问“对比比亚迪和蔚来2024年毛利率变化趋势”，系统必须自动对齐会计期间、统一收入确认口径、排除一次性损益干扰。本文所有步骤，都来自我带队复现该题完整方案时踩过的坑、调过的参数、重写的三版PDF解析逻辑。不讲虚的，只说怎么让模型在财报数据上真正“听懂人话”。

2. 从PDF财报到结构化表：财报文本解析的三道生死关

财报原始数据90%以上以PDF形式发布，而PDF不是文档，是“印刷品的数字快照”。直接扔给LLM？等于让博士生靠扫描件背《本草纲目》——字都认不全，遑论理解。我们必须先过三关：版式还原关、表格重建关、语义锚定关。这三步没走稳，后面所有RAG、微调都是空中楼阁。

2.1 PDF版式解析：别迷信PyMuPDF，试试pdfplumber+layoutparser双校验

很多队伍第一反应是fitz.open()读PDF，但PyMuPDF对复杂财报（尤其是带多栏、浮动图表、水印的年报）极易丢失文本顺序。我们实测发现：宁德时代2024年报第47页“合并现金流量表”被PyMuPDF解析后，行序错乱率达38%。

更稳的做法是pdfplumber + layoutparser联合定位：

import pdfplumber from layoutparser import Layout, load_model # 加载预训练版面分析模型（轻量级，适合财报） model = load_model("lp://PubLayNet/faster_rcnn_R_50_FPN_3x/config") def parse_pdf_with_layout(pdf_path): with pdfplumber.open(pdf_path) as pdf: all_pages = [] for i, page in enumerate(pdf.pages): # 获取原始图像用于layoutparser检测 pil_img = page.to_image(resolution=150).original layout = model.detect(pil_img) # 提取文本块并按layout区域分组 text_blocks = [] for block in layout: if block.type in ["Text", "Title"]: # 过滤掉图表、页眉页脚 # 用pdfplumber精确提取该区域文本 bbox = (block.block.x_1, block.block.y_1, block.block.x_2, block.block.y_2) cropped = page.crop(bbox) text = cropped.extract_text(x_tolerance=2, y_tolerance=1) if text and len(text.strip()) > 5: # 去除短噪音 text_blocks.append({ "text": text.strip(), "bbox": bbox, "type": block.type, "page": i }) all_pages.append(text_blocks) return all_pages # 示例：解析宁德时代2024年报前10页 pages = parse_pdf_with_layout("300750_2024.pdf")

关键参数说明：

• resolution=150：PDF转图分辨率，低于120会导致layoutparser漏检小字号表格标题；高于200内存暴涨且无增益；
• x_tolerance=2, y_tolerance=1：pdfplumber文本提取容差，财报常用宋体小五号字，y方向容忍1像素才能连起被分割的数字“1,234.56”；
• block.type in ["Text", "Title"]：layoutparser输出含"Table"类型，但财报表格常被误判为"Figure"，故优先信任文本块，表格单独处理。

2.2 表格重建：用camelot-cv而非tabula，解决跨页表格断裂

财报核心数据全在表格里，但跨页表格（如“合并资产负债表”常占3页）是最大陷阱。tabula默认按单页切分，导致“货币资金”行在P1，“交易性金融资产”行在P2，拼接后列错位。

我们改用camelot-cv（基于OpenCV的表格线检测），并强制开启flavor="stream"模式：

import camelot import pandas as pd def extract_table_from_pdf(pdf_path, page_range="1-5"): # 关键：使用stream模式，不依赖表格线，靠文本密度聚类 tables = camelot.read_pdf( pdf_path, pages=page_range, flavor="stream", edge_tol=500, # 增大边缘容差，适应财报页边距不一 row_tol=10, # 行间距容忍度，财报常用8-10pt字体 column_tol=15 # 列间距容忍度，应对“应收账款”与“坏账准备”紧邻 ) # 合并跨页表格：按表头相似度聚类（用Jaccard距离） merged_tables = [] for t in tables: header = t.df.iloc[0].astype(str).str.replace(r"\s+", "", regex=True).tolist() # 计算表头指纹（去空格+小写+取前5列） fingerprint = "_".join(header[:5]).lower()[:30] # 按fingerprint合并同表 found = False for mt in merged_tables: if mt["fingerprint"] == fingerprint: mt["dfs"].append(t.df) found = True break if not found: merged_tables.append({ "fingerprint": fingerprint, "dfs": [t.df] }) # 拼接每个表的所有页数据 final_dfs = [] for mt in merged_tables: if len(mt["dfs"]) == 1: final_dfs.append(mt["dfs"][0]) else: # 多页拼接：取第一页为模板，后续页补空行对齐 base_df = mt["dfs"][0] for df in mt["dfs"][1:]: # 对齐列名（财报表格列名常有缩写差异） df.columns = base_df.columns[:len(df.columns)] base_df = pd.concat([base_df, df], ignore_index=True) final_dfs.append(base_df) return final_dfs # 解析“合并利润表”所在页（通常为P20-P25） profit_tables = extract_table_from_pdf("300750_2024.pdf", "20-25")

血泪经验：

• flavor="stream"比"lattice"稳定10倍——财报表格线常被PDF压缩丢弃，但文本位置密度不变；
• edge_tol=500是宁德时代年报实测最优值，小于300时漏掉页眉下的表格；
• 跨页合并不用简单pd.concat，必须按表头指纹聚类，否则“资产负债表”和“现金流量表”会被强行拼成一张怪表。

2.3 财务语义锚定：构建财报指标词典，解决“同一指标不同名”问题

财报里“净利润”可能叫“归属于母公司股东的净利润”、“净收益”、“本期盈利”；“应收账款”可能写作“应收款项”、“客户应收款”。不做标准化，RAG检索时关键词就匹配不上。

我们手工构建了覆盖A股TOP100公司近5年财报的财务指标映射词典（已开源在配套代码中），核心逻辑是三级归一：

实现时用spaCy + 自定义规则管道：

import spacy from spacy.matcher import PhraseMatcher from spacy.tokens import Span # 加载财务词典（json格式：{"净利润": ["归属于母公司股东的净利润", "净收益", ...]}) with open("financial_terms_dict.json") as f: term_dict = json.load(f) nlp = spacy.load("zh_core_web_sm") matcher = PhraseMatcher(nlp.vocab, attr="LOWER") # 将所有别名转为PhraseMatcher模式 for canonical, aliases in term_dict.items(): patterns = [nlp(alias) for alias in aliases] matcher.add(canonical, patterns) def normalize_financial_term(text): doc = nlp(text) matches = matcher(doc) normalized = text # 按匹配长度降序处理，避免短词覆盖长词（如“净利润”匹配到“净利润（扣非）”中） matches.sort(key=lambda x: x[2]-x[1], reverse=True) for match_id, start, end in matches: canonical_term = nlp.vocab.strings[match_id] # 替换原文本中的匹配段 span_text = doc[start:end].text normalized = normalized.replace(span_text, canonical_term) return normalized # 测试 print(normalize_financial_term("扣除非经常性损益后的净利润为5.2亿元")) # 输出：净利润（扣非）为5.2亿元

提示：词典必须动态更新——2025年新会计准则要求“使用权资产”替代“固定资产”部分科目，你的词典若没这条，RAG就永远找不到租赁相关数据。

3. 构建财报专属向量库：为什么通用Embedding在财报上准确率只有53%？

很多队伍直接用bge-m3或text2vec-large-chinese做财报文本向量化，结果在“智能问数”测试集上召回率惨不忍睹。原因很现实：通用模型没见过“商誉减值测试”、“套期会计”、“可转换债券负债成分分拆”这类专业表述，向量空间里它们和普通中文词距离极远。

我们实测了5种Embedding模型在财报QA任务上的表现（测试集：300条人工标注的财报问题-答案对）：

结论明确：必须用财报领域微调的Embedding模型。我们选择在hfl/chinese-bert-wwm-ext基础上，用10万条财报句子（来自巨潮资讯网2020-2024年报）继续MLM预训练，并加入财务NER任务（识别“商誉”、“少数股东权益”等实体）。

3.1 微调FinBERT：用HuggingFace Trainer跑通最小可行流程

from transformers import AutoTokenizer, AutoModel, TrainingArguments, Trainer from datasets import Dataset import torch # 1. 加载预训练模型和分词器 model_name = "hfl/chinese-bert-wwm-ext" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) # 2. 构建财报领域预训练数据集（格式：每行一个财报句子） def tokenize_function(examples): return tokenizer( examples["text"], truncation=True, padding=True, max_length=512, return_tensors="pt" ) # 假设train_sentences是10万条财报句子列表 train_dataset = Dataset.from_dict({"text": train_sentences}) tokenized_datasets = train_dataset.map( tokenize_function, batched=True, remove_columns=["text"] ) # 3. 定义训练参数（重点：降低学习率，延长warmup） training_args = TrainingArguments( output_dir="./finbert-finetuned", num_train_epochs=3, per_device_train_batch_size=16, warmup_ratio=0.1, # 财报数据分布偏斜，需更长warmup learning_rate=2e-5, # 比通用微调低5倍，防破坏原有语义 save_steps=500, logging_steps=100, fp16=True, # 必开，否则显存爆炸 report_to="none" ) # 4. 实例化Trainer（无需自定义DataCollator，MLM用默认） trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets, ) trainer.train() # 5. 保存微调后模型 model.save_pretrained("./finbert-finetuned-final") tokenizer.save_pretrained("./finbert-finetuned-final")

参数玄学：

• warmup_ratio=0.1：财报文本中专业术语占比高，模型需要更长时间适应分布；
• learning_rate=2e-5：实测若用5e-5，3轮后“递延所得税资产”和“递延所得税负债”向量距离从0.42恶化到0.61；
• fp16=True：不开启则单卡V100训不动，batch_size被迫降到4，收敛变慢。

3.2 向量库构建：用FAISS做财报专用索引，支持混合检索

单纯向量检索在财报场景不够——用户问“宁德时代2024年研发投入占营收比”，需要同时匹配：
① 文本语义（“研发投入”、“营收比”）
② 结构化约束（“宁德时代”、“2024年”）
③ 数值范围（“占比”暗示要计算，非直接查找）

因此我们采用FAISS + 元数据过滤 + 关键词增强的混合策略：

import faiss import numpy as np from sentence_transformers import SentenceTransformer # 加载微调后的Embedding模型 embedder = SentenceTransformer("./finbert-finetuned-final") # 构建向量库：每个chunk含文本+元数据 chunks = [] metadatas = [] for page_idx, blocks in enumerate(pages): for block in blocks: if len(block["text"]) < 20: # 过滤短文本噪音 continue # 添加元数据：公司代码、年份、报表类型、页码 metadata = { "company_code": "300750", "year": 2024, "report_type": "annual", "page": page_idx, "section": detect_section(block["text"]) # 如"合并利润表"、"管理层讨论" } chunks.append(block["text"]) metadatas.append(metadata) # 批量编码（避免OOM） batch_size = 32 all_embeddings = [] for i in range(0, len(chunks), batch_size): batch = chunks[i:i+batch_size] embeddings = embedder.encode(batch, convert_to_tensor=False) all_embeddings.append(embeddings) embeddings = np.vstack(all_embeddings) # 构建FAISS索引（用IVF_PQ提升速度） dimension = embeddings.shape[1] quantizer = faiss.IndexFlatIP(dimension) index = faiss.IndexIVFPQ(quantizer, dimension, 100, 32, 8) index.train(embeddings) index.add(embeddings) # 保存索引和元数据 faiss.write_index(index, "finbert_faiss_index.faiss") with open("chunk_metadatas.json", "w") as f: json.dump(metadatas, f)

避坑：FAISS在财报场景的3个致命细节

1. 不要用IndexFlatL2：财报文本长度方差大（摘要50字，附注表格说明500字），余弦相似度比欧氏距离更鲁棒；
2. IVF聚类中心数=100：实测低于50时，跨年份财报（如2023/2024）被分到同一簇，导致时间过滤失效；
3. 元数据必须序列化存储：FAISS本身不存metadata，chunk_metadatas.json要和索引文件严格同名同目录，否则检索后无法反查“这是哪页的哪个表”。

4. RAG流水线设计：如何让LLM在财报上不胡说八道？

有了高质量向量库，下一步是让LLM基于检索结果生成答案。但直接喂qwen2-7b或glm-4，会出现经典翻车：

• 用户问“比亚迪2024年Q4毛利率”，模型答“42.3%”，实际财报写的是“41.8%”；
• 用户问“对比宁德时代和亿纬锂能2024年研发费用”，模型编造亿纬锂能数据（因其未检索到）；
• 用户问“2024年宁德时代是否有商誉减值”，模型答“无”，但财报附注第12页明确写了“对XX子公司商誉计提减值1.2亿元”。

根源在于：RAG不是“检索+生成”，而是“检索+验证+生成+溯源”的闭环。我们设计了四层防护：

4.1 检索层：双路召回 + 财务意图识别

不只靠向量相似度，我们增加关键词强化召回（解决专业术语向量漂移）：

def hybrid_retrieve(query, top_k=5): # 步骤1：财务意图识别（用小模型快速分类） intent = classify_intent(query) # 返回"数值查询"、"对比分析"、"趋势判断"等 # 步骤2：向量检索（主路） query_vec = embedder.encode([query])[0] _, indices = index.search(np.array([query_vec]), top_k*2) # 步骤3：关键词检索（辅路）——提取query中的财务实体 financial_entities = extract_financial_entities(query) # 如["宁德时代", "2024年", "毛利率"] keyword_matches = [] for ent in financial_entities: # 在metadatas中模糊匹配（公司代码、年份、指标名） for i, meta in enumerate(metadatas): if (ent in str(meta.get("company_code", "")) or ent in str(meta.get("year", "")) or ent in normalize_financial_term(ent)): keyword_matches.append(i) # 合并结果：向量top10 + 关键词匹配top5，去重后取top_k all_indices = list(set(indices[0].tolist() + keyword_matches)) return [chunks[i] for i in all_indices[:top_k]] # 示例 results = hybrid_retrieve("宁德时代2024年毛利率是多少？") # 返回：[ "合并利润表：...营业收入xxx，营业成本xxx...", # "管理层讨论：毛利率较上年提升2.1个百分点...", # "附注五、23：毛利率计算过程..." ]

4.2 验证层：用规则引擎校验LLM输出的数值与来源一致性

LLM生成答案后，必须用规则校验是否与检索到的原文一致：

import re def verify_numeric_answer(answer, retrieved_chunks): # 提取答案中的数字（支持带单位、百分号、逗号分隔） numbers_in_answer = re.findall(r"[-+]?\d{1,3}(?:,\d{3})*(?:\.\d+)?(?:%|亿元|万元|元)?", answer) # 提取所有检索块中的数字（同样正则） all_numbers_in_chunks = [] for chunk in retrieved_chunks: nums = re.findall(r"[-+]?\d{1,3}(?:,\d{3})*(?:\.\d+)?(?:%|亿元|万元|元)?", chunk) all_numbers_in_chunks.extend(nums) # 字符串级匹配（去除逗号、单位后比较） for ans_num in numbers_in_answer: clean_ans = re.sub(r"[,亿元万元元%]", "", ans_num) try: float_ans = float(clean_ans) for chunk_num in all_numbers_in_chunks: clean_chunk = re.sub(r"[,亿元万元元%]", "", chunk_num) if abs(float(clean_chunk) - float_ans) < 0.1: # 允许0.1误差（四舍五入） return True, chunk_num except: continue return False, None # 使用示例 answer = "宁德时代2024年毛利率为41.8%。" is_valid, source_num = verify_numeric_answer(answer, results) # is_valid=True, source_num="41.8%"

注意：此校验必须在LLM生成后立即执行，若失败则触发重试机制（换检索块、加约束提示词），而非直接返回错误。

4.3 生成层：用结构化提示词约束LLM输出格式

我们不用自由生成，而是强制LLM输出JSON Schema：

SYSTEM_PROMPT = """你是一个专业的财报分析助手，严格基于提供的财报文本片段回答问题。 请按以下JSON格式输出，不要任何额外字符： { "answer": "直接答案（如'41.8%'、'同比增长12.3%'）", "reasoning": "推理过程（引用原文关键句，如'根据合并利润表，2024年营业收入xxx，营业成本xxx，计算得毛利率41.8%'）", "source_page": 23, "confidence": 0.95 // 0.0-1.0，依据答案与原文匹配度打分 }""" USER_PROMPT = f"""问题：{query} 检索到的财报文本： {chr(10).join(retrieved_chunks[:3])} # 只传前3块，防上下文溢出 """ # 调用Qwen2-7B-Instruct（经财报指令微调） response = llm.chat( system=SYSTEM_PROMPT, messages=[{"role": "user", "content": USER_PROMPT}] )

关键技巧：source_page字段必须从metadatas中提取，不能让LLM自己猜——我们实测LLM瞎猜页码准确率仅61%，而metadatas[i]["page"]是确定值。

5. 避坑指南：泰迪杯B题最常踩的5个深坑及血泪解法

做这个题时，我和团队在72小时内重写了3次核心模块。以下5个坑，每一个都曾让我们凌晨3点对着日志抓狂。现在把解决方案焊死在代码里，希望帮你省下20小时debug时间。

5.1 坑：PDF解析后数字错位——“1,234.56”变成“1.234.56”

现象：财报中“货币资金：1,234,567,890.12元”被OCR识别为“货币资金：1.234.567.890.12元”，后续所有数值计算全错。

原因：pdfplumber默认用.作为小数点，但中文PDF中千分位分隔符也是.（尤其港美股财报），导致float("1.234.567.890.12")直接报错。

解决：

1. 在文本清洗阶段，用正则识别“数字+点+数字+点+数字”模式（如\d+\.\d+\.\d+）；
2. 判断是否为千分位：若点后数字长度≤3且总长度>8，则替换中间点为逗号；
3. 最终用locale.atof()解析（自动识别中文千分位）：

import locale locale.setlocale(locale.LC_ALL, 'Chinese') def safe_parse_number(text): # 匹配疑似千分位数字：至少两个点，且点间数字≤3位 pattern = r"(\d{1,3})\.(\d{1,3})\.(\d{1,3})\.(\d{1,3})" match = re.search(pattern, text) if match: # 重构为标准格式：1,234,567,890.12 parts = match.groups() if len(parts[1]) <= 3 and len(parts[2]) <= 3: new_num = f"{parts[0]},{parts[1]},{parts[2]}.{parts[3]}" return locale.atof(new_num) return locale.atof(text.replace(",", "")) # fallback # 测试 print(safe_parse_number("货币资金：1.234.567.890.12元")) # 1234567890.12

5.2 坑：RAG检索到“2024年”但LLM回答“2023年”数据

现象：用户明确问“2024年”，检索块也含“2024年”，但LLM生成答案时用了隔壁块的2023年数据。

原因：LLM注意力机制被长文本干扰，且未对时间字段做强约束。

解决：在prompt中插入时间锚点指令，并用正则后处理：

# 在USER_PROMPT中强制插入： TIME_CONSTRAINT = f"【时间约束】所有答案必须基于'{year}'年数据，禁止使用其他年份数据。若检索块中无'{year}'年数据，回答'未找到{year}年相关信息'。" # LLM输出后，用正则校验答案中是否含指定年份 def enforce_year_constraint(answer, year): if str(year) not in answer and "未找到" not in answer: # 提取答案中出现的年份 years_in_answer = re.findall(r"20\d{2}", answer) if years_in_answer and years_in_answer[0] != str(year): return f"答案中使用了{years_in_answer[0]}年数据，但问题要求{year}年，请重新回答。" return answer

5.3 坑：财务指标归一化漏掉“（续）”页脚——导致“应收账款”和“应收账款（续）”被当两个指标

现象：表格跨页时，第二页标题常为“应收账款（续）”，词典未覆盖，导致归一化失败。

原因：手工词典难以穷举所有页脚变体。

解决：动态清洗页脚再归一化：

def clean_section_header(header): # 移除页脚标记 header = re.sub(r"（续）$", "", header) header = re.sub(r"（下）$", "", header) header = re.sub(r"（下转.*?）$", "", header) header = re.sub(r"第.*?页$", "", header) return header.strip() # 归一化前先清洗 cleaned_header = clean_section_header("应收账款（续）") normalized = normalize_financial_term(cleaned_header) # → "应收账款"

5.4 坑：FAISS索引加载后内存暴涨3倍，服务直接OOM

现象：本地测试OK，部署到服务器后，加载FAISS索引瞬间吃光32GB内存。

原因：FAISS默认用faiss.index_cpu_to_all_gpus()，即使没GPU也会拷贝冗余副本。

解决：强制CPU模式，且用内存映射：

# 加载时 index = faiss.read_index("finbert_faiss_index.faiss") # 关键：禁用GPU，用mmap减少内存占用 faiss.omp_set_num_threads(4) # 限制线程数 index = faiss.index_cpu_to_gpu(faiss.StandardGpuResources(), 0, index) # 若有GPU # 若无GPU，直接用： # index = faiss.index_cpu_to_gpu(faiss.StandardGpuResources(), 0, index) # 不！改用： # index = faiss.index_cpu_to_gpu(faiss.StandardGpuResources(), 0, index) # 错误示范 # 正确做法：不转GPU，用mmap index = faiss.read_index("finbert_faiss_index.faiss", faiss.IO_FLAG_MMAP)

5.5 坑：LLM生成答案含“根据财报显示”，但实际未检索到任何财报文本

现象：检索失败时，LLM仍自信回答“根据财报显示，宁德时代2024年毛利率为XX%”。

原因：Prompt未明确告知LLM“检索失败”的边界条件。

解决：在prompt中定义空检索块的特殊处理协议：

# 当retrieved_chunks为空时，USER_PROMPT改为： EMPTY_RETRIEVAL_PROMPT = f"""问题：{query} 【重要】未检索到相关财报文本。请严格回答：'未检索到{company} {year}年相关财报数据，请检查公司名称、年份或指标名称是否正确。' 不要添加任何推测、解释或额外信息。"""

6. 验证与上线：用“三阶验证法”确保财报问答可信可用

做完所有模块，别急着交题。财报问答系统一旦出错，轻则误导投资者，重则引发合规风险。我们用一套三阶验证法（人工抽检→规则校验→A/B测试）确保交付质量。这套方法在泰迪杯答辩时被评委点名“具备工业级落地思维”。

6.1 第一阶：人工抽检——聚焦“高危问题”清单

不随机抽，而是针对财报场景设计20个高危问题模板，覆盖所有易错类型：

我们人工抽检了50家公司×20问题=1000条，记录每条的：
✅ 溯源页码是否正确
✅ 数值是否与原文一致
✅ 是否存在幻觉（编造未检索到的信息）
❌ 未通过项全部打回重训Embedding或调整RAG阈值。

6.2 第二阶：规则校验——自动化拦截99%低级错误

在API层加一道实时规则引擎，对每个回答做原子级校验：

def validate_answer(answer_json, retrieved_chunks): errors = [] # 校验1：数值存在性 if "answer" in answer_json: if re.search(r"\d+", answer_json["answer"]): is_num_valid, _ = verify_numeric_answer(answer_json["answer"], retrieved_chunks) if not is_num_valid: errors.append("数值未在检索文本中找到") # 校验2：时间一致性 if "year" in answer_json.get("metadata", {}): if str(answer_json["metadata"]["year"]) not in answer_json["answer"]: errors.append("答案未体现指定年份") # 校验3：溯源完整性 if "source_page" not in answer_json or answer_json["source_page"] < 0: errors.append("缺失有效溯源页码") # 校验4：置 <p> <a href="https://download.csdn.net/download/qq_40379132/92768164" style="color:#ec7500;font-size:14px;"> 本文还有配套的精品资源，点击获取 </a> <img alt="menu-r.4af5f7ec.gif" src="https://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif" style="width:16px;margin-left:4px;vertical-align:text-bottom;cursor:text;"> </p>