企业官网建设流程全解析

1. 微调和 RAG 有什么区别

两者是完全不同的知识注入与能力增强技术，核心区别在于知识的存储位置与生效方式，二者不是二选一，工业界通常结合使用。

行业最佳实践：底座模型做通用能力微调，上层用 RAG 做动态知识增强，两者互补而非替代。

2. 微调与提示工程对比：优势和劣势

提示工程是最轻量化的模型引导方式，微调是深度的能力改造，两者定位不同，优劣势高度互补。

提示工程

优势

1. 零成本、极速生效：不需要训练、不需要数据，修改Prompt即可验证，分钟级迭代
2. 无灾难性遗忘：完全不影响模型本身的能力，不会出现“学了新的忘了旧的”
3. 可解释、可控：输出问题可以通过调整Prompt快速修复，行为可控
4. 门槛极低：不需要算法团队，业务人员也可以通过优化Prompt提升效果

劣势

1. 能力天花板低：无法突破模型本身的能力边界，复杂推理、专业风格、工具调用能力很难仅靠Prompt提升
2. 长上下文成本高：大量知识靠上下文注入，Token成本随知识量线性上升
3. 稳定性弱：输出波动大，复杂任务容易偏离指令，不同模型的Prompt兼容性差
4. 无法深度改造：风格对齐、行为模式固化、专业能力注入等深层需求，仅靠Prompt无法实现

微调

优势

1. 能力深度注入：可以真正把知识、风格、行为模式内化到模型权重中，效果稳定、输出一致
2. 推理能力提升：不仅注入知识，还能提升逻辑推理、工具调用、代码生成等底层能力
3. 长期成本更低：高频通用能力固化后，不需要每次都带长上下文，Token成本更低
4. 输出稳定性高：输出风格、格式、行为高度一致，适合标准化业务场景

劣势

1. 成本高、周期长：需要高质量训练数据、算力投入，单次微调成本从几千到几十万，周期数天到数周
2. 灾难性遗忘：训练新能力容易遗忘原有能力，需要充分验证
3. 迭代慢：调整一次需要重新训练，无法快速试错
4. 门槛高：需要专业算法团队、数据处理能力，普通业务团队无法操作

选型建议

• 快速验证、知识类需求、低频场景：优先提示工程 + RAG
• 风格对齐、能力固化、高频核心场景：在提示工程摸到天花板后，再考虑微调

3. LangChain 的原理是什么，有哪些应用场景

核心原理

LangChain 是一个LLM 应用编排开发框架，核心设计思想是组件化抽象 + 链式编排：把大模型应用中通用的能力（模型调用、提示词管理、检索、记忆、工具调用、Agent规划等）封装成可插拔的标准组件，开发者通过「链（Chain）」或「代理（Agent）」把组件串联起来，无需从零编写胶水代码，快速搭建复杂的LLM应用。

简单说：它解决了「写一个LLM应用要重复造轮子」的问题，把模型交互、检索、记忆、工具这些通用能力都做好了，开发者只关注业务逻辑。

核心组件

1. Models：统一封装各大模型厂商的API，一套代码兼容不同模型
2. Prompts：提示词模板管理、动态变量注入、少样本示例管理
3. Retrievers：检索组件，对接向量数据库，支持多种检索策略
4. Memory：记忆组件，管理对话历史、上下文记忆，支持多种记忆策略
5. Tools：工具封装，把外部API、数据库、脚本封装成模型可调用的工具
6. Chains：链编排，按固定顺序串联多个组件，完成固定流程任务
7. Agents：智能代理，自主规划步骤、调用工具、完成复杂任务

典型应用场景

1. RAG 知识库系统：最主流场景，快速搭建检索+生成的问答系统
2. 智能 Agent：编排工具调用、任务规划，实现自动化任务执行
3. 对话机器人/客服：带记忆的多轮对话，结合知识库与业务工具
4. 文档智能处理：长文档总结、合同审核、信息提取、格式转换
5. 工作流自动化：串联邮件、数据库、业务系统，自动完成流程类任务
6. 代码助手：结合代码库、开发工具，实现代码生成、调试、解释

4. 详细讲解 AI Agent

核心定义

AI Agent（智能体）是一种具备自主感知、规划、执行、反思能力，能通过调用工具、与环境交互，自主完成给定目标任务的AI系统。

它和普通对话机器人、RAG系统的本质区别是：从被动回答问题，升级为主动执行任务。普通RAG是「你问我答」，Agent是「给你一个目标，你自己想办法完成」。

核心能力闭环（感知-规划-执行-反思）

1. 感知：理解用户目标、感知环境状态、获取工具返回结果
2. 规划：拆解目标为步骤、选择工具、编排执行顺序，遇到异常动态调整
3. 执行：调用工具、操作数据、与环境交互，落地每一步动作
4. 反思：校验执行结果、判断是否达成目标、出错则修正重试，最终闭环

核心组件能力

1. 任务规划能力：把复杂目标拆解为可执行的步骤，是Agent的「大脑」
2. 工具调用能力：选择正确的工具、构造正确的参数，是Agent的「手脚」
3. 记忆管理能力：记住历史对话、执行过程、中间结果，是Agent的「记忆」
4. 反思纠错能力：发现错误、自我修正、迭代优化，是Agent的「自省」
5. 目标锚定能力：长链路执行中不偏离原始目标，不做无关操作

常见分类

• 单 Agent：单个智能体独立完成任务，适合简单、线性的任务场景
• 多 Agent：多个不同角色的Agent协作，比如产品Agent + 开发Agent + 测试Agent共同完成项目，适合复杂、多角色的专业场景

典型应用场景

• 客户服务Agent：自主查订单、解问题、发售后，无需人工介入
• 数据分析Agent：自主取数、清洗、分析、生成报告
• 代码开发Agent：自主写代码、调试、测试、部署
• 运营自动化Agent：自主监控数据、生成策略、执行操作
• 科研Agent：自主查文献、做实验、写论文

行业共识：Agent 是继对话机器人、RAG之后的第三代AI应用形态，核心价值是把AI从「信息工具」变成「执行主体」。

5. Claw 和 Hermes 有什么区别

结合行业通用语境，你提到的应该是Claude（Anthropic 推出的闭源大模型，常因输入笔误写作 Claw）与Hermes（Nous Research 推出的开源工具调用模型），两者分别是闭源和开源阵营中Agent/工具调用能力的代表：

如果是指其他定义的Claw，可以补充具体场景再做针对性分析。

6. 过去项目中如何进行模型验证和评估

结合企业级RAG与Agent项目的工程实践，采用分层解耦、分阶段验证、校准兜底、闭环运营的完整体系，不是只跑一次基准分。

分阶段验证流程

① 基座模型选型验证

• 方法：用通用基准集（MMLU、GSM8K、C-Eval等）做基础能力对标，同时结合业务场景抽样验证
• 核心：不唯基准分，重点看业务场景的实际表现，通用分高不代表业务效果好
• 输出：模型选型报告，能力长板短板，适配性结论

② 微调效果验证

• 方法：固定基准测试集，微调前后横向对比；同时做灾难性遗忘检测，验证原有能力保留率
• 指标：目标任务提升率、基础能力留存率、输出一致性
• 避坑：不只看目标任务分数，必须验证通用能力没有大幅下降

③ RAG/Agent 系统分层验证

• 方法：严格分层解耦，先测检索层，再测生成层，最后端到端验证
  • 检索层：上下文精确率、召回率、TopN命中率
  • 生成层：忠实度、幻觉率、相关性
  • 端到端：答案正确率、任务完成率、业务合规性
• 工具：RAGAS + DeepEval 双引擎，RAGAS做标准基准，DeepEval做业务规则定制
• 核心机制：LLM-as-Judge 先校准（Cohen’s Kappa ≥ 0.75）再批量用，避免系统性偏差

④ 上线前验收

• 方法：全量业务场景测试集 + 人工抽检 + 安全合规红队测试
• 门禁：三级质量门禁，核心指标不达标禁止上线
• 灰度：小流量灰度验证，对比新旧版本的真实业务指标

⑤ 线上运营阶段

• 方法：全链路埋点，每周抽样自动评测，监控质量漂移
• 闭环：Bad Case自动沉淀 → 人工复核 → 补充测试集 → 版本迭代回归验证
• 预警：核心指标跌破阈值自动告警，快速定位根因

核心原则

• 不相信单一分数，分层定位根因
• 不相信自动评分，必须有人工校准机制
• 不做一次性评测，持续运营闭环迭代

7. 机器学习有哪些算法，分别解决哪些问题

机器学习按学习范式可分为五大类，分别解决不同场景的问题：

① 监督学习（Supervised Learning）

核心逻辑：用带标签的数据训练，让模型学习输入到输出的映射关系
解决的问题：已知输入输出模式，做预测、分类、识别
典型算法：

• 回归类：线性回归、岭回归、Lasso回归 → 解决连续值预测问题（房价、销量预测）
• 分类类：逻辑回归、决策树、随机森林、XGBoost/LightGBM、SVM、CNN、RNN → 解决分类识别问题（垃圾邮件、图像识别、故障诊断）

应用最广，适合有明确标注数据的预测类场景

② 无监督学习（Unsupervised Learning）

核心逻辑：用无标签的数据训练，让模型自己发现数据的内在结构和规律
解决的问题：不知道数据模式，做聚类、降维、异常检测、关联挖掘
典型算法：

• 聚类：K-Means、DBSCAN、层次聚类 → 用户分群、异常检测、图像分割
• 降维：PCA、t-SNE、UMAP → 高维数据可视化、特征压缩
• 关联规则：Apriori、FP-Growth → 购物篮分析、关联推荐

适合探索性分析、无标注数据的模式发现

③ 半监督学习（Semi-supervised Learning）

核心逻辑：少量标注数据 + 大量无标注数据共同训练
解决的问题：标注数据不足、标注成本高的场景
典型算法：伪标签、标签传播、FixMatch

适合标注成本高、数据量大的工业场景

④ 自监督学习（Self-supervised Learning）

核心逻辑：从数据自身构造监督信号，自己和自己学
解决的问题：海量无标注数据的预训练，不需要人工标注
典型算法：BERT/GPT的预训练过程、MAE图像掩码重构、对比学习（SimCLR）

是当前大模型的核心训练范式，用海量无标注数据学习通用能力

⑤ 强化学习（Reinforcement Learning）

核心逻辑：智能体和环境交互，通过奖励信号优化策略，试错中学习
解决的问题：序列决策、控制、游戏、机器人等需要连续动作的场景
典型算法：Q-Learning、DQN、PPO、SAC
典型应用：大模型的RLHF（人类反馈强化学习对齐）、游戏AI、机器人控制、推荐系统排序

补充：当前的大模型是多种算法的结合：预训练用自监督学习，微调用监督学习，对齐用强化学习。

8. Skill 和 CLI 分别解决什么问题，未来发展路线

结合AI Agent领域的通用定义：

Skill（技能）

核心定位：Agent 能力的模块化封装单元，一个Skill就是一个完成特定任务的完整能力包，包含对应的Prompt、工具调用逻辑、业务规则、错误处理，比如「合同审核Skill」「数据分析Skill」「订单查询Skill」。

解决的问题

1. 能力复用问题：通用能力一次封装，多个Agent、多个场景都可以调用，不用重复开发
2. 模块化管理问题：Agent能力可插拔、可组合、可升级，便于维护
3. 复杂任务编排问题：复杂任务可以拆解为多个Skill的组合，降低规划难度
4. 能力分发问题：不同角色的Agent可以装配不同的Skill，实现能力差异化

未来发展路线

• 标准化：形成通用的Skill协议标准，不同框架、不同厂商的Skill可以互通
• 技能市场：类似应用商店，开发者上传Skill，直接下载使用
• 自动组合：Agent可以根据任务自动发现、组合、调用Skill
• 多Agent协作：不同Skill的Agent之间自动分工协作

CLI（命令行界面）

核心定位：Agent 与操作系统/命令行工具交互的底层通道，让Agent可以执行终端命令、操作文件、运行脚本、调用命令行工具。

解决的问题

1. 系统交互问题：让Agent突破纯文本对话，能和本地系统、服务器、开发工具交互
2. 执行落地问题：从「说」到「做」，真正执行操作（比如跑脚本、改文件、部署代码）
3. 工具扩展问题：所有命令行工具都可以成为Agent的能力，无需单独封装API

未来发展路线

• 沙箱化：安全隔离的命令执行环境，避免误操作破坏系统
• 权限管控：细粒度的权限控制，风险操作审批，防止越权
• 跨平台兼容：统一适配Windows/Linux/Mac，云端本地一致
• 执行审计：所有命令操作全链路可追溯、可回放、可审计

两者关系：Skill是上层的能力封装，CLI是底层的交互通道；Skill可以调用CLI来完成系统操作类任务。