八、AI / LLM
领域概览:本轮 AI 浪潮的核心概念,工程师快速入门必备。
术语 | 领域 | 字面误解 | 真实含义 | 备注/例子 |
|---|---|---|---|---|
幻觉 | LLM | 幻觉 | 模型生成看似合理但错误的内容 | Hallucination |
对齐 | AI 安全 | 对齐 | 让模型目标与人类价值一致 | Alignment |
越狱 | AI 安全 | 越狱 | 绕过模型安全限制 | Jailbreak |
提示注入 | AI 安全 | 注入 | 恶意输入劫持模型行为 | Prompt Injection |
思维链 CoT | LLM | 链子 | 让模型分步推理 | Chain-of-Thought |
思维树 ToT | LLM | 树 | 多分支推理搜索 | Tree-of-Thoughts |
RAG | LLM | 检索增强生成 | 先检索再生成 | 外挂知识库 |
Agent | LLM | 代理人 | 能调用工具、规划执行 | 智能体 |
LoRA/QLoRA | LLM | 低秩适配 | 轻量微调 | 低秩矩阵 |
RLHF | LLM | 人类反馈强化学习 | 用人类偏好训练奖励模型 | 对齐 |
DPO | LLM | 直接偏好优化 | 直接优化偏好 | 替代 RLHF |
蒸馏 | LLM | 蒸馏 | 大模型教小模型 | Distillation |
量化 | LLM | 量化 | 降低数值精度 | INT8、INT4 |
剪枝 | LLM | 修剪 | 去掉冗余参数 | Pruning |
MoE | LLM | 专家混合 | 多个专家网络,路由选择 | Mixture-of-Experts |
温度 | LLM | 温度 | 控制随机性 | Temperature |
Top-k/Top-p | LLM | 前 k/前 p | 采样策略 | 核采样 |
嵌入 | LLM | 嵌入 | 文本/图像转向量 | Embedding |
注意力 | LLM | 注意力 | 加权聚合上下文 | Attention |
自注意力 | LLM | 自己注意 | 序列内部注意力 | Self-Attention |
多头注意力 | LLM | 多头 | 多组注意力并行 | Multi-Head |
位置编码 | LLM | 位置 | 注入序列位置信息 | Positional Encoding |
知识截止 | LLM | 截止 | 训练数据时间点 | Knowledge Cutoff |
数据污染 | LLM | 污染 | 测试数据混入训练 | Data Contamination |
PagedAttention | LLM | 分页注意力 | KV Cache 分页管理 | vLLM |
连续批处理 | LLM | 连续 | 动态合批请求 | Continuous Batching |
图 Transformer 架构简图
实战场景:让 LLM 回答"法国的首都是哪里",它可能编一个幻觉答案。生产环境用 LLM 时必须配合RAG检索真实资料来降低幻觉率。
九、总结记忆法
9.1 三条核心规律
「对……透明」= 对……不可见、不用管、不能直接访问。这是最常考的"翻译"题。
方向别反:IR 对用户透明 ≠ 用户对 IR 透明。前者指 IR 不可见,后者指用户不可见。
很多术语是比喻或历史遗留:僵尸、孤儿、雪崩、脑裂、熔断、心跳、粘包、鸭子——记住字面比喻,反推真实含义。
9.2 高频面试/考试词
领域 | 必背词 |
|---|---|
体系结构 | IR、Cache、虚拟内存、DMA、MMIO、TLB、缺页 |
操作系统 | 僵尸进程、孤儿进程、COW、零拷贝、伪共享、惊群 |
网络 | 三次握手、粘包、NAT、透明代理、TIME_WAIT、QUIC |
编程 | 闭包、柯里化、鸭子类型、CAS、ABA、协程、Actor |
分布式 | 熔断、降级、限流、幂等、CAP、BASE、脑裂 |
数据库 | ACID、MVCC、WAL、LSM、B+ 树、回表、覆盖索引、最左前缀 |
安全 | UAF、Double Free、OOB、ROP、ASan |
AI/LLM | 幻觉、CoT、RAG、Agent、LoRA、RLHF、温度 |
9.3 一句话速记
学体系结构前先懂"透明"—— 半数困惑源于此
学分布式前先懂 CAP—— 后续设计都围绕它
学数据库前先懂ACIDvs BASE—— 选型决策的根
学LLM前先懂 Transformer 三大件—— 注意力 / 位置编码 / 残差
本系列完。如果觉得有用,欢迎关注作者主页,后续会更新每个领域的深度实战篇。