AI-Guide-and-Demos-zh_CN与李宏毅课程同步学习指南:生成式AI导论作业全解析
AI-Guide-and-Demos-zh_CN是一份全面的AI/LLM大模型入门指南,包含丰富教程和演示代码,特别提供了与李宏毅2024生成式人工智能导论课程同步的中文镜像作业,让学习者从API调用到本地模型部署和微调逐步深入,即使没有显卡也能通过Kaggle或Colab在线版本进行实践学习。
课程与项目完美结合:为什么选择AI-Guide-and-Demos-zh_CN?
李宏毅老师的生成式人工智能导论课程以深入浅出著称,但作业实践往往是学习过程中的难点。AI-Guide-and-Demos-zh_CN项目通过以下优势解决这一痛点:
- 完整中文镜像作业:提供课程全部作业的中文版本,消除语言障碍
- 配套代码实现:每个作业都有对应的Jupyter Notebook实现,包含详细注释
- 多平台支持:代码同时提供Kaggle和Colab在线运行版本,无需本地配置
- 难度分级:从基础到进阶的baseline设计,满足不同水平学习者需求
快速开始:从零搭建学习环境
一键获取项目代码
git clone https://gitcode.com/gh_mirrors/ai/AI-Guide-and-Demos-zh_CN cd AI-Guide-and-Demos-zh_CN作业文件结构概览
项目中的作业主要集中在以下路径:
- 作业说明文档:GenAI_PDF/ - 包含HW1到HW10的PDF作业说明
- 作业代码实现:Demos/ - 包含各作业的Jupyter Notebook实现
- 学习指导文章:Guide/ - 提供作业相关的理论知识和实现指南
代表性作业解析:以BERT微调抽取式问答为例
作业背景与目标
BERT微调抽取式问答作业(21b. Bert 微调抽取式问答任务 - 作业样例代码.ipynb)源自李宏毅老师2023年机器学习课程的作业7,旨在通过微调BERT模型实现从给定段落中抽取问题答案的能力。
核心任务与数据集
- 任务描述:模型需要预测答案在段落中的开始和结束位置,从而提取答案片段
- 使用数据集:
- DRCD(繁体中文阅读理解数据集)
- ODSQA(开放领域中文问答数据集)
- 评价指标:Exact Match(答案完全匹配的比例)
分阶段实现指南
1. 基础实现(Simple baseline)
只需运行提供的代码即可获得基础结果,主要步骤包括:
- 数据加载与预处理
- BERT模型加载
- 简单训练循环实现
- 基本预测与评估
# 基础模型加载示例 from transformers import AutoTokenizer, AutoModelForQuestionAnswering model = AutoModelForQuestionAnswering.from_pretrained("bert-base-chinese").to(device) tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")2. 中级优化(Medium baseline)
通过学习率调度器提升性能:
- 线性学习率衰减
- Warmup策略
- 批量梯度累积
3. 高级优化(Strong baseline)
- 改进数据预处理
- 尝试不同预训练模型
- 优化窗口滑动策略
4. 专家级优化(Boss baseline)
- 后处理优化
- 模型集成
- 高级超参数调优
Kaggle提交与评估
作业提供了完整的Kaggle竞赛环境,让你可以提交结果并查看排名:
- 访问Kaggle竞赛页面
- 运行代码生成result.csv
- 提交文件并查看Public Score
- 分析结果并迭代优化
其他重点作业资源
1. 微调LLM:让它会写唐诗
- 文件路径:06. 尝试微调 LLM:让它会写唐诗.ipynb
- 核心内容:使用小样本学习微调语言模型生成唐诗
- 在线版本:Kaggle | Colab
2. LoRA微调Stable Diffusion
- 文件路径:14a. 尝试使用 LoRA 微调 Stable Diffusion 模型.ipynb
- 核心内容:使用PEFT库实现参数高效微调,定制化图像生成
- 配套指南:16. 用 LoRA 微调 Stable Diffusion:拆开炼丹炉,动手实现你的第一次 AI 绘画.md
3. 模型量化技术实践
- 文件路径:16a. 使用 Transformers 加载量化后的 LLM 大模型(GPTQ & AWQ).ipynb
- 核心内容:学习INT8量化、GPTQ和AWQ等模型压缩技术
- 理论基础:17. 浅谈 RTN 模型量化:非对称 vs 对称.md
学习路径建议
入门阶段(1-2周)
- 完成环境配置:00. 大模型 API 获取步骤.md
- 熟悉LLM API使用:01. 初识 LLM API:环境配置与多轮对话演示.md
- 尝试第一个AI应用:02. 简单入门:通过 API 与 Gradio 构建 AI 应用.md
进阶阶段(3-4周)
- 学习模型微调基础:08. 尝试微调 LLM:让它会写唐诗.md
- 掌握LoRA技术:14. PEFT:在大模型中快速应用 LoRA.md
- 完成BERT问答作业:22b. 作业 - Bert 微调抽取式问答.md
高级阶段(5-6周)
- 学习模型量化:19a. 从加载到对话:使用 Transformers 本地运行量化 LLM 大模型(GPTQ & AWQ).md
- 实践视频摘要:15. 用 API 实现 AI 视频摘要:动手制作属于你的 AI 视频助手.md
- 探索RAG技术:20. RAG 入门实践:从文档拆分到向量数据库与问答构建.md
常见问题与解决方法
1. 没有高端GPU如何学习?
项目提供了两种解决方案:
- Kaggle/Colab在线环境:所有代码都提供在线运行版本
- 模型量化技术:通过INT8、GPTQ等量化方法降低硬件需求
2. 作业难度如何选择?
每个作业都设计了多个baseline:
- Simple baseline:适合AI初学者
- Medium baseline:适合有一定机器学习基础者
- Strong/Boss baseline:适合希望深入研究的学习者
3. 如何获取帮助?
- 查看作业指导文档:Guide/
- 检查代码中的TODO注释
- 参考Guide/c. 一些问题的解决方法.md
总结:通过实践掌握生成式AI
AI-Guide-and-Demos-zh_CN项目与李宏毅生成式AI课程的结合,为学习者提供了理论与实践并重的学习路径。通过完成这些精心设计的作业,你将逐步掌握从API调用到模型微调、从文本生成到图像创作的全方位AI技能。
无论你是AI领域的新手,还是希望深入了解生成式模型的开发者,这个项目都能为你提供系统、全面的学习体验。立即开始你的AI学习之旅吧!
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考