IEEE 推出大语言模型虚拟培训课程
《IEEE Spectrum》7 月刊已上线。IEEE 推出大语言模型虚拟培训课程,学习如何设计、保障安全和部署大语言模型(LLM)。大语言模型已从研究实验室走进工程师的日常工作流程,可作为推理引擎,协调复杂任务,包括识别源代码中的漏洞,以及将零散的项目讨论转化为严谨的技术规范。普通大众使用 AI 工具撰写邮件和规划假期,而技术专业人员则将 LLM 作为核心架构元素,从根本上改变了数字基础设施的构建和维护方式。随着 AI 模型逐渐成为主流工程实践,对技术专业知识的需求也在不断增加。根据 MarketsandMarkets 的数据,到 2030 年,LLM 技术市场预计每年将增长约 33%。这种快速扩张表明,掌握模型的实施和安全保障正从一项小众技能转变为技术人员的核心要求。
不仅仅是一个更好的搜索引擎
为了有效使用 LLM,技术专业人员不能仅仅将其视为对话机器人。从根本上讲,这些 AI 系统基于 Transformer 架构构建,该架构取代了早期按固定顺序处理数据的方法。与早期一次处理一步信息的模型不同,Transformer 使用自注意力机制同时处理大量数据集。对于技术专业人员而言,LLM 是核心架构元素,从根本上改变了数字基础设施的构建和维护方式。在不了解 LLM 内部逻辑的情况下依赖它们,会带来显著的可靠性风险。为了构建稳定运行的工具,开发人员必须理解模型处理信息和生成结果的核心原则。通过掌握模型如何处理信息以及其内部设置如何影响结果,开发人员可以从试错法转向更精确的方法,以确保 AI 工具可靠地处理复杂数据。
LLM 改变工作的四种方式
以下是整合了大语言模型的领域:
- 超越基本提示:开发人员正在使用应用程序编程接口(API)将 LLM 直接连接到他们的数据库和软件工具。使用 API 可以让 AI 执行诸如执行代码或搜索内部存储库等工作。
- 解决“幻觉”问题:LLM 存在幻觉风险,即生成看似正确但实际上错误或有缺陷的事实或代码。为了解决这个问题,检索增强生成(RAG)方法迫使 AI 在可信来源(如公司数据库)中查找信息。
- 优先考虑数据安全:在将 AI 用于专有代码时,安全是一个主要问题。工程师必须学习如何设置模型的“私有”实例,以确保公司敏感数据存储在安全的云环境中,不会用于训练公共版本的模型。
- 协作的未来:通过自动化重复的编码任务和总结数千页的文档,LLM 使工程师能够将更多时间花在高级设计和解决重要问题上。
在线课程助力掌握这项技术
使用 AI 的人与了解如何构建 AI 的人之间的差距正在扩大。为了帮助技术专业人员保持领先,IEEE 通过 IEEE Learning Network 提供了一个包含五门课程的在线项目 Large Language Models Demystified。该项目由 IEEE Educational Activities 与 IEEE Computer Society 合作开发,面向那些想要了解这项技术背后的“原理”和“原因”的人。课程不仅仅教授基本的提示技巧,还深入探讨生成式 AI 的工程原理,包括:
- 演变、影响和实践练习:从统计方法到现代 Transformer 的转变,包括实践模型优化。
- 理解 Transformer 架构:自注意力和位置编码的数学核心,使用 NumPy 和 Python 实现。
- 架构分析和实现:高级 LLM 设计以及实际的模型构建练习。
- 使用 PyTorch 进行训练和建模:PyTorch 中的端到端管道,利用参数高效技术,如低秩自适应和量化。
- 优化、对齐和部署:性能扩展、基于人类反馈的强化学习(RLHF)、组相对策略优化、RAG 和智能体 AI。
完成该项目后,参与者将获得专业发展学分,并获得 IEEE 颁发的数字徽章,以验证其专业知识。希望让团队为 LLM 工作做好准备的组织,可以联系 IEEE 内容专家,讨论团体报名和定制培训路径。