课程简介
大模型也称为大语言模型(LLM)是指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。这些模型通常基于深度学习架构,如Transformer架构等,这有助于大语言模型在各种自然语言处理(NLP)任务上取得较好的表现。目前的大语言模型(如GPT和BERT)采用与小模型类似的Transformer架构和预训练目标(如 Language Modeling),与小模型的主要区别在于增加模型大小、多模态、训练数据和计算资源。
大模型的应用场景很广泛,可以用于处理多种类型的对话,包过对话机器人、问答机器人和客服机器人等。它还可以用于各种自然语言处理任务,比如文本摘要、情感分析和信息提取等。例如,在一个问答系统中,大模型可以提供准确的答案,解决用户的疑惑;在一个客服机器人中,可以帮助用户解决问题,提供更好的服务体验。
此课程是尹立庆老师多年人工智能工作经验的分享,重点介绍大语言模型带来的技术变革与应用落地和未来发展趋势。
培训目标
学习大模型的相关知识,包括大模型原理、大模型微调、大模型服务部署、资源评估、大模型应用案例等内容;
深入讲解AI大模型微调;
深入讲解AI大模型环境部署;
深度解读LangChain的原理、技术特性;
深度解读glm2_6b大模型;
培训对象：
本课程适合于对ChatGPT、大模型感兴趣的人员;
本课程适合于架构师、技术经理、高级工程师;
适合于企业科技研发人员和人工智能科学家;
培训方式：
以课堂讲解、演示、案例分析为主,内容偏实用,结合讲解与演示方式,循序渐进,辅以互动研讨、现场答疑、学以致用。
课程安排
课程时间:2天
课程内容
时间 内容 备注
第1天 大模型原理(深入讲解大模型原理)(60分钟) 大模型的工作原理 大模型的软件架构 Transformer架构 深度学习架构 Transformer论文解读 大模型的训练方法 数据准备、模型预训练、模型微调、调优 多模态大模型 大模型如何诞生的智能 大模型未来发展趋势展望 ChatGPT大语言模型案例剖析 大模型软硬件架构(深入讲解大模型软硬件架构)(60分钟) 大模型软硬件架构 NVIDIA CUDA架构 NVIDIA GPU大语言模型架构 NVIDIA的A100或H100 GPU NVIDIA的Megatron-LM大模型框架 NVIDIA大模型框架TensorRT-LLM Google大模型架构 Google的TPU大规模硬件架构 主流大模型训练架构GPU+PyTorch+Megatron-LM+DeepSpeed 大模型微调(深入讲解大模型微调)(120分钟) 大模型微调 大模型微调的概念和意义 预训练模型的优势和应用场景 大模型微调基本原理 大模型微调方法 数据加载、模型训练、调参等常见操作的优化和加速方法 使用可视化工具进行模型训练过程的分析和调试 大模型微调的基本流程和关键步骤 Parameter-Efficient Fine-Tuning (PEFT) 预训练阶段 目标任务准备 构建微调任务 PEFT微调 常用的PEFT方法 Adapter Tuning Prefix Tuning Prompt Tuning P-Tuning LoRA 案例剖析:应用大模型微调技术解决实际问题 大模型微调技术(深入讲解大模型微调技术)(60分钟) 大模型微调技术与实践 常见的大模型微调技术 知识蒸馏 迁移学习 领域适应 案例大模型微调的实践 文本分类 图像识别 自然语言处理 探讨大模型微调过程中可能遇到的问题和解决方案 选择合适的预训练模型并进行微调 如何评估微调效果和改进方案 实际应用案例分享与讨论 LoRA微调模型(深入讲解LoRA微调模型)(60分钟) LoRA微调模型 LoRA微调模型概述 绘画模型 LoRA 原论文 LoRA模型的核心思想 数学原理 LoRA模型训练 低秩适应训练方法 LoRA 库的GitHub存储库
时间 内容 备注
第2天 大模型服务部署(深入讲解大模型服务部署)(120分钟) 常用的深度学习框架和工具 TensorFlow、PyTorch等常见深度学习框架 主流大模型训练架构GPU+PyTorch+Megatron-LM+DeepSpeed 深度解读glm2_6b大模型 glm2_6b大模型的原理 GPT(Generative Pre-trained Transformer)架构 glm2_6b大模型数据集 glm2_6b大模型的部署 准备环境 安装依赖库 下载模型权重 加载模型 部署API或服务 调优和监控 glm2_6b大模型的训练 glm2_6b大模型的应用 自然语言处理 文本生成 机器翻译 问答系统 大模型资源评估(深入讲解大模型资源评估)(60分钟) 大模型的参数规模 大模型发展瓶颈 大模型资源评估 算力资源需求评估 大模型的分布式训练 大模型的分布式训练的并行技术 电力资源需求评估 芯片资源需求评估 OpenAI公司巨额融资 微软为ChatGPT提供的超算资源 大模型主流编程框架(和硬件结合)(深入讲解大模型主流编程框架(和硬件结合))(90分钟) 介绍主流编程框架(和硬件结合) 主流大模型训练架构GPU+PyTorch+Megatron-LM+DeepSpeed 大模型技术原理 大模型分布式训练框架 常用的分布式训练框架 Megatron-LM DeepSpeed Megatron-LM DeepSpeed 3D并行化实现万亿参数模型训练 DeepSpeed三种并行方法 数据并行训练 模型并行训练 流水线并行训练 ZeRO零冗余优化器 如何选择一款分布式训练框架 常见的分布式训练框架 TensorFlow PyTorch MindSpore Oneflow PaddlePaddle Flax Megatron-LM(张量并行) DeepSpeed(Zero-DP) Colossal-AI(高维模型并行) Alpa(自动并行) 训练超大规模语言模型主要技术路线 GPU + PyTorch + Megatron-LM + DeepSpeed TPU + XLA + TensorFlow/JAX 参数高效微调(PEFT)技术 影响大模型性能的主要因素 衡量大模型水平 深度学习框架Pytorch 大模型编程选择Pytorch的理由 Pytorch的大模型应用案例 深度学习算法设计通用流程 PyTorch与Tensorflow对比 大模型应用案例(大模型应用案例)(120分钟) 大模型应用案例 大模型Agent应用案例 多模态大模型应用案例 大模型多种编程语言应用案例 大模型辅助办公应用案例 ChatGPT编写文档 ChatGPT编写PPT ChatGPT编写专业的论文 ChatGPT编写数据分析报告 呼叫中心智能语音坐席 语言理解和文本生成能力 脚本、文案、翻译、代码 ChatGPT的应用场景 解决方案咨询 多种语言翻译 对话机器人 问答机器人 客服机器人 给定核心关键词编写文档 编写程序代码 聊天角色扮演 网络写手(编写文章) 客户问题智能回答 游戏攻略 做题 案例应用:智能呼叫中心应用案例 大模型的企业应用场景 望闻问切 视觉、听觉、触觉、语言、思考 文本生成 生成式对话、编写剧本、撰写论文 文本理解 情感分析、主题分类、关系提取 语义理解、问答系统 图像理解与图像生成 语音识别与语音合成 智能客服 视频理解与视频生成
授课老师
尹立庆 某大型知名互联网企业首席架构
常驻地：北京
邀请老师授课：13439064501 陈助理
