尹立庆:深度讲解人工智能技术原理（2天）

课程简介

人工智能(Artificial Intelligence, AI)是研究和开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。是对人的意识、思维的信息过程的模拟,并通过大模型等技术实现智能涌现。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。

人工智能是一门极富挑战性的科学,从事这项工作的人必须懂得计算机知识、统计学和高等学等知识。人工智能是包括十分广泛的科学,它由不同的领域组成,如机器学习、计算机视觉、神经网络、大模型等等,总的说来,人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。

随着人工智能时代的快速到来,以及人工智能在生产生活中迅速应用,深度学习、ChatGPT、人工智能、数据分析、数据建模、数据挖掘、机器学习等重要性越发突出,本课程是针对人工智能时代的特点,尹老师总结多年人工智能经验,而精心设计的课程,课程内容涵盖了人工智能领域的深度学习、ChatGPT、数据处理、统计分析、数据挖掘、机器学习、神经网络、人工智能等内容,以及人工智能的应用范围、发展前景剖析。

培训目标

深入讲解人工智能技术及其知识体系;

人工智能机器学习的算法模型的应用实践

学习大模型的相关知识,包括大模型原理、大模型微调、大模型服务部署、资源评估、大模型应用案例等内容;

深入讲解AI大模型微调;

深入讲解AI大模型环境部署;

深度解读glm2_6b大模型;

培训对象：

即将投身于人工智能、机器学习、数据挖掘领域的企业或者个人;

系统架构师、系统分析师、高级程序员、资深开发人员;

政府机关,金融保险、移动互联网、能源行业等人工智能相关人员;

高校、科研院所统计分析研究员,涉及到人工智能的人员;

培训方式：

以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用。

课程安排

课程时间:2天(6个小时)

课程内容

时间 内容 备注

第一天 人工智能概述(介绍人工智能的渊源及范围)(60分钟) 人工智能应用场景:ChatGPT大语言模型 人工智能应用场景:AlphaGo围棋对弈 人工智能的历史 大语言模型标志着第四次工业的开始 智能涌现 人工智能的概括 人工智能学习、推理、感知、理解语言 什么是人工智能 人工智能的概念 人工智能的基础 人工智能的应用领域 人工智能发展水平及趋势 人工智能当前发展水平 人工智能未来趋势预测 人工智能发展的最终目标 人工智能的国际主要流派和发展路线 人工智能的国内研究情况 弱人工智能 强人工智能 机器学习介绍 深度学习介绍 神经网络介绍 大语言模型LLM介绍 案例场景:大语言模型应用案例分享 案例场景:人工智能在自然语言处理中应用案例分享 生成式AI概述(深入讲解什么是大模型)(60分钟) 生成式AI概述 什么是生成式AI 生成式AI的概念 生成式AI的发展历程 生成式AI的未来发展趋势 生成式AI的应用领域 生成式AI原理 深度学习技术 概率模型或神经网络模型 生成式AI架构 生成式AI应用实践 生成式AI生成文本 生成式AI生成图像 生成式AI生成音频 生成式AI生成视频 生成式AI生成代码 生成式AI潜在的风险和挑战 大模型原理(深入讲解大模型原理)(60分钟) 大模型的工作原理 大模型的软件架构 Transformer架构 深度学习架构 Transformer论文解读 大模型的训练方法 数据准备、模型预训练、模型微调、调优 多模态大模型 人工智能Agent 大模型如何诞生的智能 大模型未来发展趋势展望 ChatGPT大语言模型案例剖析 大模型软硬件架构(深入讲解大模型软硬件架构)(60分钟) 大模型软硬件架构 NVIDIA CUDA架构 NVIDIA GPU大语言模型架构 NVIDIA的A100或H100 GPU NVIDIA的Megatron-LM大模型框架 NVIDIA大模型框架TensorRT-LLM Google大模型架构 Google的TPU大规模硬件架构 主流大模型训练架构GPU+PyTorch+Megatron-LM+DeepSpeed 大模型微调(深入讲解大模型微调)(60分钟) 大模型微调 大模型微调的概念和意义 预训练模型的优势和应用场景 大模型微调基本原理 大模型微调方法 数据加载、模型训练、调参等常见操作的优化和加速方法 使用可视化工具进行模型训练过程的分析和调试 大模型微调的基本流程和关键步骤 Parameter-Efficient Fine-Tuning (PEFT) 预训练阶段 目标任务准备 构建微调任务 PEFT微调 常用的PEFT方法 Adapter Tuning Prefix Tuning Prompt Tuning P-Tuning LoRA 案例剖析:应用大模型微调技术解决实际问题 大模型微调技术(深入讲解大模型微调技术)(60分钟) 大模型微调技术与实践 常见的大模型微调技术 知识蒸馏 迁移学习 领域适应 案例大模型微调的实践 文本分类 图像识别 自然语言处理 探讨大模型微调过程中可能遇到的问题和解决方案 选择合适的预训练模型并进行微调 如何评估微调效果和改进方案 实际应用案例分享与讨论

时间 内容 备注

第二天 LoRA微调模型(深入讲解LoRA微调模型)(60分钟) LoRA微调模型 LoRA微调模型概述 绘画模型 LoRA 原论文 LoRA模型的核心思想 数学原理 LoRA模型训练 低秩适应训练方法 LoRA 库的GitHub存储库 大模型服务部署(深入讲解大模型服务部署)(120分钟) 常用的深度学习框架和工具 TensorFlow、PyTorch等常见深度学习框架 主流大模型训练架构GPU+PyTorch+Megatron-LM+DeepSpeed 深度解读glm2_6b大模型 glm2_6b大模型的原理 GPT(Generative Pre-trained Transformer)架构 glm2_6b大模型数据集 glm2_6b大模型的部署 准备环境 安装依赖库 下载模型权重 加载模型 部署API或服务 调优和监控 glm2_6b大模型的训练 glm2_6b大模型的应用 自然语言处理 文本生成 机器翻译 问答系统 大模型资源评估(深入讲解大模型资源评估)(30分钟) 大模型的参数规模 大模型发展瓶颈 大模型资源评估 算力资源需求评估 大模型的分布式训练 大模型的分布式训练的并行技术 电力资源需求评估 芯片资源需求评估 OpenAI公司巨额融资 微软为ChatGPT提供的超算资源 大模型主流编程框架(和硬件结合)(深入讲解大模型主流编程框架(和硬件结合))(90分钟) 介绍主流编程框架(和硬件结合) 主流大模型训练架构GPU+PyTorch+Megatron-LM+DeepSpeed 大模型技术原理 大模型分布式训练框架 常用的分布式训练框架 Megatron-LM DeepSpeed Megatron-LM DeepSpeed 3D并行化实现万亿参数模型训练 DeepSpeed三种并行方法 数据并行训练 模型并行训练 流水线并行训练 ZeRO零冗余优化器 如何选择一款分布式训练框架 常见的分布式训练框架 TensorFlow PyTorch MindSpore Oneflow PaddlePaddle Flax Megatron-LM(张量并行) DeepSpeed(Zero-DP) Colossal-AI(高维模型并行) Alpa(自动并行) 训练超大规模语言模型主要技术路线 GPU + PyTorch + Megatron-LM + DeepSpeed TPU + XLA + TensorFlow/JAX 参数高效微调(PEFT)技术 影响大模型性能的主要因素 衡量大模型水平 深度学习框架Pytorch 大模型编程选择Pytorch的理由 Pytorch的大模型应用案例 深度学习算法设计通用流程 PyTorch与Tensorflow对比 大模型应用案例(大模型应用案例)(60分钟) 大模型应用案例 大模型Agent应用案例 多模态大模型应用案例 大模型多种编程语言应用案例 大模型辅助办公应用案例 ChatGPT编写文档 ChatGPT编写PPT ChatGPT编写专业的论文 ChatGPT编写数据分析报告 呼叫中心智能语音坐席 语言理解和文本生成能力 脚本、文案、翻译、代码 ChatGPT的应用场景 解决方案咨询 多种语言翻译 对话机器人 问答机器人 客服机器人 给定核心关键词编写文档 编写程序代码 聊天角色扮演 网络写手(编写文章) 客户问题智能回答 游戏攻略 做题 案例应用:智能呼叫中心应用案例 大模型的企业应用场景 望闻问切 视觉、听觉、触觉、语言、思考 文本生成 生成式对话、编写剧本、撰写论文 文本理解 情感分析、主题分类、关系提取 语义理解、问答系统 图像理解与图像生成 语音识别与语音合成 智能客服 视频理解与视频生成

授课老师

尹立庆老师的课程大纲