51CTO-Llama3大模型原理代码精讲与部署微调评估实战资源介绍:
51CTO-Llama3大模型原理代码精讲与部署微调评估实战
本课程首先讲述了有关Transformer和大语言模型(LLM)的关键前置知识, 包括注意力机制、多头注意力、编码器-解码器结构等Transformer原理, 以及LLM的文本生成和LLM微调技术原理。
在此基础上, 重点介绍了Llama 3模型的进化历程、技术原理和代码实现。其中涉及RMSNorm归一化、SwiGLU激活函数、RoPE位置编码、GQA注意力和KVCache等关键技术。通过代码解析, 深入剖析了Llama 3的架构设计和代码实现。
在实践部分, 课程还介绍了如何在阿里云使用Ollama和vLLM部署Llama 3模型, 以及使用llama_factory工具进行基于LoRA和QLoRA的llama3 8B大模型微调。项目实战环节则提供了从准备数据集到训练、推理、评估的全流程指导, 聚焦中文增强和医疗问答两大应用方向。
这是一门内容全面、理论实践并重的大模型课程。不仅系统讲解了LLM和Llama 3的技术原理, 还通过代码解析和实战项目深度剖析了相关技术在工程落地中的关键环节, 有助于学员全面掌握大模型相关知识和动手实战能力。
前置知识1：Transformer原理与代码精讲
– 注意力机制：了解注意力机制如何使模型能够捕捉输入序列中不同位置之间的相关性。
– 自注意力：解释自注意力如何允许序列的每个元素都与序列中的其他元素进行交互。
– 多头注意力：探讨多头注意力如何通过并行处理多个注意力层来增强模型的能力。
– 位置编码：学习位置编码如何为模型提供序列中单词的位置信息。
– 编码器和解码器：深入分析Transformer的编码器和解码器结构，以及它们在模型中的作用。
– 层归一化（LayerNorm）和前馈网络（FFN）：介绍这两种技术如何帮助稳定和增强模型的训练过程。
– 代码精讲：讲解Transformer模型的PyTorch代码实现细节等。
前置知识2：大模型(LLM)文本生成
– LLM的推理方式
– LLM的文本生成模式: 主要有Completion模式和Chat模式两种
– LLM的文本生成策略: 包括贪婪搜索、束搜索、随机采样、温度采样、Top-k采样和Top-p采样等
– LLM中的Token与分词器
– llama3的文本生成过程
– LLM文本生成的预填充和解码阶段
– LLM文本生成中的Q、K、V机制
前置知识3：大模型微调原理
– LLM的开发流程可分为预训练、有监督微调、奖励建模和强化学习四个阶段
– 从基座模型到对话模型的转变。
– 针对特定领域的SFT微调
– 微调的技术方法包括全参微调、冻结微调、LoRA、QLoRA
– LoRA技术原理和有效性
– QLoRA技术原理
Llama3进化史和生态
-Llama3原理精讲
– Llama3模型架构
– RMSNorm归一化技术
– SwiGLU激活函数
– RoPE旋转位置编码
– GQA分组查询注意力
– KVCache
Llama3代码解析
– 各文件功能
– completion和chat应用脚本代码解析
– generation.py代码解析
– model.py代码解析
– tokenizer.py代码解析
– RMSNorm代码解析
– SwiGLU代码解析
– GQA代码解析
– RoPE代码解析
– KVCache代码解析
Llama3部署（阿里云演示）
– Ollama部署llama3-阿里云免费GPU算力领取及实例创建、ollama安装、llama3推理
– VLLM部署llama3
Llama3项目实战1-llama_factory微调llama3中文增强大模型（阿里云演示）
– llama_factory介绍
– llama_factory安装及llama3模型下载
– LoRA微调训练llama3 8B Instruct模型
– llama3中文增强大模型推理
– llama3中文增强大模型评估(MMLU, CEVAL, CMMLU)
– LoRA文件合并
Llama3项目实战2-llama_factory微调llama3医疗问答大模型(LoRA) 阿里云演示
– 准备医疗问答大模型数据集
– LoRA微调训练llama3 8B Instruct模型
– llama3医疗问答大模型推理
Llama3项目实战3-llama_factory微调llama3医疗问答大模型(QLoRA) （阿里云演示）
– QLoRA微调训练llama3 8B Instruct模型
– llama3医疗问答大模型推理
资源目录:
├──Llama3大模型原理代码精讲与部署微调评估实战
| ├──transformer-pytorch-01.zip 671.21kb
| ├──课件-llama3代码解析-01.pdf 2.53M
| ├──课件-llama3原理-01.pdf 4.35M
| ├──课件-llama_factory微调llama3项目实战-阿里云-01.pdf 616.81kb
| ├──课件-llama大模型进化和生态-01.pdf 3.22M
| ├──课件-ollama部署llama3-阿里云-01.pdf 846.12kb
| ├──课件-vLLM部署llama3-阿里云-01.pdf 148.11kb
| ├──课件-大模型微调原理-01.pdf 2.02M
| ├──课件-大模型文本生成-01.pdf 2.84M
| ├──原理1-注意力机制-01.pdf 2.35M
| └──原理2-Transformer-01.pdf 5.23M
├──1 课程介绍.mp4 73.46M
├──10 Transformer机器翻译工作流程_ev.mp4 9.60M
├──11 Transformer的Encoder代码解读.mp4 52.75M
├──12 Transformer的Decoder代码解读.mp4 75.94M
├──13 Transformer的超参设置代码解读.mp4 47.24M
├──14 Transformer的训练示例（人为随机数据）代码解读.mp4 27.52M
├──15 Transformer的训练示例(德语-英语机器翻译)代码解.mp4 58.57M
├──16 结合中文注释代码深入解读1.mp4 54.96M
├──17 结合中文注释代码深入解读2.mp4 66.99M
├──18 LLM推理方式.mp4 29.57M
├──19 文本生成模式.mp4 15.82M
├──2 注意力机制_ev.mp4 48.36M
├──20 文本生成策略.mp4 60.22M
├──21 Token和分词器.mp4 19.30M
├──22 文本生成过程.mp4 28.84M
├──23 prefill和解码阶段_ev.mp4 8.58M
├──24 llama3文本生成过程_ev.mp4 5.56M
├──25 文本生成时的QKV含义.mp4 36.33M
├──26 大模型开发阶段划分.mp4 37.62M
├──27 SFT微调.mp4 26.06M
├──28 微调方法(全参、冻结参数、LoRA、QLoRA).mp4 33.39M
├──29 LoRA微调.mp4 49.71M
├──3 自注意力机制.mp4 30.32M
├──30 QLoRA微调.mp4 33.59M
├──31 llama模型进化史.mp4 18.88M
├──32 llama3模型类型_ev.mp4 7.79M
├──33 llama大模型生态.mp4 24.92M
├──34 llama3模型架构_ev.mp4 7.70M
├──35 RMSNorm归一化_ev.mp4 8.40M
├──36 SwiGLU激活函数.mp4 20.48M
├──37 RoPE旋转位置编码.mp4 70.27M
├──38 GQA分组查询注意力_ev.mp4 7.71M
├──39 KVCache.mp4 56.89M
├──4 Transformer的架构概述_ev.mp4 23.77M
├──40 各文件功能_ev.mp4 5.69M
├──41 completion和chat应用脚本代码解析.mp4 68.41M
├──42 generation.py代码解析.mp4 81.34M
├──43 model.py代码解析.mp4 47.21M
├──44 tokenizer.py代码解析.mp4 82.68M
├──45 RMSNorm代码解析.mp4 57.61M
├──46 SwiGLU代码解析.mp4 6.72M
├──47 GQA代码解析.mp4 24.53M
├──48 RoPE代码解析.mp4 45.06M
├──49 KVCache代码解析_ev.mp4 11.40M
├──5 Transformer Encoder的多头注意力.mp4 53.85M
├──50 阿里云实例创建_ev.mp4 10.98M
├──51 ollama介绍.mp4 2.91M
├──52 ollama安装.mp4 28.89M
├──53 llama3推理.mp4 59.85M
├──54 vLLM部署llama3.mp4 55.12M
├──55 llama_factory介绍.mp4 10.10M
├──56 llama_factory安装及llama3模型下载.mp4 19.23M
├──57 LoRA微调训练.mp4 80.50M
├──58 llama3中文增强大模型推理_ev.mp4 10.66M
├──59 llama3中文增强大模型评估.mp4 30.58M
├──6 Transformer Encoder的位置编码.mp4 36.50M
├──60 lora文件合并.mp4 10.15M
├──61 数据集准备_ev.mp4 9.75M
├──62 lora 微调.mp4 33.78M
├──63 llama3医疗问答大模型推理_ev.mp4 12.94M
├──64 qlora微调 _ev.mp4 14.90M
├──65 qlora微调的医疗问答大模型推理.mp4 10.38M
├──7 Transformer 残差链接、LayerNorm、FFN.mp4 20.85M
├──8 Transformer Decoder.mp4 21.44M
└──9 Transformer 训练及性能.mp4 35.89M
