课程介绍
LLM开发工程师入行实战—从0到1开发轻量化私有大模型视频教程，由优库it资源网整理发布。本课程为零基础至进阶学员设计，围绕私有化轻量大模型的工程化落地展开。课程从模型构建切入，系统教授指令微调方法、高效训练数据集搭建、训练流水线与自动化部署、以及模型知识蒸馏与压缩技术。课程以项目驱动的实操为主，覆盖数据准备、训练调参、模型压缩与上线验证等全流程环节。按教学计划循序渐进完成各模块后，学员将能独立完成私有化、可压缩并可部署上线的轻量大模型开发与交付。
资源目录
.
├── 第1章 LLM大模型工程师入门实战--课程导学/
│ └── [ 39M] 1-1LLM开发工程师入门实战--课程导学
├── 第2章 千里之行，始于足下：初识大语言模型/
│ ├── [8.9M] 2-1开启你的AI智慧之旅-本章导学
│ ├── [ 18M] 2-2开启你的AI智慧之旅-初识大语言模型
│ ├── [ 19M] 2-3开启你的AI智慧之旅-大语言模型擅长的事儿
│ ├── [ 22M] 2-4开启你的AI智慧之旅-大语言模型的诞生过程
│ ├── [ 17M] 2-5开启你的AI智慧之旅-从0到1构建大语言模型的意义
│ ├── [ 21M] 2-6开启你的AI智慧之旅-大语言模型的局限性与挑战
│ └── [ 12M] 2-7开启你的AI智慧之旅-大语言模型的未来展望
├── 第3章 工欲善其事，必先利其器：开发环境的搭建/
│ ├── [ 19M] 3-1开发环境搭建-导学
│ ├── [115M] 3-2开发环境搭建-MiniConda安装与使用
│ ├── [ 72M] 3-3开发环境搭建-使用pip命令安装依赖包
│ ├── [ 28M] 3-4开发环境搭建-VsCode的配置
│ ├── [ 57M] 3-5开发环境搭建-手攒超级计算机-硬件(自己够买硬件者选看)
│ ├── [ 17M] 3-6开发环境搭建-Nvidia与CUDA关系及Linux下Nvidia驱动的安装(Linux下搭建环境者选看)
│ ├── [ 54M] 3-7开发环境搭建-Windows下Nvidia驱动的安装(Windows下搭建环境者选看)
│ ├── [ 24M] 3-8开发环境搭建-使用Docker搭建环境一(需要Docker搭建环境者选看)
│ ├── [ 64M] 3-9开发环境搭建-申请阿里云的免费GPU和CPU资源(想使用阿里云服务者选看)
│ ├── [ 32M] 3-10开发环境搭建-申请Kaggle的免费GPU和CPU资源(想使用Kaggle且有科学上网工具者选看)
│ └── [ 14M] 3-11开发环境搭建-申请Google的免费GPU和CPU资源(想使用Google云且有科学上网工具者选看)
├── 第4章 牛刀小试：使用HuggingFace训练GPT-2/
│ ├── [ 14M] 4-1使用HuggingFace训练GPT2-导学
│ ├── [ 20M] 4-2HuggingFace简介
│ ├── [ 38M] 4-3使用HuggingFace训练GPT2-基本步骤
│ ├── [140M] 4-4使用HuggingFace训练GPT2-实战(推荐)
│ ├── [ 85M] 4-5使用HuggingFace训练GPT2-详解group_text的实现
│ └── [ 47M] 4-6使用HuggingFace训练GPT2-详解generate_terxt的实现
├── 第5章 提高学习效率：驾驭LLM的对话艺术与工具 (初学AI者选看)/
│ ├── [ 13M] 5-1提高工作效率-导学
│ ├── [ 65M] 5-2提高工作效率工具-通义灵码与小浣熊
│ ├── [ 52M] 5-3提高工作效率工具-Copilot
│ ├── [ 33M] 5-4大语言模型助手-Kimi
│ ├── [ 98M] 5-5大语言模型助手-NewBing
│ ├── [ 45M] 5-6大语言模型助手-Gemini
│ ├── [ 54M] 5-7大语言模型助手-Poe
│ ├── [ 22M] 5-8大语言模型提示词(一)
│ ├── [ 72M] 5-9大语言模型提示词(二)
│ ├── [ 73M] 5-10大语言模型提示词(三)
│ ├── [ 56M] 5-11大语言模型提示词(四)
│ ├── [ 84M] 5-12大语言模型提示词(五)
│ └── [ 12M] 5-13本章小结
├── 第6章 必知必会的基础知识：Python语言基础 (没有Pytorh基础者选看)/
│ ├── [ 16M] 6-1Python语言基础知识-导学
│ ├── [ 45M] 6-2Python语言基础知识-变量的定义与使用
│ ├── [ 68M] 6-3Python语言基础知识-逻辑判断与优先级
│ ├── [ 47M] 6-4Python语言基础知识-循环
│ ├── [ 33M] 6-5Python语言基础知识-函数的定义与使用
│ ├── [ 56M] 6-6Python语言基础知识-类与对象
│ ├── [ 97M] 6-7Python语言基础知识-四种复合类型
│ ├── [ 18M] 6-8Python语言基础知识-可变变量与不可变变量
│ ├── [ 53M] 6-9Python语言基础知识-特有技术-切片
│ ├── [ 34M] 6-10Python语言基础知识-其它特有技术
│ ├── [ 82M] 6-11Pythony语言基础知识-NumPy库的使用
│ ├── [ 69M] 6-12Python语言基础知识-MatPlotLib库的使用
│ └── [7.0M] 6-13Python语言基础知识-本章小结
├── 第7章 深度学习核心入门：洞悉AI的学习之道 (无深度学习经验者选看)/
│ ├── [ 13M] 7-1深度学习核心入门-导学
│ ├── [ 25M] 7-2深度学习核心入门-人工智能、机器学习与深度学习的关系
│ ├── [ 37M] 7-3深度学习核心入门-神经元与神经网络
│ ├── [ 34M] 7-4深度学习核心入门-监督学习与无监督学习
│ ├── [ 21M] 7-5深度学习核心入门-数据集的划分
│ ├── [ 33M] 7-6深度学习核心入门-过拟合、欠拟合与代价函数
│ ├── [ 54M] 7-7深度学习核心入门-代价函数的意义
│ ├── [ 48M] 7-8深度学习核心入门-梯度下降
│ ├── [ 18M] 7-9深度学习核心入门-线性回归代价函数的导数
│ ├── [ 17M] 7-10深度学习核心入门-学习率
│ ├── [ 33M] 7-11深度学习核心入门-逻辑回归
│ ├── [ 11M] 7-12深度学习核心入门-sigmoid激活函数
│ ├── [ 32M] 7-13深度学习必备的基础知识-逻辑回归的代价函数
│ ├── [ 15M] 7-14深度学习必备的基础知识-逻辑回归的梯度下降
│ ├── [ 30M] 7-15深度学习必备的基础知识-逻辑回归代价函数关于w和b偏导后的公式证明
│ ├── [ 46M] 7-16深度学习必备的基础知识-深度神经网络与前向传播
│ ├── [ 27M] 7-17深度学习必备的基础知识-多种激活函数
│ ├── @优库it资源网ukoou.com
│ ├── [ 27M] 7-18深度学习必备的基础知识-反向传播与计算图
│ └── [ 22M] 7-19深度学习必备的基础知识-前向传播与反向传播的完整过程
├── 第8章 掌握“炼丹术”：优化深度学习训练参数 (无深度学习经验者选看)/
│ ├── [ 20M] 8-1优化深度学习训练参数-导学
│ ├── [ 37M] 8-2深度神经网络参数优化-向量化与矩阵化
│ ├── [ 44M] 8-3深度神经网络参数优化-L2正则化
│ ├── [ 12M] 8-4深度神经网络参数优化-Dropout
│ ├── [ 23M] 8-5深度神经网络参数优化-数据归一化处理
│ ├── [ 14M] 8-6深度神经网络参数优化-初始化权重参数
│ ├── [ 22M] 8-7深度神经网络参数优化-全批量梯度下降
│ ├── [ 17M] 8-8深度神经网络参数优化-随机梯度下降与小批量梯度下降
│ ├── [ 24M] 8-9深度神经网络参数优化-梯度参数调优
│ └── [ 36M] 8-10深度神经网络参数优化-BatchNormalization
├── 第9章 【实战】手写字识别：第一个AI模型诞生记 (无深度学习经验者选看)/
│ ├── [ 13M] 9-1_实战_手写字识别-导学
│ ├── [ 11M] 9-2_实战_手写字识别-Pytorch的一点历史
│ ├── [ 42M] 9-3_实战_手写字识别-Pytorch加载数据集
│ ├── [ 32M] 9-4_实战_手写字识别-Pytorch导入训练数据和测试数据
│ ├── [ 49M] 9-5_实战_手写字识别-构建手写字神经网络
│ ├── [ 47M] 9-6_实战_手写字识别-Pytorch实现训练逻辑代码
│ ├── [ 35M] 9-7_实战_手写字识别-Pytorch实现评估神经逻辑代码
│ ├── [ 41M] 9-8_实战_手写字识别-Pytorch训练和评估神经网络
│ ├── [ 59M] 9-9_实战_手写字识别-模型的保存部署与使用
│ └── [100M] 9-10_实战_手写字识别-训练参数调优
└── 第10章 【实战】爬虫与训练数据：为大模型“备粮草”/
├── [ 20M] 10-1_实战_数据与爬虫-导学
├── [ 66M] 10-2_实战_数据与爬虫-大语言模型的食谱
├── [ 22M] 10-3_实战_数据与爬虫-实现网络爬虫（一）
├── [ 36M] 10-4_实战_数据与爬虫-实现网络爬虫（二）
├── [112M] 10-5_实战_数据与爬虫-实现网络爬虫（三）
├── [146M] 10-6_实战_数据与爬虫-实现网络爬虫（四）
├── [ 15M] 10-7_实战_数据与爬虫-清洗数据（一）
├── [ 42M] 10-8_实战_数据与爬虫-清洗数据（二）
├── [107M] 10-9_实战_数据与爬虫-清洗数据（三）
└── [ 18M] 10-10_实战_数据与爬虫-小结
├── 第11章 让机器读懂文本：文本与分词艺术/
│ ├── [ 25M] 11-1文本与分词艺术-导学
│ ├── [ 27M] 11-2文本与分词艺术-文本向量化的完整过程
│ ├── [ 66M] 11-3文本与分词艺术-文本分词
│ ├── [ 59M] 11-4文本与分词艺术-构造文本字典
│ ├── [ 47M] 11-5文本与分词艺术-实现Tokenizer类
│ ├── [ 88M] 11-6文本与分词艺术-文本转TokenID
│ ├── [ 69M] 11-7文本与分词艺术-TokenID转文本
│ ├── @优库it资源网ukoou.com
│ ├── [ 39M] 11-8文本与分词艺术-基于统计的分词技术
│ ├── [ 52M] 11-9文本与分词艺术-GPT-tiktoken分词器
│ ├── [ 31M] 11-10文本与分词艺术-文本向量化(Embedding)
│ ├── [ 58M] 11-11文本与分词艺术-实战TokenID转向量
│ └── [ 10M] 11-12文本与分词艺术-本章小结
├── 第12章 画龙点睛：注意力机制的奥秘/
│ ├── [ 16M] 12-1注意力机制-导学
│ ├── [ 30M] 12-2注意力机制-什么是注意力机制
│ ├── [ 32M] 12-3注意力机制-三个关键元素QKV
│ ├── [ 11M] 12-4注意力机制-注意力机制与自注意力机制的区别
│ ├── [9.0M] 12-5注意力机制-注意力分数
│ ├── [ 35M] 12-6注意力机制-缩放因子
│ ├── [ 33M] 12-7注意力机制-实现注意力机制的具体过程
│ ├── [ 20M] 12-8注意力机制-注意力机制的矩阵化
│ └── [ 88M] 12-9注意力机制-代码实现
├── 第13章 石破天惊：Transformer架构的革命/
│ ├── [ 43M] 13-1Transformer架构-Transformer整体结构
│ ├── [ 20M] 13-2Transformer架构-词嵌入(Embedding)
│ ├── [ 46M] 13-3Transformer架构-位置编码
│ ├── [ 18M] 13-4Transformer架构-多头注意力机制
│ ├── [ 35M] 13-5Transformer架构-编解码器中的残差网络与层归一化
│ ├── [ 34M] 13-6Transformer架构-掩码注意力机制
│ └── [ 24M] 13-7Transformer架构-解码器
├── 第14章 麻雀虽小，五脏俱全：实现‘迷你’版大语言模型/
│ ├── [ 18M] 14-1迷你GPT-导学
│ ├── [ 34M] 14-2迷你GPT-GPT架构
│ ├── [ 30M] 14-3迷你GPT-GPT中的位置编码
│ ├── [127M] 14-4迷你GPT-实现GPT骨架(一)
│ ├── [133M] 14-5实现GPT-迷你GPT骨架(二)
│ ├── [132M] 14-6迷你GPT-实现自注意力机制(一)
│ ├── [ 55M] 14-7迷你GPT-实现自注意力机制(二)
│ ├── [ 58M] 14-8迷你GPT-实现掩码注意力机制(一)
│ ├── [130M] 14-9迷你GPT-实现掩码注意力机制(二)
│ ├── [151M] 14-10迷你GPT-实现多头注意力机制
│ ├── [ 68M] 14-11迷你GPT-实现层归一化
│ ├── [ 54M] 14-12迷你GPT-实现GELU激活函数与前馈网络
│ ├── [100M] 14-13迷你GPT-残差与TransformerBlock
│ ├── [ 78M] 14-14迷你GPT-测试GPTModel
│ ├── [ 28M] 14-15迷你GPT-生成文本(一)
│ ├── [ 74M] 14-16迷你GPT-生成文本(二)
│ ├── [ 84M] 14-17迷你GPT-生成文本(三)
│ ├── [ 54M] 14-18迷你GPT-文本评估
│ ├── [ 64M] 14-19迷你GPT-交叉熵损失函数
│ ├── [103M] 14-20迷你GPT-创建并加载数据集(一)
│ ├── [149M] 14-21迷你GPT-创建并加载数据集（二）
│ ├── [ 69M] 14-22迷你GPT-实现模型
│ ├── [135M] 14-23-迷你GPT-评估模型
│ ├── [165M] 14-24迷你GPT-开始训练
│ ├── [ 51M] 14-25迷你GPT-优化输出(一)
│ ├── [113M] 14-26迷你GPT-优化输出(二)
│ └── [ 93M] 14-27迷你GPT-保存并加载训练好的模型
├── 第15章 模型微调与文本分类：让通用模型变身专家/
│ ├── [ 17M] 15-1微调模型-导学
│ ├── [106M] 15-2微调模型-获得高质量的训练数据
│ ├── [ 32M] 15-3微调模型-构造Dataset
│ ├── [ 41M] 15-4微调模型-创建DataLoader(一)
│ ├── [137M] 15-5微调模型-创建Dataloader(二)
│ ├── [ 37M] 15-6微调模型-加载GPT2预训练模型(一)
│ ├── [120M] 15-7微调模型-加载GPT2预训练模型(二)
│ ├── [ 23M] 15-8微调模型-指令微调(一)
│ ├── [204M] 15-9微调模型-指令微调(二)
│ ├── [ 40M] 15-10微调模型-绘制损失趋势图
│ ├── [ 97M] 15-11微调模型-为模型评分(一)
│ ├── [103M] 15-12微调模型-为模型评分(二)
│ ├── [ 58M] 15-13微调模型-LoRA(一)
│ └── [ 19M] 15-14微调模型-LoRA(二)
├── 第16章 知识蒸馏：智慧的浓缩与传承/
│ ├── [ 64M] 16-1知识蒸馏-导学
│ ├── [109M] 16-2知识蒸馏-获取思维链蒸馏数据(一)
│ ├── [114M] 16-3知识蒸馏-获取思维链蒸馏数据(二)
│ ├── [ 72M] 16-4知识蒸馏-清洗错误数据
│ ├── [268M] 16-5知识蒸馏-黑盒思维链蒸馏
│ └── [265M] 16-6知识蒸馏-白盒知识蒸馏
├── 第17章 减少模型幻觉：为LLM插上RAG的“记忆”之翼/
│ ├── [ 21M] 17-1减少模型幻觉-RAG技术导学
│ ├── [ 56M] 17-2减少模型幻觉-RAG工作原理
│ ├── [ 16M] 17-3减少模型幻觉-RAG实现(一)
│ └── [158M] 17-4减少模型幻觉-RAG实现(二)
├── 第18章 Agent与MCP：从语言到行动的终极进化/
│ ├── [ 18M] 18-1Agent与MCP-导学
│ ├── [ 25M] 18-2Agent与MCP-Agent工作原理
│ ├── [ 57M] 18-3Agent与MCP-Agent常见模式
│ ├── [ 50M] 18-4Agent与MCP-Agent调用工具(一)
│ ├── [ 56M] 18-5Agent与MCP-Agent调用工具(二)
│ ├── [ 56M] 18-6Agent与MCP-Agent调用工具(三)
│ ├── [ 98M] 18-7Agent与MCP-记忆与上下文工程
│ └── [117M] 18-8Agent与MCP-实现一个Agent
└── 第19章 LLM大模型工程师入门实战--课程总结/
└── [ 28M] 19-1课程总结
└── 代码/
