本课程旨在系统讲解AIGC（AI Generated Content）相关的理论和技术，并配套相关的实验案例。主要内容包括视觉大模型和多模态大模型的原理及应用，涉及文本生成图像、图像生成图像、视频生成、语音生成、音乐生成等领域。课程共64学时，每学时40分钟，其中理论技术课程32学时，实验案例课程32学时。适用于AI/CS/IT相关专业本科生的教学。
课程目标
1. 掌握大模型技术的基本概念及发展历程。
2. 理解并应用面向理解任务和生成任务的多模态大模型。
3. 学习并掌握大模型的预训练、微调、评估、压缩、推理与部署相关技术。
4. 掌握大模型在安全性方面的知识。
课程内容
第一部分：大模型技术概述第一章：大模型技术概述
大模型的定义与基本概念定义：大规模预训练模型（Pre-trained Large Model）特点：大规模参数量、广泛适用性、高性能重要特性：预训练与微调、架构多样性、计算资源与优化大模型的发展历程从单任务模型到多任务模型从单模态模型到多模态模型重要里程碑：BERT、GPT、T5、CLIP、DALL-E等大模型的应用领域与前景自然语言处理（NLP）（问答系统、机器翻译、文本生成）计算机视觉（CV）（视频修复、图像生成、视觉问答）多模态融合应用（自动驾驶、医疗辅助诊断）第二章：大模型的基础知识
神经网络基础神经元与层前向传播与反向传播激活函数与损失函数大规模数据集的构建与管理数据清洗与预处理数据增强技术（Augmentation）数据集划分和评估数据安全和隐私保护数据标注与管理工具计算资源与分布式训练GPU与TPU的使用分布式训练框架（如Horovod）混合精度训练（Mixed Precision Training）第二部分：面向理解任务的多模态大模型第三章：多模态大模型概述
多模态学习的概念与意义概念：多模态数据（文本、图像、视频等）的融合与学习意义：增强模型的理解能力与应用范围多模态数据的获取与处理数据集介绍：COCO、Visual Genome、YouTube-8M等数据对齐与配对技术第四章：CLIP模型原理
CLIP模型简介模型结构：双塔结构（Text Encoder+Image Encoder）训练目标：对比学习（Contrastive Learning）CLIP的训练方法与架构文本编码器：基于Transformer的架构图像编码器：基于ResNet的架构对比学习损失函数（Contrastive Loss）CLIP在图像与文本理解中的应用图像检索与分类文本引导的图像生成第五章：VATT模型原理
VATT模型简介模型结构：基于Transformer的多模态模型训练目标：自监督学习与多模态对齐VATT的训练方法与架构视频编码器：基于3D CNN的架构文本编码器：基于Transformer的架构多模态对齐损失函数VATT在视频与文本理解中的应用视频检索与分类文本引导的视频生成第六章：ALIGN模型原理
ALIGN模型简介模型结构：双塔结构（Text Encoder + Image Encoder）训练目标：对比学习与多模态对齐ALIGN的训练方法与架构文本编码器：基于BERT的架构图像编码器：基于EfficientNet的架构对比学习损失函数ALIGN在图像与文本理解中的应用图像检索与分类文本引导的图像生成案例一：基于CLIP模型的智能广告生成系统
实验目的：
理解CLIP模型的结构与原理掌握图像与文本的对齐与生成技术实现智能广告生成系统第一课时：CLIP模型基础与数据准备
理论章解：CLIP模型结构与原理数据准备：收集与处理广告图像与文本数据实践操作：数据预处理与特征提取第二课时：模型训练与优化
理论章解：对比学习与损失函数模型训练：使用预处理数据训练CLIP模型实践操作：训练过程中的参数调整与优化第三课时：广告生成系统开发
理论章解：文本引导图像生成技术系统开发：实现基于CLIP的智能广告生成系统实践操作：系统集成与功能测试第四课时：系统评估与应用
理论章解：模型评估方法与指标系统评估：对生成的广告进行效果评估实践操作：优化系统并部署应用案例二：基于VATT模型的视频检索系统
实验目的：
理解VATT模型的结构与原理掌握视频与文本的对齐与检索技术实现智能视频检索系统第一课时：VATT模型基础与数据准备
理论章解：VATT模型结构与原理数据准备：收集与处理视频与文本数据实践操作：数据预处理与特征提取第二课时：模型训练与优化
理论章解：自监督学习与多模态对齐模型训练：使用预处理数据训练VATT模型实践操作：训练过程中的参数调整与优化第三课时：视频检索系统开发
理论章解：多模态检索技术系统开发：实现基于VATT的智能视频检索系统实践操作：系统集成与功能测试第四课时：系统评估与应用
理论章解：模型评估方法与指标系统评估：对视频检索系统进行效果评估实践操作：优化系统并部署应用第三部分：面向生成任务的多模态大模型第七章：基础扩散模型原理
扩散模型的基本概念定义：基于扩散过程的生成模型过程：噪声添加与去噪扩散模型的训练过程前向过程（Forward Process）：逐步添加噪声反向过程（Reverse Process）：逐步去噪关键技术点噪声分布选择去噪网络架构设计第八章：DDPM模型原理
DDPM模型简介模型结构：基于U-Net的去噪网络训练目标：最大化去噪过程的似然DDPM的架构与训练方法前向过程与反向过程的细节去噪网络的设计与优化DDPM在图像生成中的应用高质量图像生成应用案例分析第九章：DDIM模型原理
DDIM模型简介模型结构：基于改进的扩散过程训练目标：提升生成效率与质量DDIM的架构与训练方法改进的前向过程与反向过程去噪网络的优化与调整DDIM在图像生成中的应用高效图像生成应用案例分析第十章：Stable Diffusion模型原理
Stable Diffusion模型简介模型结构：基于稳定扩散过程训练目标：平衡生成质量与计算成本Stable Diffusion的架构与训练方法前向过程与反向过程的稳定设计去噪网络的优化策略Stable Diffusion在图像生成中的应用应用领域与案例分析案例三：基于DDPM模型的高质量图像生成
实验目的：
理解DDPM模型的结构与原理掌握图像生成技术实现高质量图像生成系统第一课时：DDPM模型基础与数据准备
理论章解：DDPM模型结构与原理数据准备：收集与处理图像数据实践操作：数据预处理与特征提取第二课时：模型训练与优化
理论章解：扩散过程与去噪网络模型训练：使用预处理数据训练DDPM模型实践操作：训练过程中的参数调整与优化第三课时：图像生成系统开发
理论章解：图像生成技术系统开发：实现基于DDPM的高质量图像生成系统实践操作：系统集成与功能测试第四课时：系统评估与应用
理论章解：模型评估方法与指标系统评估：对图像生成系统进行效果评估实践操作：优化系统并部署应用案例四：基于Stable Diffusion模型的影视特效生成
实验目的：
理解Stable Diffusion模型的结构与原理掌握影视特效生成技术实现智能影视特效生成系统第一课时：Stable Diffusion模型基础与数据准备
理论章解：Stable Diffusion模型结构与原理数据准备：收集与处理影视特效数据实践操作：数据预处理与特征提取第二课时：模型训练与优化
理论章解：扩散过程与去噪网络模型训练：使用预处理数据训练Stable Diffusion模型实践操作：训练过程中的参数调整与优化第三课时：影视特效生成系统开发
理论章解：特效生成技术系统开发：实现基于Stable Diffusion的智能影视特效生成系统实践操作：系统集成与功能测试第四课时：系统评估与应用
理论章解：模型评估方法与指标系统评估：对影视特效生成系统进行效果评估实践操作：优化系统并部署应用第四部分：兼顾理解和生成任务的多模态大模型第十一章：VL-T5模型原理
VL-T5模型简介模型结构：基于T5的多模态扩展训练目标：同时处理理解与生成任务VL-T5的架构与训练方法文本编码器与图像编码器的融合设计训练策略与损失函数VL-T5在理解与生成任务中的应用多模态问答系统文本生成图像的应用案例第十二章：Unified VLP模型原理
Unified VLP模型简介模型结构：统一的多模态预训练架构训练目标：统一处理多种任务Unified VLP的架构与训练方法多任务学习策略模型训练与优化技术Unified VLP在理解与生成任务中的应用多任务学习的应用案例第十三章：BLIP-2模型原理
BLIP-2模型简介模型结构：基于BERT与Transformer的多模态架构训练目标：提升理解与生成性能BLIP-2的架构与训练方法多模态对齐与融合技术训练策略与优化方法BLIP-2在理解与生成任务中的应用多模态生成与理解的应用案例案例五：基于VL-T5模型的智能教育问答系统
实验目的：
理解VL-T5模型的结构与原理掌握智能教育问答系统的开发技术实现智能教育问答系统第一课时：VL-T5模型基础与数据准备
理论章解：VL-T5模型结构与原理数据准备：收集与处理教育问答数据实践操作：数据预处理与特征提取第二课时：模型训练与优化
理论章解：多模态融合技术模型训练：使用预处理数据训练VL-T5模型实践操作：训练过程中的参数调整与优化第三课时：智能教育问答系统开发
理论章解：问答系统技术系统开发：实现基于VL-T5的智能教育问答系统实践操作：系统集成与功能测试第四课时：系统评估与应用
理论章解：模型评估方法与指标系统评估：对问答系统进行效果评估实践操作：优化系统并部署应用第五部分：知识增强的多模态大模型第十四章：ERNIE-ViL模型原理
ERNIE-ViL模型简介模型结构：基于知识增强的多模态架构训练目标：提升知识表达与融合能力ERNIE-ViL的架构与训练方法知识图谱的引入与应用模型训练与优化策略ERNIE-ViL在知识增强与多模态学习中的应用知识问答与推理应用案例分析案例六：基于ERNIE-ViL模型的智慧医疗系统
实验目的：
理解ERNIE-ViL模型的结构与原理掌握智慧医疗系统的开发技术实现智慧医疗系统第一课时：ERNIE-ViL模型基础与数据准备
理论章解：ERNIE-ViL模型结构与原理数据准备：收集与处理医疗数据实践操作：数据预处理与特征提取第二课时：模型训练与优化
理论章解：知识增强技术模型训练：使用预处理数据训练ERNIE-ViL模型实践操作：训练过程中的参数调整与优化第三课时：智慧医疗系统开发
理论章解：医疗系统技术系统开发：实现基于ERNIE-ViL的智慧医疗系统实践操作：系统集成与功能测试第四课时：系统评估与应用
理论章解：模型评估方法与指标系统评估：对智慧医疗系统进行效果评估实践操作：优化系统并部署应用第六部分：大模型的预训练与微调第十五章：大模型的预训练
预训练的基本概念定义：大规模无监督学习过程目标：学习通用特征表示预训练的技术细节与挑战数据集选择与准备训练策略与优化技术案例分析：BERT、GPT-3等模型的预训练方法第十六章：大模型的微调技术
微调的基本概念定义：在特定任务上进行有监督学习目标：适配特定任务需求loRA技术详解技术简介：低秩适应（Low-Rank Adaptation）目标：通过低秩矩阵分解进行高效微调应用实例：在特定任务上的快速微调与性能提升Dreambooth技术详解技术简介：基于生成对抗网络（GANs）的微调技术目标：通过生成对抗网络进行高质量的微调应用实例：图像生成与图像增强任务中的应用ControlNet技术详解技术简介：控制神经网络目标：在预训练模型中引入控制信号，实现特定任务微调应用实例：在复杂任务中的控制与调优案例七：基于Unified VLP模型的智慧工厂监控系统
实验目的：
理解Unified VLP模型的结构与原理掌握智慧工厂监控系统的开发技术实现智慧工厂监控系统第一课时：Unified VLP模型基础与数据准备
理论章解：Unified VLP模型结构与原理数据准备：收集与处理工厂监控数据实践操作：数据预处理与特征提取第二课时：模型训练与优化
理论章解：多任务学习策略模型训练：使用预处理数据训练Unified VLP模型实践操作：训练过程中的参数调整与优化第三、四课时：智慧工厂监控系统开发
理论章解：监控系统技术系统开发：实现基于Unified VLP的智慧工厂监控系统实践操作：系统集成与功能测试第七部分：大模型的评估、压缩、推理与部署第十七章：大模型的评估
评估指标与方法评估指标：精度、召回率、F1分数等评估方法：交叉验证、混淆矩阵等大模型评估的挑战与解决方案数据不均衡问题评估时间与资源消耗第十八章：大模型的压缩技术
模型压缩的基本概念定义：减少模型参数与计算量目标：提升模型的推理速度与部署效率模型剪枝技术技术简介：移除冗余参数实施方法：结构化剪枝与非结构化剪枝案例分析：经典模型压缩实例模型量化技术技术简介：减少模型参数的位宽实施方法：定点量化与混合精度量化案例分析：模型量化的应用实例模型蒸馏技术技术简介：教师模型与学生模型的知识转移实施方法：软标签与硬标签的蒸馏案例分析：经典蒸馏模型第十九章：大模型的推理与部署
推理与部署的基本概念推理定义：模型在实际应用中的预测过程部署定义：将模型应用到生产环境大模型的推理优化技术优化策略：减少计算复杂度与加速推理过程案例分析：经典推理优化技术大模型的部署方案与案例部署工具与平台：TensorFlow Serving、ONNX、Triton Inference Server等部署案例：实际应用中的部署实例案例八：基于BLIP-2模型的智能音乐生成系统
实验目的：
理解BLIP-2模型的结构与原理掌握智能音乐生成技术实现智能音乐生成系统BLIP-2模型基础与数据准备
理论章解：BLIP-2模型结构与原理数据准备：收集与处理音乐数据实践操作：数据预处理与特征提取第二课时：模型训练与优化
理论章解：多模态对齐与融合技术模型训练：使用预处理数据训练BLIP-2模型实践操作：训练过程中的参数调整与优化第三课时：智能音乐生成系统开发
理论章解：音乐生成技术系统开发：实现基于BLIP-2的智能音乐生成系统实践操作：系统集成与功能测试第四课时：系统评估与应用
理论章解：模型评估方法与指标系统评估：对音乐生成系统进行效果评估实践操作：优化系统并部署应用第八部分：大模型的安全性第二十章：大模型的安全性
大模型的安全性挑战面临的威胁：对抗攻击、数据泄露等安全性评估：安全测试与漏洞扫描大模型的对抗攻击与防御技术对抗攻击技术：对抗样本生成、白盒攻击与黑盒攻击防御技术：对抗训练、鲁棒性增强技术大模型的隐私保护技术隐私保护方法：差分隐私、联邦学习案例分析：隐私保护的实际应用第九部分：课程总结与展望第二十一章：课程总结与未来展望
课程内容回顾各模块重点知识总结学生学习成果展示未来研究方向与应用前景大模型在各领域的应用前景未来技术的发展趋势讲师介绍
肖红正 多模态大模型资深算法讲师
个人介绍
肖红正，资深算法专家，拥有超过15年的算法研究与实践经验。曾在世界五百强企业英特尔公司担任高级系统架构师，担任中国电子系统技术有限公司的算法Leader，带领团队在智慧城市和能源行业领域进行多模态大模型产品研发，获得多项专利和荣誉。
教育背景
2002 - 2009: 华中科技大学 计算机应用 本科和硕士
可讲主题及培训内容
1.计算机视觉与图像处理
a.图像降噪与增强处理
b.2D和3D目标检测与分类
c.激光雷达与相机数据融合
2.深度学习与机器学习
a.深度学习模型设计与优化
b.机器学习算法及应用
c.数据挖掘与运行优化
3.AI/多模态大模型应用开发
a.智能零售柜技术应用
b.工业机器人和复合机器人
c. 城市大脑与智能交通
个人资质
专利:
一种文本识别模型的生成方法以及装置(CN202110447608.9)
一种语义分析方法及装置 (CN202110499308.5)
奖项
荣获2021年度集团优秀解决方案奖
技术能力
精通C/C++，熟悉Python等编程语言
深刻理解Linux系统和软件工程化
具备软硬件一体化产品研发能力
擅长多模态大模型、计算机视觉、机器学习和深度学习技术
主要项目经验
智能零售柜和送货机器人:通过2D+3D深度学习算法实现商品识别与结算，准确率达99%。
工业移动检测机器人: 基于多传感器融合技术，实现高精度缺漏检测与姿态检测。
城市大脑项目: 实现复杂场景下的2D和3D人脸识别与多目标追踪系统，提升城市管理智能化水平。
陈鑫 AIGC大模型应用开发资深讲师
个人介绍
陈鑫，拥有超过10年的软件开发和系统架构经验，专注于Python、Java语言教学及人工智能生成模型（AIGC）方向。现任TsingtaoAI研发及实训项目负责人，曾担任北京正己基业教育科技有限公司的架构师。陈鑫讲师以其深厚的技术背景和丰富的实践经验，致力于通过高质量的培训课程帮助学员提升专业技能。
教育背景
2005.09—2008.07 天津大学 计算机科学与技术 硕士
2001.09—2005.07 山东大学 计算机科学与技术 学士
讲主题及培训内容
1.Python编程与应用
a.Python基础语法与数据结构
b.高级编程技巧与实战案例
2.Java语言高级应用
a.Java高级编程
b.企业级Java应用开发
3.机器学习与神经网络
a.机器学习基础
b.深度学习与神经网络
4.AIGC生成多模态模型
a.基于Python的AIGC模型实现
b.AIGC在实际项目中的应用
5.系统架构设计
a.企业级系统架构设计原则
b.分布式系统与微服务架构
培训及项目案例
1.GreedyAI实训项目：通过一系列系统的培训课程，帮助学员掌握Python和Java的高级编程技巧，并将所学知识应用于实际项目中，提高学员的实战能力。
2.武昌职业技术学院精英班项目实训：针对职业院校学生的实训项目，通过项目驱动的学习方法，提升学生的编程技能和项目实践能力。
3.湖北生物职业技术学院毕业提升班项目实训：为毕业生提供专项培训，帮助他们在毕业后能够迅速适应工作岗位的要求，提高就业竞争力。
4.运道智能物流平台：领导开发并实施了智能物流平台，通过先进的技术手段，提高物流运作效率，获得客户的高度认可。
5.掌合云工厂智能平台：负责智能平台的架构设计与开发，实现了工厂生产管理的智能化，提高了生产效率和管理水平。
相关案例
训练营名称
培训周期
培训内容
服务客户
Nvidia全系技术栈培训-技术架构、智算平台、算力中心建设
14天
详尽解析英伟达技术体系，包括DGX、HGX、GPU技术及IB网络架构，及其在智算平台中的应用。不论是面向AI开发框架的深入了解，还是大模型的端到端调优，线上及线下双模式培训都将提供丰富的实操经验。让企业在英伟达系统中，提升大模型性能，优化智算中心的设计与运维，精通存储和网络基础设施的构建。
LC-某服务器厂商
从训练到推理，LLM大模型技术培训
6天
内容全面揭示大模型技术的核心原理与应用。深入探讨大模型从理论到实践的每一个环节，包括大模型的理论基础、关键技术如分布式并行计算、训练加速技术，以及推理优化技术。
中国石油数据中心
AIGC赋能灯塔工厂建设
2天
探索AIGC技术在灯塔工厂中的应用，提升参训者对AIGC工具的操作熟练度及实操能力。通过介绍AIGC技术的基本原理和发展历程，使学员了解其在产线中的转型潜力和实际效益。
隆基绿能
AI科普：搜索技术培训
1天
理解搜索技术的发展历程；掌握核心搜索技术的基本原理；认识到搜索技术的现代应用与探索方向。
百度
AIGC在供应链金融的应用
5天
深入理解AI及其大模型技术的基础知识，尤其是AIGC的核心原理和功能，并能够识别出AI技术在金融、物流、供应链管理和商贸等相关行业中的应用潜力和价值。学习并实践使用AIGC工具和相关软件，在特定的业务场景中针对金融、物流、供应链和商贸行业进行操作，从而能够利用AI技术为其行业创造价值。通过多个真实的行业案例，参与者将深入了解AIGC如何在金融、物流、供应链和商贸等行业中被成功应用，并能够从中提炼出成功应用AI技术的关键因素和策略。
京东物流
AIGC实战应用训练营
6天
了解AIGC技术发展趋势及应用场景；掌握有效对话AI方法和技巧；掌握AI在高效学习、智能办公、AI图像处理等应用场景的方法和技巧，提升核心竞争力。
知乎
AIGC初级美术设计
4天
理解AIGC技术的重要性和价值，以及其与商业决策、管理和创新的关系；深入理解GPT模型以及Midjourney工具的应用；掌握使用AIGC技术进行各类美术设计的技巧和方法。
环球网校
AIGC金融科技训练营
2天
全面理解AIGC的背景、基本原理和发展趋势，掌握AIGC的基本概念和基础知识；了解AIGC对金融行业的深远影响；详细解析如何在面临AIGC带来的挑战和机遇时，如何灵活应对和有效利用。
广发银行
职场猛人必杀技：1天提升10倍AIGC生产力
1天
1天时间，掌握使用最主流的AIGC工具来提升运营、产品、销售等部门的工作效率和成效，包括ChatGPT、MidJourney等主流工具。
中央财经大学、百炼智能、Gonex等
关于TsingtaoAITsingtaoAI拥有一支高水平的产学研一体的AI产品开发团队，核心团队主要来自清华大学、北京大学、中科院、北京邮电大学、复旦大学、中国农业大学、美团、京东、百度、中国技术创业协会和三一重工等产研组织。 TsingtaoAI核心团队专长于算力、行业LLM/AIGC应用的产品研发，面向企业的大语言模型应用落地等业务，如面向智能客服、教育、人力资源、电商和轨道交通等行业领域的LLM和AIGC应用开发。公司拥有近10项LLM/AIGC相关的知识产权。
TsingtaoAI自研基于LLM大模型代码能力的AIGC应用开发实训平台、面向CS专业的AI训练实训平台和基于大语言模型的AIGC案例学习平台，聚焦虚拟现实、金融科技、医药健康、高端装备、新能源、新材料、节能环保、文化创意、农业科技和食品科技等关键行业，通过链接全球数以千计的关键领域的AI科学家和工程师，为央国企、上市公司、外资企业、政府部门和高校提供AI企业内训和高校实训服务。
