《大模型原理与技术》教学大纲 .docx

《大模型原理与技术》教学大纲

一、基本信息

课程编号：XXXXXX

总学时：32（其中，讲课：24；实验：8）学 分：2

实践教学：8周

修读专业：人工智能、计算机科学、数据科学等专业本科生/研究生，AI开发者

使用教材：魏明强，陈松灿，宫丽娜.大模型原理与技术.北京：电子工业出版社，2024.09.

其他可利用的网络资源：

/CAI-testbooks/General-Education-Excellent-Textbooks

二、课程简介

大模型技术是近年来人工智能领域最具突破性的进展，凭借强大的通用智能能力，正在重塑自然语言处理、多模态理解、科学计算等关键技术范式，成为推动产业智能化升级的核心引擎。《大模型原理与技术》是人工智能、计算机科学与技术、数据科学等专业的重要核心课程，聚焦以千亿级参数为代表的大模型技术体系，致力于构建“深入理论认知—扎实工程实践—前沿应用洞察”三位一体的教学闭环，形成多维立体的能力培养体系。课程采用理论讲授与实验实践相结合的教学模式，全面覆盖大模型的核心原理与关键技术，包括主流模型架构、训练流程、优化方法、提示工程（PromptEngineering）、参数高效微调、模型评测与压缩等内容，帮助学生系统掌握从底层算法到应用部署的全链路能力。

本课程紧密衔接人工智能前沿发展与产业实践需求，面向AIGC、智能体开发等新兴应用场景，培养具备系统理论基础与工程实现能力的复合型人才。通过学习本课程，学生将具备快速切入人工智能2.0关键领域的能力，胜任算法研发、系统架构设计、应用创新等多维职业角色，为未来在智能科技领域的深度参与和技术攻关打下坚实基础。

三、课程教学目标

本课程面向人工智能、计算机科学与数据科学等相关专业高年级本科生或研究生，旨在通过系统教学，使学生达到以下教学目标：

知识目标

系统理解并掌握大模型的基本概念、发展历程及其在人工智能中的技术地位；

理解大模型的核心原理，包括主流架构（如Transformer）、训练机制、优化方法等；

熟悉提示工程、微调方法、参数高效技术、模型压缩与评测机制等前沿技术；

了解大模型在自然语言处理、多模态融合、科学计算等领域的典型应用。

能力目标

具备构建和部署大模型的基本工程能力，能够独立完成模型训练、微调与推理部署；

能够基于主流深度学习框架（如PyTorch、MindSpore等）进行大模型实验与系统集成；

掌握解决复杂任务（如问答生成、代码生成、图文理解等）所需的系统性技术方法；

具备将大模型技术应用于实际场景（如AIGC、智能体系统开发等）的综合能力。

具备初步的研究能力与创新意识，能够阅读、理解大模型相关的科研论文与技术报告，开展前沿技术探索。

素养目标

培养前沿视野与技术敏感度，形成紧跟人工智能2.0发展趋势的学习能力与思辨能力；

强化数据安全与模型可信的伦理意识，关注大模型应用中的社会影响与可持续性；

强化数据安全与模型可信的伦理意识，关注大模型应用中的社会影响与可持续性。四、教学内容、教学要求和学时分配

《大模型原理与技术》课程通过系统性知识框架与多维度实践路径，构建起贯通技术演进、理论原理、工程实践与创新应用的全景式教学内容体系。具体地，

第一章绪论

教学目的与要求：

了解：大模型发展历程

理解：大模型基本概念

掌握：大模型关键技术和训练流程

教学重点与难点：

教学重点：大模型的基本概念

教学难点：大模型关键技术及训练流程第1.1节 大模型基本概念

第1.2节 大模型发展历程

第1.3节大模型关键技术及训练流程第二章大模型网络结构

教学目的与要求：

了解：BERT家族和GPT家族的预训练策略和改进

理解：BERT结构、GPT结构

掌握：注意力机制、编码器-解码器结构

分析：不同大模型结构在预训练任务上的差异

教学重点与难点：

重点：注意力机制

难点：预训练策略第2.1节Transformer

第2.2节编码器结构----BERT家族第2.3节解码器结构----GPT家族

第三章大模型训练与优化

教学目的与要求：

了解：开源数据集、节点间数据通信、分布式训练框架

理解：数据预处理、数据增强、数据课程、知识蒸馏

掌握：并行化训练策略、量化、剪枝

分析：比较不同并行化训练策略的优缺点

教学重点与难点：

重点：并行化训练策略、量化

难点：量化、剪枝第3.1节训练数据准备

第3.2节并行化与分布式训练

第3.3节模型压缩第四章大模型微调

教学目的与要求：

了解：重参数化微调、指令微调

理解：指定式微调、强化学习微调

掌握：增量式微