本课程重点介绍基于大模型的自然语言处理基础知识、核心技术以及应用方法，并简要介绍传统自然语言处理的相关知识。内容以深入浅出方式展开，对基础知识适当展开回顾，同时及时更新最新研究论文内容，旨在让学生系统地掌握大模型为主的自然语言处理技术，适合于从事该领域研究、工程应用的研究生或相关从业人员。

课程安排：

• 1-18周：玉泉路校区教学楼阶一5，5-7节（13:30-16:10）
• 第4/8/12周周日加课：玉泉路校区教学楼阶二5，5-7节（13:30-16:10）
• 教学日历 （期末考试：18周周五（7月3日）13：30-15：30，阶二5）
• PPT下载 （提取码: im2q）

[第一部分 基础知识]

01 Hello, NLP!

• 人人都爱NLP
• Hello，NLP！
• NLP任务概览
• 大语言模型

02 神经网络

• 神经网络原理（MLP）
• 训练神经网络（BP）
• 常见网络结构（RNN/LSTM/GRU）
• Encoder-Decoder架构

03 注意力

• 带注意力的Encoder-Decoder
• 自注意力
• 位置编码
• Transformers

04 词嵌入

• 什么是词嵌入
• Word2Vec
• Glove
• 词元Token

练习1 - 从入门到变形

• 手搓异或网络
• PyTorch版异或网络
• NNLM
• Transformer

[第二部分 大语言模型]

05 预训练

• 什么是预训练
• 预训练方法
• 预训练大语言模型

06 提示

• 什么是prompt
• 提示工程
• 提示学习

07 微调

• 全量微调
• 参数高效微调
• 指令微调

08 推理（Inference）优化

• KV缓存
• 注意力优化
• 模型瘦身(量化/稀疏/蒸馏)
• 混合专家MOE
• 批处理

09 对齐

• 大模型对齐
• 强化学习
• 偏好优化
• 对齐评测

10 推理（Reasoning）

• 什么是推理模型
• 推理方式
• 训练方法
• 典型模型

练习2 - MiniMind：从零训练一个小大语言模型

• Pretrain
• SFT
• RL
• Take Home

[第三部分 大语言模型应用]

11 RAG

• RAG整体框架
• 文档处理
• 文档检索
• GraphRAG

12 智能体

• 什么是Agent
• 感知
• 规划
• 记忆
• 工具调用

13 多智能体

• 多智能体概述
• 多智能体协作
• 智能体社会仿真

练习3 - 试一试智能体框架

• LangChain/LangGraph
• AgentScope
• OpenClaw
• Hermes

[第四部分 温故知新]

14 Hello again, NLP!

• 文本分类
• 文本匹配
• 序列标注
• 文本生成

15 安全

• 大模型安全概述
• 大模型内生安全
• 大模型衍生安全

16

17