一、前言
《大语言模型》作者：赵鑫，李军毅，周昆，唐天一，文继荣 (updated 2024-04-15)
在2023年12月底，为了更好地提供大模型技术的中文参考资料，我们启动了中文书的编写工作，并且于近日完成初稿。中文版书籍注重为大模型技术的入门读者提供讲解，力图展现一个整体的大模型技术框架和路线图。本书适用于具有深度学习基础的高年级本科生以及低年级研究生使用，可以作为一本入门级的技术书籍。
在线书籍：https://github.com/LLMBook-zh/LLMBook-zh.github.io
二、全书章节
1、背景与基础知识
第一章 引言（大模型发展历程、重要技术概览）
第二章 基础介绍（Scaling Law、GPT系列模型发展历程）
第三章 大模型资源（开源模型、数据、代码库）
2、预训练
第四章 数据准备（数据收集、清洗、配比、课程方法）
第五章 模型架构（Transformer 结构、大模型主流架构、细节改进）
第六章 模型预训练（预训练任务、优化参数设置、并行训练方法）
3、微调与对齐
第七章 指令微调（指令数据收集与合成方法、指令微调策略与作用）
第八章 人类对齐（3H标准、RLHF算法、非RL算法）
4、大模型使用
第九章 解码与部署（解码生成算法、解码加速算法、模型压缩算法）
第十章 提示学习（基础提示方法、上下文学习、思维链）
第十一章 规划与智能体（复杂规划方法、智能体搭建方法）
5、评测与应用
第十二章 评测（评测指标与方法、基础与高级能力评测、评测体系）
第十三章 应用（概览研究领域与专业领域的应用）
第十四章 总结
三、主要内容
概要总结
以下是本书14个章节的简要总结：
1、引言
回顾语言模型从统计模型到大语言模型的发展历程，介绍大语言模型的能力特点和对科技发展的影响。
2、基础介绍
概述大语言模型的构建过程、扩展法则和涌现能力，重点介绍GPT系列模型的技术演变。
3、大语言模型资源
总结公开模型、预训练数据集、微调数据集和代码库资源，帮助研究者快速入门和实践。
4、数据准备
介绍训练数据的来源、预处理方法（如过滤、去重、分词）以及数据调度策略，为高质量数据处理提供指导。
5、模型架构
深入讲解基于Transformer的架构，包括优化策略、新型模型设计及长上下文建模方法。
6、模型预训练
阐述预训练任务、优化技术和大规模训练的高效实现方法，为构建大模型提供技术细节。
7、指令微调
介绍通过指令微调提升模型任务适应性的方法，涵盖数据构建、训练策略和高效微调技术。
8、人类对齐
讨论通过人类反馈强化学习（RLHF）和监督学习对齐模型行为，使其更符合人类价值观和伦理。
9、解码与部署
总结生成文本的解码策略、加速算法和低资源部署方法，实现大语言模型的高效应用。
10、提示学习
介绍提示学习技术，包括人工和自动提示设计、上下文学习和思维链提示优化。
11、规划与智能体
探讨大语言模型在规划和智能体构建中的应用，涵盖方案生成、反馈获取和多智能体系统。
12、评测
介绍模型性能评测的指标和方法，涵盖语言生成、知识利用、推理能力及公开评测体系。
13、应用
总结大语言模型在科研（如推荐系统、信息检索）和专业领域（如医疗、教育、法律）的应用实践。
14、总结
回顾大语言模型的核心技术和研究进展，展望未来挑战与发展方向，提出进一步研究的可能性。
本书系统性地涵盖了大语言模型的核心技术、资源和应用场景，为研究和实践提供了全面指导。
第一章《引言》总结
1、语言模型的发展历程：
- 统计语言模型：通过马尔可夫假设基于词序列上下文预测下一个词的出现概率，但受限于高阶建模的维度灾难和数据稀疏问题。
- 神经语言模型：引入分布式词表示（如word2vec），使用神经网络建模语义，克服了统计模型中的稀疏问题。
- 预训练语言模型：通过双向语言建模（如BERT）或自回归建模（如GPT-1）在大规模无标注数据上预训练，提升了模型的语义理解能力和任务迁移性能。
- 大语言模型：通过规模扩展（参数和数据规模）提升性能，展现出涌现能力，如上下文学习和通用任务求解。
2、大语言模型的能力特点：
- 丰富的世界知识：通过大规模预训练学习复杂知识。
- 通用任务解决能力：能基于自然语言提示解决多样化任务。
- 复杂任务推理能力：具备处理复杂数学推理和知识推理问题的能力。
- 人类指令遵循能力：能根据自然语言提示高效执行指令。
- 人类对齐能力：通过强化学习等技术实现安全性和行为规范化。
- 工具使用能力：支持搜索引擎和计算器等外部工具扩展模型功能。
3、关键技术概览：
- 规模扩展：参数、数据、算力的增长对性能提升的作用被量化为扩展法则。
- 模型架构：基于Transformer的改进（如BERT和GPT系列）。
- 数据质量：高质量的大规模数据是性能提升的基础。
- 微调技术：如指令微调和人类反馈对齐。
本章全面回顾了语言模型从传统到现代的技术演变，并为理解后续内容提供了基础背景和方向框架。
第二章《基础介绍》总结
1、大语言模型的构建过程：
- 大规模预训练：大语言模型通过在大规模无标注文本数据上进行训练，获得通用的语言理解与生成能力。
- 指令微调与人类对齐：通过指令微调（Instruction Tuning）和强化学习方法（如RLHF），模型可以更好地遵循用户指令并对齐人类意图。
2、扩展法则：
- KM扩展法则：描述了模型性能与参数数量、数据规模、计算预算之间的关系，指导模型扩展的资源分配。
- Chinchilla扩展法则：提出了在固定计算预算下，增加训练数据而非参数数量可以更高效地提升模型性能。
3、涌现能力：
- 涌现能力指的是随着模型规模扩大，模型展现出一些在小规模模型中不存在的能力，例如复杂推理和数学计算。
- 研究表明涌现能力与模型规模扩展有密切关系。
4、GPT系列模型的技术演变：
- 早期探索：从GPT-1开始，模型探索了自回归语言建模的可能性。
- 规模扩展：GPT-2和GPT-3通过增加参数和数据规模显著提高了模型性能。
- 能力增强与性能跃升：GPT-4进一步优化了模型能力，使其在多样化任务中的表现更为卓越。
本章为读者提供了大语言模型的基本背景和关键技术介绍，为后续深入学习奠定了基础。
第三章《大语言模型资源》总结
1、公开可用的模型检查点或API：
- 提供多种开源模型检查点（如LLaMA系列），帮助研究者和开发者根据自身需求选择合适的模型。
- 商业公司提供的API为用户提供了快速调用模型的便捷方式，无需关心内部训练过程。
2、常用的预训练数据集：
- 包括网页、书籍、维基百科、代码和混合型数据集，涵盖广泛的领域和内容。
- 多源化和高质量的语料为大语言模型的知识学习和生成能力提供了重要支持。
3、微调数据集：
- 包括指令微调数据集和人类对齐数据集，提升模型的任务执行能力和安全性。
4、代码库资源：
- 提供了Hugging Face、DeepSpeed和Megatron-LM等代码库，支持模型训练、优化和分布式计算。
- 作者团队还为本书配套提供了丰富的资源和示例代码。
本章详细介绍了大语言模型研发和应用所需的核心资源，帮助读者全面了解可用工具和数据支持。
第四章《数据准备》总结
1、数据来源：
- 通用文本数据：包括网页、书籍、对话等。通用数据规模大、类型丰富，是大语言模型的主要训练语料来源。
- 专用文本数据：根据任务需求选择特定领域数据，如代码、科学文献、对话语料等，用于增强模型的特定能力。
2、数据预处理：
- 质量过滤：对数据进行语种、统计属性、关键词和分类器过滤，确保数据的清洁度和有效性。
- 敏感内容过滤：去除隐私信息和其他敏感内容。
- 数据去重：通过句子级、文档级等方法减少重复，提升训练数据多样性。
- 实践案例：使用不同清洗规则，如网页数据需移除HTML标签，代码数据保留注释等。
3、词元化（分词）：
- 分词方法包括BPE（字节对编码）、WordPiece、Unigram等。
- 根据任务需求选择适合的分词器，有助于提高模型的训练效率和效果。
4、数据调度：
- 数据混合：根据模型需求调整不同数据源的比例。
- 数据课程：从短文本到长文本逐步增加上下文长度，优化模型的长文本建模能力。
- 案例：以YuLan模型为例，采用数据课程策略实现长文本支持。
本章详细阐述了预训练数据的获取、处理和管理方法，为后续模型训练奠定了坚实基础。
第五章《模型架构》总结
1、基础架构：Transformer
- 核心模块：包括输入编码、多头自注意力机制、前馈网络层、编码器和解码器等。
- Transformer以其模块化设计和良好的扩展性，成为大语言模型的标准架构。
2、模型优化
- 归一化方法和模块位置：不同模型采用了前归一化、后归一化等策略，以提升稳定性和效率。
- 激活函数：常见激活函数包括ReLU、GELU、SwiGLU等，根据任务需求选择。
- 混合专家模型：通过引入专家模块，降低计算复杂度，提高训练效率。
3、主流架构类型
- 编码器-解码器架构：广泛应用于机器翻译等任务，代表模型如T5系列。
- 因果解码器架构：采用单向掩码注意力机制，是GPT系列等主流大语言模型的核心设计。
- 前缀解码器架构：用于结合生成和理解任务，代表模型如GLM。
4、长上下文模型
- 技术突破：通过扩展位置编码和调整上下文窗口等方法，提升长文本建模能力。
- 挑战与研究：尽管上下文窗口长度不断增加，模型仍需优化以充分利用长文本信息。
5、新型模型架构
- 参数化状态空间模型：通过优化序列建模效率，降低长文本处理的计算复杂度。
- 长卷积模块（如Hyena）：利用快速傅里叶变换实现高效序列建模。
本章详述了大语言模型的架构选择及其优化策略，为理解模型性能提升的技术路径提供了系统视角。
第六章《模型预训练》总结
1、预训练任务
- 语言建模：通过预测下一个词元，提升模型的生成和语义理解能力，广泛应用于基于解码器的模型（如GPT系列）。
- 去噪自编码：重建被扰乱的输入文本（如屏蔽词元或打乱句序），常用于编码器-解码器架构（如BERT）。
- 混合去噪任务：结合多种去噪技术，提高模型在不同任务中的适应性。
2、优化参数设置
- 批次大小调整：动态优化批次大小以平衡计算效率与训练稳定性。
- 学习率策略：采用warmup和分段衰减策略，以提高模型收敛速度和性能。
- 优化器选择：广泛使用Adam、LAMB等优化器，适配大规模训练场景。
3、稳定优化技术
应对大模型训练中的梯度消失和爆炸问题，通过梯度裁剪和梯度积累等技术提升训练稳定性。
4、可扩展训练技术
- 3D并行训练：将模型并行、数据并行和流水线并行相结合，优化分布式训练效率。
- 激活重计算与混合精度：减少显存占用和计算量，适应大规模模型训练需求。
5、训练资源估算
- 讨论参数量、显存需求和训练时间的估算，为实际训练提供指导。
- 提供关于训练计算成本的实践案例分析。
本章系统描述了大语言模型预训练阶段的任务设计、参数优化和高效训练方法，强调了预训练对模型能力构建的关键作用。
第七章《指令微调》总结
1、指令微调的概念
- 指令微调（Instruction Tuning）通过自然语言形式的指令数据对预训练语言模型进行参数调整，提升模型的指令遵循能力和任务解决能力。
- 它结合监督学习和多任务提示训练，支持模型在零样本学习的基础上执行多样化任务。
2、指令数据的构建
- 数据来源：
- NLP任务数据：如FLAN v2等多任务指令数据集。
- 日常对话数据：如ShareGPT收集的对话记录。
- 合成数据：如Alpaca利用大模型生成的合成指令数据。
- 数据增强：
- 增加指令的复杂性和话题多样性。
- 使用高质量数据筛选技术优化指令数据。
3、训练策略
- 指令微调沿用预训练的技术框架，同时结合任务描述优化目标函数，调整批次大小和学习率，以保证微调的高效性和稳定性。
- 多阶段训练策略：分阶段调整数据内容和复杂度，逐步提升模型对复杂任务的适应性。
4、参数高效的微调方法
- 使用低秩适配（LoRA）等高效微调技术，在保持性能的同时降低计算和显存开销。
- 合并预训练数据与指令数据，以提升模型的稳健性和任务针对性。
5、指令微调的应用
- 指令微调在多个领域（如医学、法律、金融等）表现出较高的适配性。
- 微调后的小规模模型在特定任务上的表现可以超过未微调的大规模模型。
本章全面介绍了指令微调的原理、方法及应用，为提升大模型性能提供了有效路径。
第八章《人类对齐》总结
1、背景与重要性：
- 人类对齐是确保大语言模型行为符合人类价值观和社会伦理的关键研究问题。
- 尽管预训练和指令微调提升了模型能力，但模型可能生成偏见、有害或虚假的内容，对齐研究旨在解决这些潜在问题。
2、对齐标准：
常见的对齐标准包括：
- 有用性：模型输出应为用户提供帮助。
- 诚实性：输出应准确反映事实。
- 无害性：避免生成冒犯或危险的内容。
3、基于人类反馈的强化学习 (RLHF)：
- 方法概述：
- RLHF通过人类反馈数据指导模型优化，是实现对齐的主要技术途径。
- 包括人类反馈数据收集、奖励模型训练和强化学习训练三大环节。
- 关键流程：
- 收集人类对不同模型输出的偏好。
- 训练奖励模型，评估模型行为是否符合对齐标准。
- 使用奖励模型通过强化学习算法（如PPO）优化模型。
4、非强化学习的对齐方法：
- 包括有监督微调和基于红队攻击的数据生成，作为RLHF的替代或补充。
- 非强化学习方法更易实施，但对复杂行为的对齐效果有限。
5、RLHF与其他方法的对比：
- RLHF能够更精确地引导模型对齐复杂标准，但训练成本较高。
- 有监督方法在资源有限时表现出高效性。
本章全面介绍了人类对齐的背景、标准和技术方法，突出RLHF作为核心技术的重要性，同时提供了非强化学习方法作为有效补充。
第九章《解码与部署》总结
1、解码策略：
- 贪心搜索：总是选择最高概率的词元，但容易导致生成内容重复和缺乏多样性。
- 随机采样改进：引入温度参数和概率阈值（Top-k、Top-p），通过控制采样范围提升生成质量和多样性。
2、解码加速算法：
- 优化方法：
- 系统级优化：利用并行计算和缓存机制提升解码效率。
- 解码策略优化：通过早退判断和混合深度方法减少计算量。
- 代码库支持：
- llama.cpp：支持多种硬件和量化精度。
- vLLM：提升注意力计算效率并优化批次管理。
- DeepSpeed-MII：引入动态分割技术和增量解码支持。
3、低资源部署策略：
- 模型量化：通过将浮点数映射为低精度整数（如INT8），减少显存占用，同时保持性能。
- 模型压缩：包括模型蒸馏和剪枝等方法，用于降低计算复杂度并优化存储需求。
4、部署场景中的实践：
- 大语言模型在部署中需权衡解码质量与速度，通过动态调整参数和策略满足不同任务需求。
- 高效的解码和模型压缩技术使得大模型能够在资源有限的环境下实际应用。
本章聚焦于大语言模型的解码方法、优化技术及低资源环境的部署策略，为实际应用提供了实践指南。
第十章《提示学习》总结
1、提示学习概述
- 提示学习通过构建合适的自然语言提示与模型交互，从而解决下游任务。提示设计包括人工设计和自动优化两种主要策略。
2、基础提示
- 人工提示设计：通过任务描述、上下文信息和示例设计构建提示，常用方法包括任务描述模板化和示例优化。
- 自动提示优化：使用算法生成或调整提示，以提高提示质量和任务性能。这些方法可以降低对人工设计的依赖。
3、上下文学习（In-Context Learning, ICL）
- 上下文学习利用任务描述和示例构成提示，将任务直接嵌入到模型输入中进行推理。示例选择的策略（如k-NN排序）显著影响模型的效果。
4、思维链提示（Chain-of-Thought, CoT）
- 思维链提示通过添加中间推理步骤，提升模型在复杂任务上的推理能力。例如，增加引导性的语句（如“让我们一步步思考”）有助于激发逐步推理。
5、提示学习的实践意义
- 提示学习具有适应性强和低成本的优势，适用于零样本和少样本场景。通过合理设计提示，模型在执行复杂任务时的能力能够大幅提升。
本章系统介绍了提示学习的理论和方法，强调了提示设计在实际应用中的重要作用。
第十一章《规划与智能体》总结
1、基于大语言模型的规划
- 整体框架：描述了如何利用大语言模型进行规划，包括输入需求、生成初步方案以及优化方案的反馈流程。
- 方案生成：通过大语言模型生成可行性方案，并评估其有效性和效率。
- 反馈获取：从用户或环境中收集反馈，用于调整和优化规划结果。
2、基于大语言模型的智能体
- 智能体概述：介绍了智能体的定义及其在实际应用中的角色，如自主决策和任务执行。
- 智能体构建：基于大语言模型，设计能够完成复杂任务的智能体，并结合多模态数据处理能力。
- 多智能体系统的构建：探讨多个智能体如何协作，包括任务分解和资源分配等关键问题。
- 典型应用：举例说明智能体在对话系统、辅助决策和内容生成中的应用。
- 关键技术问题：讨论了尚待解决的技术挑战，例如跨任务泛化能力和实时响应性能。
本章强调了大语言模型在规划和执行任务方面的潜力，展示了其从文本生成到实际应用的转化过程。提出了一些亟需研究的技术问题，为学术和工业界提供了研究方向。
第十二章《评测》总结
1、评测指标与方法
- 常见评测指标：包括精确率、召回率、F1值、BLEU、ROUGE等，用于评估语言生成、知识利用和推理任务的性能。
- 评测范式：覆盖从自动化指标评测到人工评审的方法，关注多维度能力，如生成质量、知识准确性、逻辑性等。
2、基础能力评测
- 语言生成：通过评价生成文本的流畅性、连贯性和丰富性，判断模型的自然语言生成能力。
- 知识利用：测试模型在回答事实性问题和知识查询中的表现。
- 复杂推理：评估模型在逻辑推理、数学计算和多步推理任务中的能力。
3、高级能力评测
- 人类对齐：通过模拟人类反馈，测试模型在生成内容时的道德性和无害性。
- 环境交互：评估模型与外部系统（如搜索引擎、计算工具）的交互能力。
- 工具使用：测试模型在集成外部工具支持的情况下，完成复杂任务的效率。
4、公开综合评测体系
- MMLU：评估多任务理解能力，覆盖从基础知识到复杂推理的广泛任务。
- IG-Bench：包含多样化任务集合，用于测试模型的通用性。
- HELM：关注模型性能的公平性、透明性和鲁棒性。
- C-Eval：专注于评估模型在特定领域任务中的表现。
本章系统阐述了大语言模型的评测方法、任务和公开评测资源，为全面衡量模型性能提供了标准化框架和实际案例支持。
第十三章《应用》总结
1、研究领域的应用：
- 传统自然语言处理（NLP）任务：大语言模型在文本分类、命名实体识别和机器翻译等任务上表现出色，显著提升了模型的通用性和性能。
- 信息检索：大语言模型通过生成式回答和上下文推理改善了传统检索方法，支持更复杂的信息需求。
- 推荐系统：模型能够捕捉用户意图和兴趣，提高推荐结果的相关性和个性化。
- 多模态应用：通过结合图像、视频和文本，模型支持多模态任务（如图文生成）。
- 知识图谱增强：利用知识图谱丰富语言模型的事实性知识，提高复杂查询的准确性。
2、专业领域的应用：
- 医疗场景：在医疗记录摘要、诊断支持和患者咨询中表现优异。
- 教育领域：支持个性化学习路径推荐和自动化评估。
- 法律领域：辅助合同审查和法律分析，提高文档处理效率。
- 金融场景：优化投资分析、客户服务和风险评估。
- 科学研究：在文献综述和实验数据分析中提供支持。
本章展示了大语言模型在研究和专业领域的广泛应用，强调其技术潜力和社会影响力。
第十四章《总结》
是对全书内容的概括与未来展望，通常包括以下要点：
1、语言模型的技术回顾
- 从统计语言模型到大语言模型的演变，展示了技术发展过程及其关键突破。
- 大语言模型在模型架构、数据准备、预训练、微调与对齐等方面的技术进展。
2、大语言模型的能力和应用
- 讨论了模型在知识掌握、推理能力、人机交互中的表现。
- 总结了模型在科研和专业领域的应用价值，如教育、医疗、法律和科学研究。
3、挑战与未来方向
- 提出当前技术面临的挑战，例如能耗、成本、安全性和模型偏差。
- 展望未来技术发展的方向，如更高效的训练方法、更全面的对齐机制、以及多模态和通用人工智能的发展可能性。
本章作为全书的总结与展望，强调了大语言模型的核心价值，并为学术界和工业界提供了进一步研究的指导。
