指令调优（Instruction Tuning）是使用“任务指令—输入—目标响应”数据继续训练语言模型，使它更稳定地理解任务、遵循输出约束，并将这种能力迁移到未见过的指令表达。它通常属于监督微调（SFT），也是现代模型后训练流程的重要组成部分。
指令调优主要教模型“如何完成任务”，不是把一批文档永久灌进模型。需要频繁更新、可引用的事实知识，通常优先使用 RAG 或工具查询。
一、从预训练到指令调优
预训练学什么
基础语言模型通过预测下一个 Token，从大规模语料中学习语言、知识与模式。它可能已经具备摘要、翻译和问答能力，但不一定能稳定识别用户意图、遵守格式或在信息不足时拒答。
指令调优改变什么
训练数据明确展示“用户要求什么”和“理想回答是什么”，模型通过最大化目标响应的概率来学习任务接口。FLAN 等研究表明，在多种自然语言任务上进行指令调优，可以提升模型对未见任务的零样本泛化能力。
基础模型：根据前文继续生成最可能的文本
↓ 指令—响应监督训练
指令模型：根据角色、任务、输入和约束生成目标响应“基础模型只会续写、指令模型才理解人话”是一种便于理解的简化。二者使用相同的 Token 预测机制，差别主要来自训练数据分布与后训练目标。
二、先区分几个容易混淆的概念
Prompt Engineering
不修改模型参数，通过系统提示、示例、结构化输入和输出约束改善当前应用行为。成本最低、迭代最快，应优先作为基线。
指令调优与监督微调
监督微调是更大的概念：只要用带标签样本继续训练都可称为 SFT。指令调优是其中以自然语言指令和目标响应为核心的数据组织方式。
领域继续预训练
使用领域原始文本继续执行语言建模目标，主要让模型适应专业词汇与文本分布。它不等于教模型遵循指令，之后通常仍需要 SFT。
偏好优化：RLHF 与 DPO
偏好数据通常包含同一 Prompt 下更好与更差的回答。RLHF 可训练奖励模型并用强化学习优化策略；DPO 则直接从偏好对训练模型，不需要显式训练奖励模型。它们与指令 SFT 相互衔接，但不是指令调优的同义词。
RAG
RAG 在推理时检索外部资料，不更新模型权重。它适合最新知识、私有文档、引用与权限控制；指令调优更适合固定行为、风格和输出结构。
三、什么时候值得做指令调优
- 同一类任务调用量高，Prompt 已很长且仍不稳定。
- 需要固定 JSON、SQL、标签或领域术语等输出模式。