维护中AI 关键词公开

模型微调 (Fine-tuning)

微调是在预训练大模型基础上用领域数据继续训练，让模型稳定掌握特定风格、格式与知识的技术。借助 LoRA/QLoRA 等参数高效方法，消费级显卡也能完成以前需要机房级算力的微调任务。

更新于 2026年9月22日发布于 2026年9月22日AI资源库高级

下载渠道

暂无

文件信息

资料包

资料数量

持续更新

访问方式

公开查看

AI 提示词 · 图片 / 视频生成

源代码

关键词详情

定义

微调（Fine-tuning）是在已有预训练模型上，用自建数据继续训练以改变其输出行为的手段。与提示词工程相比，微调把「怎么回答」固化进模型权重，适合风格统一、格式严格、术语私有这三类需求。参数高效微调（PEFT）方法中的 LoRA 只训练注入的低秩矩阵（通常不到全量参数的 1%），QLoRA 再叠加 4-bit 量化，使单张 24GB 显卡也能微调 7B~13B 模型。

应用场景

品牌语气统一：让模型输出始终符合品牌人设与话术规范
结构化输出：稳定产出特定 JSON Schema、表格或代码风格
垂直领域适配：法律、医疗、电商客服等私有术语与知识
小模型替代：微调 7B 模型替代 GPT-4 级 API 完成单一任务，降低成本
分类与抽取：固定标签体系的意图识别、信息抽取

常见问题

应该先调提示词还是先微调？: 顺序是「提示词 → 少样本 → RAG → 微调」。提示词几天能迭代完，微调要准备数据、跑训练、做评估，周期以周计。只有当提示词工程已到瓶颈（格式仍不稳定、风格无法收敛、私有术语频出错误）时才值得上微调。
需要多少数据？: 任务单一且格式明确时，1000~5000 条高质量样本通常就够；几百条也可能见效。数据质量远比数量重要——500 条人工校对过的样本，效果普遍好于 5 万条爬取的脏数据。样本之间要覆盖真实输入的多样性，避免模型只会答一种问法。
LoRA 和全量微调怎么选？: 全量微调效果上限更高，但需要多卡训练且容易灾难性遗忘；LoRA 显存门槛低、训练快、可插拔（一个任务一个 adapter），是绝大多数场景的默认选择。LoRA 常用配置：rank 8~64，作用于 attention 层的 q/k/v/o 投影。
微调后怎么评估有没有退化？: 保留一份通用能力测试集（通用问答、代码、数学各一小批）和一份目标任务集，训练前后都跑一遍。目标任务涨分的同时通用能力明显掉分，说明学习率过大或数据过窄，需要降学习率、加通用数据混合训练（回放）。

模型微调 (Fine-tuning)

定义

微调是在预训练模型权重上继续训练的过程。你可以把它理解成「给一个博科的通才做岗位培训」——模型本来就懂语言和推理，微调教会它你的岗位规则：什么格式、什么语气、什么术语。

微调 vs 提示词 vs RAG

| 维度 | 提示词工程 | RAG | 微调 | |------|-----------|-----|------| | 改动成本 | 分钟级 | 天级 | 周级 | | 知识更新 | 重写提示词 | 更新知识库 | 重新训练 | | 适合解决 | 格式与行为约束 | 事实性知识注入 | 风格固化与稳定格式 | | 显存需求 | 无 | 推理即可 | 训练需 GPU | | 失效方式 | 忘写约束就不稳 | 库里没有就不知道 | 数据偏差被放大 |

三者不是互斥的：生产系统常见组合是「微调过的小模型 + RAG 知识库 + 结构化提示词」。

LoRA 微调最小流程

# 1. 准备数据：JSONL 格式，每行一条对话样本
# [{"messages":[{"role":"user","content":"..."},{"role":"assistant","content":"..."}]}]

# 2. 使用 LLaMA-Factory 启动 LoRA 训练（示例）
llamafactory-cli train \
  --model_name_or_path Qwen/Qwen2.5-7B-Instruct \
  --stage sft \
  --finetuning_type lora \
  --lora_rank 16 \
  --dataset my_dataset \
  --learning_rate 5e-5 \
  --num_train_epochs 3 \
  --per_device_train_batch_size 2 \
  --output_dir saves/qwen7b-lora

# 3. 合并导出 + 部署测试
llamafactory-cli export --model_name_or_path Qwen/Qwen2.5-7B-Instruct \
  --adapter_name_or_path saves/qwen7b-lora --export_dir models/qwen7b-merged

常见坑

| 现象 | 原因 | 处理 | |------|------|------| | 训练损失很低但实际效果差 | 数据单一，模型只会背答案 | 增加样本多样性，加入困难负例 | | 通用能力明显退化 | 学习率过高 / 数据过窄 | 降学习率，混入通用数据回放 | | 输出格式对了但内容幻觉增多 | 样本中答案含模型不知道的事实 | 幻觉类知识交给 RAG，微调只管格式与风格 | | 显存不足 | 模型太大 | QLoRA（4-bit 量化）+ 梯度累积 + 更短序列 |

评论建议

欢迎反馈资料质量、链接状态或希望补充的内容，管理员会持续维护。

常见问题

下载链接失效怎么办？
请优先切换其他网盘渠道，并反馈失效链接。

会员能下载所有资料吗？
页面标注为会员专享的资料支持会员下载，具体以当前页面显示为准。

模型微调 (Fine-tuning)

关键词详情

定义

应用场景

常见问题

模型微调 (Fine-tuning)

定义

微调 vs 提示词 vs RAG

LoRA 微调最小流程

常见坑

相关资源

评论建议

常见问题

相关资源

LoRA (Low-Rank Adaptation)

WAN (WanVideo) 视频生成模型

Agent Skill (智能体技能)

AI 智能体 (AI Agent)