Hugging Face PEFT 与 TRL
Hugging Face PEFT 与 TRL 是 HF 生态中「让大模型微调变得既便宜又对齐」的两个互补库。PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）冻结预训练模型的全部权重，只在每一层注入少量可训练参数（适配器），把可训练参数从数十亿降到几百万（最多降 10000 倍），单卡就能微调 7B–65B 级模型且性能接近全量微调——核心方法包括 LoRA（低秩分解）、QLoRA（4-bit 量化 + LoRA）、AdaLoRA（自适应分配秩）、Prefix Tuning / Prompt Tuning（优化软提示）、IA³（激活重缩放）、VeRA（共享随机矩阵）。TRL（Transformer Reinforcement Learning）则提供 SFTTrainer（监督微调）、DPOTrainer（直接偏好优化，无需奖励模型）、PPOTrainer（PPO 强化学习，经典 RLHF）、RewardTrainer（训练奖励模型）、GRPOTrainer（组相对策略优化，DeepSeek-R1 等推理模型的核心方法）等对齐训练器，覆盖 SFT → 奖励建模 → RLHF/DPO/GRPO 的完整后训练（post-training）流水线。两者与 Transformers/Transformers Trainer 无缝集成，常组合使用：QLoRA + SFTTrainer/DPOTrainer 是消费级 GPU 微调大模型的事实标准。信源 huggingface.co/docs/peft + huggingface.co/docs/trl。
评价
优点
- PEFT 让大模型微调平民化：LoRA/QLoRA 把可训练参数降一到两个数量级，7B–65B 模型单卡可训，是消费级硬件跑大模型的关键
- 方法库齐全且可组合：PEFT 内置 LoRA/QLoRA/AdaLoRA/Prefix/Prompt/P-Tuning/IA³/VeRA/BOFT 等，TRL 提供 SFT/DPO/PPO/Reward/GRPO 等，覆盖从「学会做事」到「对齐人类偏好/学会推理」全链路
- 与 Transformers 紧耦合：
get_peft_model(model, config)一行包装、SFTTrainer 直接接收peft_config=，无需改训练循环 - QLoRA 性价比极高：4-bit nf4 量化基模 + LoRA，65B 模型单卡微调、性能接近全量，是当前开源大模型微调的事实标准
- DPO 简化 RLHF：免去显式奖励模型与在线采样，用偏好对数据 + 分类损失直接对齐，比 PPO 稳定易实现
- GRPO 解锁推理模型：无需 critic 网络、用组相对优势，是 DeepSeek-R1 等推理模型训练的核心方法
缺点
- 方法多、概念门槛高：LoRA 的 r/alpha、DPO 的 beta、GRPO 的奖励函数等参数需要理解原理才能调好，新手易迷失
- PEFT 不是银弹：极端任务（与基模分布差异大、需改底层表征）下仍可能逊于全量微调，且适配器叠加会增加推理开销（需 merge）
- RLHF/PPO 训练不稳定：PPO 涉及策略/价值/奖励/参考四个模型，超参敏感、易 reward hacking，调通成本高
- 版本演进快、API 变动频繁：TRL 的 trainer 类与 config 字段（如 SFTConfig 默认值、loss_type）随版本持续调整，旧脚本需跟进
- 推理需合并或加载适配器：训练完的 adapter 推理时要
merge_and_unload合并权重或用 PeftModel 加载，多一道步骤 - 奖励建模质量决定上限：DPO/GRPO 的效果高度依赖偏好数据/奖励函数质量，噪声数据会放大偏差