微调
训练优化微调(Fine-tuning)是在训练好的大模型上再用特定数据喂一轮,让它更懂某一行、某一类任务。它和提示词是两条不同的路。
微调(Fine-tuning)就是在一个已经训练好的大模型上,再用特定数据喂一轮,让它更懂某一行、某一类任务。
打个比方:预训练好的 LLM 像个读完百科全书的通才;微调是把它送去"岗前培训",用你公司的客服记录、医学文献、法律条文再练一遍,它说话就更贴你的场景。
它和提示词(Prompt)是两种让模型听话的方式:Prompt 是"动嘴皮子"——不改模型,只在对话里吩咐;微调是"动脑子"——真把权重改了。前者零成本、立等可取,后者要算力、要数据、要验证。
它和 RAG 也容易混:RAG 是外挂知识库、不动模型;微调是改模型本身。实际落地常常是"先 RAG 解决知识,再微调解决口吻和风格"。
现在还有 LoRA 这类"轻量微调"方法,只调一小部分参数,便宜很多。RLHF 则是微调里专门管"对齐人类偏好"的那一种。
和谁不一样
提示词
微调动模型权重(动脑子),提示词只在对话里吩咐(动嘴皮子)。
RAG
微调改模型本身,RAG 是外挂知识库、不动模型。多数落地先 RAG 再微调。