(2023-4-6)补充:在评论和私信里发现,确实有不少人微调的初衷是为了让ChatGPT按照自己提供的数据集回答问题。这个可能是一个误解:微调这个训练不是为了准确的搜索数据库(Embeddings才是),我的理解是,微调是为了修正一些向量的参数:比方说我想写一个短视频口播文案,同样是论证观点,口播并不会像写论文等书面文案一样用严格的格式让你理解逻辑结构,所以一般口播中就不会用首先其次再次这样的说法。那么我需要通过训练把这些词的权重降低。
这是一个从 https://www.zhihu.com/question/591066880/answer/2961747033 下的原始话题分离的讨论话题