斯坦福大学 Alpaca 模型训练成本低,性能比肩 GPT-3.5,这是否能为大模型的研究提供新思路?

让我想起了当年一众小厂家拿着商汤的人脸识别sdk来distill的场面,别说效果还真不错,做做细分市场还是可以的。

现在这群小厂的机会又来了,咱不会从头训,还不会蒸馏吗?蒸馏完了再拿客户数据finetune一遍,提供定制化服务,这活咱擅长啊。


这是一个从 https://www.zhihu.com/question/590934914/answer/2946233977 下的原始话题分离的讨论话题