做大模型究竟难在哪?

2018年第一代GPT模型问世,它使用7000本书的内容做训练,最后基本做不了什么。第二代GPT模型训练参数规模达到1.5亿个,是第一代的13倍,就可以做一些简单的问答和翻译了。所以,如果一直增加训练参数,把规模提升到无限大,是不是就可以训练出一个无线智能的AI产品了?


这是一个从 https://www.huxiu.com/article/1425768.html 下的原始话题分离的讨论话题