OpenAI 大神Andrej Karpathy 揭秘大模型原理和训练全过程

学投资
,
1

OpenAI的创始人之一，大神Andrej Karpathy刚在微软Build 2023开发者大会上做了专题演讲：State of GPT（GPT的现状）。

他详细介绍了如何从GPT基础模型一直训练出ChatGPT这样的助手模型（assistant model）。这或许是OpenAI官方第一次详细阐述其大模型内部原理和RLHF训练细节。（图片来自“Web3天空之城”）

这是一个从 https://wallstreetcn.com/charts/41954357 下的原始话题分离的讨论话题