GPT是”Generative Pre-trained Transformer“生成型預訓練變換模型的縮寫，目的是為了使用深度學習生成人類可以理解的自然語言。目前我們討論的GPT一般指的是GPT-3，顯而易見，在之前還有GPT-2和GPT。
GPT-3是由人工智能公司OpenAI訓練與開發，該模型設計基于谷歌開發的變換語言模型。GPT-3的神經網絡包含1750億個參數，為有史以來參數最多的神經網絡模型。OpenAI于2020年5月發表GPT-3的論文，微軟在2020年9月22日宣布取得了GPT-3的獨家授權。
按照OpenAI官方的說法“我們已經訓練了一個名為 ChatGPT 的模型，它以對話的方式進行交互。對話模式使 ChatGPT 能夠回答連續的問題、承認錯誤、質疑不正確的前提并拒絕不恰當的請求。ChatGPT 是InstructGPT的兄弟模型，InstructGPT模型被訓練為遵循對話中的指令并提供詳細的響應。”
