1.2.3　GPT-3

2020 年 6 月，OpenAI发布了 GPT-3。GPT-2 和 GPT-3 之间的主要区别在于模型的大小和用于训练的数据量。GPT-3 比 GPT-2 大得多，它有 1750 亿个参数，这使其能够捕捉更复杂的模式。此外，GPT-3 是在更广泛的数据集上进行训练的，包括 Common Crawl（它就像互联网档案馆，其中包含来自数十亿个网页的文本）和维基百科。这个训练数据集包括来自网站、书籍和文章的内容，使得 GPT-3 能够更深入地理解语言和上下文。因此，GPT-3 在各种与语言相关的任务中都展示出更强的性能。此外，它在文本生成方面还展示出更强的连贯性和创造力。它甚至能够编写代码片段，如 SQL 查询，并执行其他智能任务。此外，GPT-3 取消了微调步骤，而这在之前的 GPT 模型中是必需的。