爆火出圈的chatGPT，到底是什么东东？

1,716次阅读

共计 4785 个字符，预计需要花费 12 分钟才能阅读完成。

前言

2022 年 11 月 30 日，OpenAI 实验室创始人兼 CEO Sam Altman 宣布发布聊天机器人模型：ChatGPT。ChatGPT 可以模仿人类的说话风格回答问题。很快，ChatGPT 火爆社交圈，Github 上出现了很多和 ChatGPT 相关的工具，一些工具在 Github 趋势榜单中霸榜多日。

ChatGPT 是以“生成式对话系统”为基础的聊天机器人，由 OpenAI 发明。ChatGPT 使用机器学习技术预测回复的话语，并且可以进一步培养 And 训练，以提高对话的准确性和连贯性。ChatGPT 的应用领域非常广泛，ChatGPT 在机器人交互领域的应用已经成为了一个标杆。

官网：https://openai.com/blog/chatgpt/

ChatGPT 官方说明

We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.

我们训练了一个名为 ChatGPT 的模型，它可以以对话的方式进行交互。对话格式使得 ChatGPT 能够回答跟进问题、承认错误、质疑不正确的前提条件，并拒绝不合适的请求。

Optimizing Language Models for Dialogue

We’ve trained a model called ChatGPT which interacts in a conversational way.

The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.

这一模型 可以与人类进行谈话般的交互，可以回答追问，连续性的问题，承认其回答中的错误，指出人类提问时的不正确前提，拒绝回答不适当的问题。

ChatGPT is a sibling model to InstructGPT, which is trained to follow an instruction in a prompt and provide a detailed response.

ChatGPT 是 OpenAI 之前发布的 InstructGPT 的近似产物，后者致力于通过命令提示词生成一个细致的回复。

问 ChatGPT，你是谁

ChatGPT 的“前世今生”

GPT（Generative Pre-trained Transformer）是 OpenAI 开发的一种自然语言处理（NLP）技术，其目的是理解和生成人类语言。

想要了解 ChatGPT 这款对话型机器人，需要先来看看它的“前世”：GPT-1，GPT-2，GPT- 3 以及 InstructGPT。

2015 年 12 月，OpenAI 公司美国旧金山成立。成立早期，OpenAI 是一家非营利组织，以研发对人类社会有益、友好的人工智能技术为使命。2019 年，OpenAI 改变了其性质，宣布成为营利机构。

GPT 系列模型从 GPT-1 开始，逐步发展为 GPT-2、GPT-3，最终演变为 GPT-4。

GPT-1（1.17 亿个参数）

GPT- 1 是 OpenAI 开发的第一个版本的生成对抗网络（Generative Pre-trained Transformer，生成预训练变换器）模型。GPT- 1 是一个基于 Transformer 架构的语言模型，通过对大量文本数据进行预训练，可以生成人类类似的文本。

GPT- 1 于 2018 年发布，它采用了 Transformer 模型的架构，该模型在自然语言处理任务中表现出色。Transformer 模型使用自注意力机制来处理输入序列，能够捕捉长距离的依赖关系，并在各种语言任务上取得了突破性的性能。

GPT- 1 在预训练阶段使用了大规模的无监督学习，从大量的互联网文本数据中学习语言模型。然后，在特定的任务上进行微调，例如文本生成、问答和语言理解等。

GPT- 1 是当时的一项重要突破，为后续的语言模型发展奠定了基础。之后，OpenAI 推出了更高级和更先进的模型，如 GPT-2、GPT- 3 和最新的 ChatGPT（GPT-4）等，这些模型在语言生成和理解任务上取得了显著的进展。

GPT-2（1.5-15 亿个参数）

GPT- 2 是 OpenAI 开发的第二个版本的生成对抗网络（Generative Pre-trained Transformer，生成预训练变换器）模型。它是在 GPT- 1 的基础上进行改进和扩展的。

GPT- 2 于 2019 年发布，是一个基于 Transformer 架构的强大语言模型。与 GPT- 1 相比，GPT- 2 具有更大的模型规模和更强的生成能力。它在大规模的无监督学习阶段中，通过对海量的互联网文本进行预训练，从中学习语言模型。

GPT- 2 的一个重要特点是其能够生成高质量、连贯且富有创造力的文本。它可以理解上下文、推理和回答问题，并在各种自然语言处理任务中表现出色。由于其强大的生成能力，GPT- 2 在文本生成、对话系统、机器翻译、摘要生成等领域具有广泛的应用潜力。

然而，由于 GPT- 2 在生成文本时存在滥用的潜在风险，OpenAI 在发布时决定限制其访问，并对其发布了部分模型规模的版本。这是为了防止潜在的误导、滥用和不良影响。

总之，GPT- 2 是一种在自然语言处理领域取得重要突破的模型，它具有强大的生成能力和广泛的应用前景，同时也引发了对语言模型的伦理和社会影响的讨论。

GPT-3（1750 亿个参数）

GPT- 3 是 OpenAI 开发的第三个版本的生成对抗网络（Generative Pre-trained Transformer，生成预训练变换器）模型。它是在 GPT- 2 的基础上进一步改进和扩展的。

GPT- 3 于 2020 年发布，是迄今为止最大规模的语言模型之一。它具有 1750 亿个参数，比 GPT- 2 大得多。这使得 GPT- 3 成为了一个非常强大的语言模型，能够在多种自然语言处理任务上表现出色。

GPT- 3 具有出色的语言生成能力，能够理解上下文、进行推理和回答问题，并具备一定的常识推理能力。它可以完成文本生成、机器翻译、问题回答、对话系统、语言理解等各种任务。

GPT- 3 的突出特点是其广泛的泛化能力。即使在从未见过的任务上，只需给出相应的示例或指导，GPT- 3 也能够进行相应的学习和输出。这使得 GPT- 3 成为一种非常通用且灵活的语言模型，具有广泛的应用潜力。

然而，由于 GPT- 3 的规模和计算资源需求较大，它的使用受到一定的限制和限制访问。目前，GPT- 3 主要在研究和商业应用领域得到使用。

总结而言，GPT- 3 是一个巨大规模且功能强大的语言模型，具有出色的语言生成和理解能力，在多个自然语言处理任务上展现出卓越的性能。它在推动自然语言处理领域的发展和创新方面具有重要意义。

InstructGPT

InstructGPT 是 OpenAI 开发的一种生成对抗网络（Generative Pre-trained Transformer，生成预训练变换器）模型，它专注于执行指令性任务。

与传统的语言模型不同，InstructGPT 是一种被指导的语言模型，它接受来自用户的指令或提示，并尝试根据这些指令生成符合用户意图的输出。

B 站视频我敢保证这是 B 站最全的 ChatGPT 教程！包含 ChatGPT、GPT-1、GPT-2、GPT- 3 的详细讲解：https://www.bilibili.com/video/av480034828/

GPT-4

GPT4 是 ChatGPT(聊天机器人)、GPT-3.5(自然语言处理模型)和 CLIP(连接文本和图像的神经网络)的某种有机组合。这三者各自都非常出色，而 OpenAI 进一步把它们融为一体，好上加好。同时，GPT- 4 应该在训练中增加了一部分数据，把数据规模进一步做大了，其中既包括图片，也包括文本。

ChatGPT 此前接入的模型是 GPT-3.5，而 GPT- 4 的不同点之一，就在于它可以识别和分析图像。OpenAI 称，GPT- 4 可以接受图像和文本输入，并输出文本。

同时，OpenAI 表示，GPT- 4 在某些方面的性能“可与人类相媲美”，在大学入学和法律及医学等专业领域的许多模拟考试中优于 GPT-3.5。例如，GPT- 4 通过了律师资格模拟考试，分数超过 90% 的人类考生。也有消息称，GPT- 4 能使用几乎所有编程语言。