如今，数百万人可以使用 ChatGPT 等人工智能技术。Apple Intelligence 将 ChatGPT 集成到其平台后，任何拥有 iPhone、iPad 或 Mac 的用户都可以提出复杂的问题，而无需访问单独的应用程序或网站。

这种期待已久的整合可能会引发诸如 ChatGPT 如何工作之类的问题。

什么是聊天机器人？

ChatGPT 由 OpenAI 运营，是一款人工智能聊天机器人，类似于谷歌的 Gemini、Anthropic 的 Claude 或 Meta AI。这些聊天机器人使用一种名为“大型语言模型”的人工智能。它们能够理解文本并生成听起来像人类的单词。

“现在说这些几乎无聊透顶，”瑞士的人工智能和机器人科学家丹尼尔·杜加斯（Daniel Dugas）说道。他撰写了一篇关于早期人工智能GPT模型的可视化解释。“我能和我的电脑对话，并且进行半连贯的对话，这真是太不可思议了。”

“作为一名工程师，我立即被推向了这样的方向：好吧，我们如何制造类似智能的东西？”杜加斯说。

虽然大型语言模型看起来很智能，但它们本质上只是预测下一个单词——就像手机的文本建议一样。

但实际情况要复杂得多。

ChatGPT 的工作原理

大型语言模型需要基于海量数据进行训练，这些数据涵盖书籍、社交媒体以及互联网上的大部分内容。法学硕士（LLM）能够绘制出与人脑类似的词语关系图。

就拿这句话来说，“不要把所有的鸡蛋都放在一个鸡蛋里。”一旦你把它输入法学硕士论文并点击发送，很多事情就会重复发生——就在几分之一秒内。

第一步：标记化和编码

想象一下这个过程就像一条流水线。流水线的第一步是将句子转换成计算机肯定能理解的东西：数字。

“不要把所有鸡蛋放在一个地方”这句话被分解成所谓的“token ID”，这些 ID 根据 AI 模型的不同而不同。现在这句话变成了 [91418, 3006, 722, 634, 27226, 306, 1001]

您可以使用OpenAI 的工具测试标记化。

第二步：嵌入

接下来，根据上下文扩展得到的数字向量。

例如，“蛋”这个词有很多不同的含义和内涵。如果要用数学方法表达这个词，一种方法是把它画在“鸡”和“幼崽”之间的图上。在二维图上，这很简单。

但“蛋”的含义却千差万别。“蛋”可以是成语的一部分，可以是早餐的食材，可以是与复活节相关的物品，也可以是一种形状。绘制这些图形需要一个无限向量的多个维度。我们无法想象，但计算机可以计算。

在句子“不要把所有的鸡蛋放在一个里面”中，单词 egg 可能是 [27226]。

对于“我早餐吃了一个鸡蛋”这句话，单词“egg”可能是[16102]。这完全取决于上下文。这些上下文调整基于所有训练和词汇关系的神经网络，并将这些变化嵌入到向量中。

第三步：Transformer 架构

向量沿着装配线向下移动到“变压器架构”。它是一系列层，可以对数字向量进行更多调整。

基于之前的训练，AI 已经学习并决定了哪些词更有分量。例如，在“不要把所有鸡蛋放在一个”这句话中，“鸡蛋”这个词比“一个”更重要。

对数字向量的调整会反复进行，以确保上下文和含义接近训练的所有内容。

第四步：输出

最后，结果在装配线上反向运行，将数字向量重新转换为一个单词：篮子。

“不要把所有的鸡蛋放在一个篮子里。”

这是高级词汇预测吗？这是智能吗？有极限吗？

“有些论文说，这个模型永远无法创作音乐，或者永远无法回答数学问题，”杜加斯说。“而这些理论在过去五年里基本上被彻底击垮了。”

随着大型语言模型的不断发展，重要的是要了解它们的功能，并知道如何与它们合作，而不是为它们服务。即使是基本的了解，也能帮助人们利用、驾驭和规范这项可能被一些人视为革命性的技术。