在单词 “strawberry” 中，字母 “r” 出现了多少次？根据 GPT-4 和 Claude 等强大的 AI 产品，答案是两次。

大型语言模型 (LLM) 可以在几秒钟内写出论文并解决方程式。它们可以比人类打开一本书还快地综合处理 TB 级的数据。然而，这些看似无所不知的 AI 有时会惨败，以至于这种失误会成为一个迷因，不过我们都庆幸，或许在我们必须向新的 AI 霸主俯首称臣之前，还有时间。

大型语言模型无法理解字母和音节的概念，这反映了一个我们经常忘记的更大的事实：这些东西没有大脑。它们不像我们那样思考。它们不是人类，甚至不是特别像人。

大多数 LLM 都构建在 Transformer 之上，Transformer 是一种深度学习架构。Transformer 模型将文本分解为标记，这些标记可以是完整的单词、音节或字母，具体取决于模型。

阿尔伯塔大学 AI 研究员兼助理教授 Matthew Guzdial 告诉 TechCrunch：”LLM 基于这种 Transformer 架构，值得注意的是，它实际上并不是在阅读文本。当你输入一个提示时，它会被转换成一种编码。当它看到单词’the’时，它对’the’的含义有一个编码，但它不知道’T’、’H’、’E’。”

这是因为 Transformer 无法有效地接收或输出实际的文本。相反，文本被转换为自身的数值表示，然后被语境化，以帮助 AI 提出一个合理的响应。换句话说，AI 可能知道标记 “straw” 和 “berry” 组成了 “strawberry”，但它可能不理解 “strawberry” 是由字母 “s”、”t”、”r”、”a”、”w”、”b”、”e”、”r”、”r” 和 “y” 以这个特定顺序组成的。因此，它无法告诉你单词 “strawberry” 中有多少个字母，更不用说有多少个 “r” 了。

这个问题并不容易解决，因为它植根于使这些 LLM 工作的架构中。

TechCrunch 的 Kyle Wiggers 上个月深入研究了这个问题，并与东北大学研究 LLM 可解释性的博士生 Sheridan Feucht 进行了交谈。

Feucht 告诉 TechCrunch：”对于语言模型来说，确切地说’单词’应该是什么，这个问题有点难以回答，即使我们让人类专家就一个完美的标记词汇达成一致，模型可能仍然会发现将事物进一步’分块’很有用。我的猜测是，由于这种模糊性，不存在完美的分词器。”

随着 LLM 学习更多语言，这个问题变得更加复杂。例如，一些分词方法可能假设句子中的空格总是在新单词之前，但许多语言如汉语、日语、泰语、老挝语、韩语、高棉语等都不使用空格分隔单词。谷歌 DeepMind 的 AI 研究员 Yennie Jun 在 2023 年的一项研究中发现，某些语言需要比英语多 10 倍的标记才能传达相同的意思。

Feucht 说：”最好让模型直接查看字符，而不施加分词，但现在对于 Transformer 来说，这在计算上是不可行的。”

Midjourney 和 DALL-E 等图像生成器不使用 ChatGPT 等文本生成器底层的 Transformer 架构。相反，图像生成器通常使用扩散模型，从噪声中重建图像。扩散模型在大型图像数据库上训练，并被激励尝试重新创建类似于它们从训练数据中学到的东西。

Lesan 联合创始人、DAIR 研究所研究员 Asmelash Teka Hadgu 告诉 TechCrunch：”图像生成器往往在汽车和人脸等人工制品上表现得更好，而在手指和手写等较小的事物上表现不佳。”

这可能是因为这些较小的细节在训练集中出现的频率没有像树叶通常是绿色这样的概念那么突出。扩散模型的问题可能比困扰 Transformer 的问题更容易解决。例如，通过训练更多真实人手的图像，一些图像生成器在表示手方面有所改进。

Guzdial 解释说：”就在去年，所有这些模型在手指方面还是非常糟糕的，这与文本的问题完全相同。它们在局部上变得非常好，所以如果你看一只有六七个手指的手，你会说’哇，那看起来像一个手指’。同样，对于生成的文本，你可以说，那看起来像一个’H’，那看起来像一个’P’，但它们在将这些整体结构在一起方面做得很差。”

这就是为什么，如果你要求 AI 图像生成器为一家墨西哥餐厅制作菜单，你可能会得到 “Tacos” 等正常项目，但你更有可能找到 “Tamilos”、”Enchidaa” 和 “Burhiltos”等菜肴。

当关于拼写 “strawberry” 的迷因在互联网上传播时，OpenAI 正在开发一种代号为 Strawberry 的新 AI 产品，据说它在推理方面更加熟练。LLM 的发展受到限制，因为世界上根本没有足够的训练数据来让 ChatGPT 等产品更加准确。但据说 Strawberry 可以生成准确的合成数据，使 OpenAI 的 LLM 更加出色。根据 The Information 的报道，Strawberry 可以解决《纽约时报》的 Connections 文字谜题，这需要创造性思维和模式识别能力，并且可以解决它以前没有见过的数学方程。

与此同时，谷歌 DeepMind 最近推出了 AlphaProof 和 AlphaGeometry 2，这是专为形式数学推理而设计的 AI 系统。谷歌表示，这两个系统解决了国际数学奥林匹克的六个问题中的四个，这足以在这一著名比赛中获得银牌。

关于 AI 无法拼写 “strawberry” 的迷因与有关 OpenAI 的 Strawberry 的报道同时流传，这有点像是一个恶作剧。但 OpenAI 首席执行官 Sam Altman 抓住机会向我们展示，他的花园里有相当惊人的浆果产量。