ChatGPT 在做什么……以及它为什么有效？

What Is ChatGPT Doing … and Why Does It Work?

斯蒂芬·沃尔弗拉姆 Stephen Wolfram · Wolfram Research · 2023-02-14 · Stephen Wolfram Writings ↗

摘要 · Abstract

本文探讨了 ChatGPT 的工作原理及其成功的原因。作者斯蒂芬·沃尔夫拉姆解释了 ChatGPT 如何通过训练大量文本数据来生成连贯的、类似人类的文本，并分析了其背后的神经网络架构和训练过程。文章还讨论了 ChatGPT 的局限性以及它如何模拟人类语言理解。

* * [](https://x.com/stephen_wolfram "X") * [](https://www.facebook.com/Stephen-Wolfram/ "Facebook") * [](https://www.linkedin.com/in/stephenwolfram "LinkedIn")

核心贡献 · Key contributions

解释 ChatGPT 的核心机制是基于训练好的神经网络进行概率性的下一个词预测。
Explains ChatGPT's core mechanism as probabilistic next-token prediction from a trained neural net.
引入嵌入概念，将单词表示为连续的意义空间中的向量。
Introduces the concept of embeddings to represent words in a continuous meaning space.
描述神经网络如何通过无监督训练从海量文本中学习，使用掩码文本作为训练数据。
Describes how neural nets learn from vast text corpora via unsupervised training on masked text.
讨论温度参数在控制生成文本随机性和创造性中的作用。
Discusses the role of temperature in controlling randomness and creativity of generated text.
强调神经网络中计算不可约性与可训练性之间的权衡。
Highlights the tradeoff between computational irreducibility and trainability in neural nets.
论证像写文章这样的任务在计算上比之前认为的更浅显。
Argues that tasks like essay writing are computationally shallower than previously thought.

局限 · Limitations

缺乏形式化理论，依赖经验调整超参数如温度。
Lacks formal theory; relies on empirical tuning of hyperparameters like temperature.
神经网络无法在没有外部工具的情况下执行计算不可约的任务。
Neural nets cannot perform computationally irreducible tasks without external tools.
训练需要海量数据和算力，且无法保证全局最优。
Training requires enormous data and compute, with no guarantee of global optimality.
嵌入和内部表示无法用人类语言解释。
Embeddings and internal representations are not interpretable in human terms.
模型在分布外输入或新场景下性能下降。
The model's performance degrades on out-of-distribution inputs or novel scenarios.

论文章节 · Sections（共 20）

Stephen Wolfram Stephen Wolfram(https://www.stephenwolfram.com/)
它只是一次添加一个词 It’s Just Adding One Word at a Time
概率从何而来？ Where Do the Probabilities Come From?
什么是模型？ What Is a Model?
类人任务的模型 Models for Human-Like Tasks
神经网络 Neural Nets
机器学习与神经网络训练 Machine Learning, and the Training of Neural Nets
神经网络训练的实践与经验 The Practice and Lore of Neural Net Training
“一个足够大的网络当然能做任何事！” “Surely a Network That’s Big Enough Can Do Anything!”
嵌入的概念 The Concept of Embeddings
ChatGPT 内部机制 Inside ChatGPT
ChatGPT 的训练 The Training of ChatGPT
超越基础训练 Beyond Basic Training
是什么真正让 ChatGPT 发挥作用？ What Really Lets ChatGPT Work?
意义空间与语义运动定律 Meaning Space and Semantic Laws of Motion
语义语法与计算语言的力量 Semantic Grammar and the Power of Computational Language
那么……ChatGPT 在做什么，为什么有效？ So … What Is ChatGPT Doing, and Why Does It Work?
致谢 Thanks
其他资源 Additional Resources
60 条评论 60 comments

阅读逐段中英对照全文 →