AI 杂记 6：从 AI 原生到 +AI

Sequoia Capital 的 Sonya Huang 发表的 Generative AI's Act Two 一文是去年 9 月发表的 Generative AI: A Creative New World 的后续，仅仅过去一年时间，文章就更新了第二版，而标题也加入了「第二幕」。

Act 2

去年这个时候，今天世界所熟知的 GPT——也就是 3.5 及以后的版本——都还没有面世，在那篇文章里，Huang 提出了 AI 的 4 波浪潮：

• 第一波浪潮：小模型占据主导地位（2015 年之前） 5 年前，小模型被认为是理解语言的“最先进技术”。这些小型模型擅长分析任务，并可用于从交货时间预测到欺诈分类等工作。然而，它们对于通用生成任务的表达能力不够。生成人类水平的写作或代码仍然是一个梦想。
• 第二波：规模竞赛（2015 年至今） Google Research 的一篇具有里程碑意义的论文（Attention is All You Need）描述了一种用于自然语言理解的新神经网络架构，称为 Transformer，它可以生成高质量的语言模型，同时具有更高的可并行性和要求训练时间明显减少。这些模型是小样本学习器，可以相对轻松地针对特定领域进行定制。
• 第三波：更好、更快、更便宜（2022 年及以后）计算变得更便宜。扩散模型等新技术可以降低训练和运行推理所需的成本。研究界不断开发更好的算法和更大的模型。开发人员访问权限从封闭测试版扩展到公开测试版，或者在某些情况下，扩展到开源。
• 第四波：杀手级应用程序出现（现在）随着平台层的巩固，模型不断变得更好/更快/更便宜，模型访问趋于免费和开源，应用程序层的创造力爆发的时机已经成熟。

在一年之后，Huang 宣布生成式 AI 已经进入了 Act 2，也就是第二幕。在传统戏剧的结构中，整个戏剧被分成单独的几幕，第二幕是指戏剧的第二个主要部分或片段，通常代表戏剧中情节和人物关系的重大发展或升级。Huang 这样解释道：