大模型的发展是否已经到了瓶颈？
最近几周，有关此事的争论愈演愈烈。
市场信心很重要，首席执行官们迅速做出了反应。
领头羊OpenAI第一个发声，奥特曼明确表示：没问题。
随后，Anthropic CEO Dario Amodei 和 Nvidia 的 Huang 也站出来安抚大家。
不过，包括硅谷风险投资大亨Marc Andreessen在内的一些人认为，这么长时间过去了，还没有看到明显的进展，而且表现最好的模型的表现也相差很大。
花儿谢了，冬天来了，又一年即将过去。 GPT-5 在哪里？
这关系到未来价值数万亿美元的AI市场。如果烧钱的缩放法则被证明收益越来越低，将会影响当前的投资周期。
包括新的初创公司、新的数据中心、新产品，甚至重新启动的核电站。
为此，Business Insider 采访了 12 名人工智能行业最前沿的人士，包括初创公司创始人、投资者以及 Google DeepMind 和 OpenAI 的现任（和前任）员工，共同探讨对超级智能 AI 的追求。 ）过程中面临的挑战和机遇。
AGI 的真相
预训练问题
研究人员指出，在人工智能开发的早期阶段，即预训练阶段，企业可能会遇到两个关键障碍。
第一个障碍是获得计算能力，特别是购买显卡。
该市场主要由芯片巨头英伟达主导，在需求持续高涨的情况下，该公司面临着严峻的供应挑战。
法国风险投资公司Singular的合伙人Henri Tilloy表示，也许你可以花5000万美元购买GPU，但你可能会排在Nvidia供应名单的底部——你等不起。
另一个供应问题是培训数据。尽管每年都有更多的数据和 GPU 被投入大型模型中，从而可靠地生成更智能的模型，但公司已经耗尽了互联网上公开可用的数据。
研究公司 Epoch AI 预测，到 2028 年，可用的文本数据可能会完全耗尽。
Clarifai创始人兼首席执行官Matthew Zeiler表示，互联网的规模是有限的。
多模态和私有数据
数据初创公司Encord联合创始人Eric Landau认为，当公共数据达到瓶颈时，就需要其他数据源。
一个例子是多模态数据，它将视觉和音频信息（例如照片或播客录音）输入人工智能系统。
“这只是一种添加数据的方式（添加更多数据模态）。虽然实验室和企业已经开始使用它，但还没有充分利用。”
Lamini平台联合创始人兼首席执行官Sharon Zhou发现了另一个尚未开发的领域：私人数据。
许多公司已与出版商签订许可协议，以获得其庞大的信息资源。
例如，OpenAI 与 Vox Media 和 Stack Overflow 等组织建立了合作伙伴关系，将受版权保护的数据引入自己的模型中。
Sharon Zhou 表示：“与我们的企业客户和初创客户的合作表明，私有数据包含许多对模型非常有用的信号。”
数据质量
目前，许多研究工作的重点是提高 LLM 培训数据的质量，而不仅仅是数量。
Sharon Zhou 表示，研究人员以前在预训练阶段可能“相对懒惰地处理数据”，只是将尽可能多的数据输入模型中，然后看看什么有效。
“这不再完全可行，公司正在探索的解决方案之一是合成数据。”
初创公司 Aindo AI 首席执行官 Daniele Panfilo 也认为，合成数据可以成为“提高数据质量的有力工具”，因为它可以“帮助研究人员构建符合其特定信息需求的数据集”，这是人工智能发展的趋势。它在训练后阶段特别有用。
谷歌DeepMind前员工透露，Gemini已经将战略从追求规模转变为追求效率。
“我认为他们意识到，服务如此大的模型实际上非常昂贵，因此通过后期培训使其适应专门的下游任务是更明智的做法。”理论上，合成数据提供了一种提高模型知识水平的方法。有效的方法使其更加精简和高效。
然而，在实际应用中，对于合成数据在提高模型智能方面的有效性尚未达成共识。
Hugging Face 联合创始人 Thomas Wolf 表示，“通过合成数据 Cosmopedia，我们发现它在某些方面确实有帮助，但它并不是解决数据问题的灵丹妙药。”
Databricks 首席人工智能科学家 Jonathan Frankle 也认为，在合成数据方面没有“免费午餐”，他强调“如果没有人类监督以及过滤和选择哪些合成数据最相关的过程，那么所有模型确实是重复自己。行为”。
构建推理模型
