据路透报道，人工智能公司如OpenAI正在开发更具人类思维方式的训练技术，以克服在构建超大规模语言模型过程中遇到的意外延迟和挑战。
路透采访的十几位人工智能科学家、研究人员和投资者表示，他们认为这些技术（也是OpenAI最新发布的o1模型的背后技术）有可能让AI领域呈现新的面貌，并将影响AI公司对各种资源（如能源和芯片）的巨大投入。
自两年前ChatGPT发布后，众多科技公司从AI热潮中受益，纷纷公开宣称，通过增加数据和计算能力“扩大规模”可以不断改进AI模型。
然而，现在一些顶尖的AI科学家开始质疑“越大越好”的理念。
人工智能实验室Safe Superintelligence（SSI）和OpenAI的联合创始人伊利亚·苏茨凯弗，近期告诉路透社，AI模型的预训练（即使用大量无标签数据来理解语言模式和结构的阶段）扩展所带来的效果，已经趋于平稳。
苏茨凯弗被认为是最早倡导通过更多数据和计算能力提升生成式AI的人之一，最终促成了ChatGPT的诞生。苏茨凯弗今年早些时候离开OpenAI，创办了SSI。
“2010年代是扩展的时代，而现在我们再次回到了探索和发现的时代，大家都在寻找下一个突破点，”苏茨凯弗说。“选择正确的扩展方式，现在比以往任何时候都重要。”
苏茨凯弗没有透露他团队的具体方法，仅表示SSI正在研究替代的预训练扩展方法。
据三位知情人士透露，主要AI实验室的研究人员在推出能超越OpenAI GPT-4模型的新大模型时遇到了一些延误和令人失望的结果。GPT-4发布已有近两年，实验室在开发更强大模型的过程面临阻碍。
所谓的大模型“训练运行”成本可达数千万美元，需要同时运行数百个芯片。由于系统复杂，硬件故障更容易发生，研究人员通常要在几个月的训练结束后才能得知模型的最终表现。
此外，大型语言模型已耗尽全球所有易获取的数据资源。电力短缺也阻碍了训练运行，这个过程需要巨大的能源。
为克服这些问题，研究人员正在探索“推理阶段计算”技术，即在模型推理（使用）阶段改进现有AI模型。
例如，模型可以在做出最终回答前实时生成和评估多种选项，从而选择最佳路径。
这种方法允许模型在处理数学、编程问题或复杂操作时，投入更多计算能力，提供更接近人类推理的决策。
“在扑克游戏中让一个机器人思考20秒，提升效果和将模型扩展十万倍、训练十万倍时间相同，”OpenAI研究员诺姆·布朗上个月在旧金山TED AI会议上说，他参与了o1模型的研发。
OpenAI已在其新发布的“o1”模型中采用了这一技术，模型曾称为Q*和Strawberry。O1模型能够像人类一样分步骤“思考”问题，利用博士和行业专家策划的数据和反馈。
o1系列的关键是在“基础”模型（如GPT-4）之上进行一套额外训练。OpenAI表示，计划将技术应用于更多且更大的基础模型。
与此同时，据五位知情人士透露，Anthropic、xAI和谷歌DeepMind等顶尖AI实验室的研究人员，也在开发各自的类似技术。
OpenAI首席产品官凯文·韦尔10月在科技会议上说：“我们发现很多可以快速提升这些模型的低垂果实，等大家赶上来时，我们会再领先三步。”
此类技术可能改变AI硬件的竞争格局，目前这一领域主要依赖于英伟达AI芯片。红杉资本和Andreessen Horowitz等知名风投公司已投入数十亿美元，支持包括OpenAI和xAI在内的多个AI实验室，他们正关注这一转变并评估对投资的影响。
红杉资本合伙人对路透社表示：“这一转变将推动我们从大规模预训练集群转向推理云，这是一种基于云的分布式推理服务器。”
英伟达的AI芯片需求激增，使其成为全球最有价值的公司，十月超越苹果。与英伟达主导的训练芯片市场不同，在推理市场上，英伟达可能面临更多竞争。
当被问及新技术对其产品需求的潜在影响时，英伟达提到公司最近的演讲，重点介绍了o1模型背后的技术。黄仁勋上月在印度的会议上表示，推理阶段需求的增长显著，“我们现在发现了推理阶段的第二条扩展法则……所有这些因素使得对Blackwell芯片的需求非常高。”