每经记者 蔡鼎 每经实习记者 岳楚鹏 每经编辑 兰素英
人工智能(AI)的发展一直建立在这样的信念之上:训练数据规模越大,模型就会越来越好。然而,业界近期曝出了大模型进化遭遇“数据墙”的消息。
据外媒报道,OpenAI、谷歌和Anthropic在AI模型开发方面都陷入了瓶颈,他们发现,新模型无法像前面几代产品那样带来巨大的飞跃。这在AI圈瞬时炸开了锅。
图灵奖得主杨立昆(Yann LeCun)和OpenAI前首席科学家伊利亚·苏茨克维(Ilya Sutskever)等科技圈大佬不客气地指出,大模型的规模法则(Scaling Law)已经达到极限,必须转变思维,改变训练模式了。
而OpenAI CEO曼(Sam Altman)和Anthropic CEO达里奥·阿莫迪(Dario Amodei)都相继对“瓶颈”说进行反驳。尽管如此,OpenAI和谷歌都在积极转变策略,研究如何解决训练数据匮乏的问题,以及如何调整规模法则的应用,保持模型稳步发展。
在百度CEO李彦宏看来,模型开发放缓也不见得是一件坏事。在最近的一次访谈中,他表示,基础模型早期快速迭代是正常的,但如果两年、三年了还这样,那整个生态其实是会比较乱。meta CEO扎克伯格也表示,即使在现有技术的基础上,应用层面依然有很大的发展空间。
据外媒,OpenAI的下一代旗舰模型可能不会像前面几代产品那样带来巨大的飞跃。
测试代号为Orion的新模型的员工发现,尽管新模型性能超过了OpenAI现有的模型,但进步程度并不如从GPT-3到GPT-4的进步那么大。换句话说,OpenAI改进的速度似乎正在放缓。
OpenAI并不是唯一遭遇阻碍的公司,其竞争对手谷歌和Anthropic也传出了先进AI模型开发遇到瓶颈的消息。在以惊人的速度推出日益复杂的AI产品之后,这三家领先的AI公司现在意识到,他们在开发新模型上进行的大量投入所带来的回报正在逐渐减少。
据知情人士透露,谷歌即将推出的新版Gemini未达到内部预期,Anthropic也推迟了Claude 3.5 Opus模型的计划发布时间。
高质量人造训练数据的缺乏是AI模型开发面临挑战的一大原因。外媒援引两位知情人士称,Orion在编程任务上的表现不尽如人意,部分原因是缺乏足够的编程数据进行训练。即使是有一些小幅的改进,也难以证明新模型构建和运营的高昂成本是合理的,这与市场对于重大升级的期待之间存在差距。
OpenAI前首席科学家、Safe Superintelligence联合创始人苏茨克维近日在接受外媒采访时也表示,扩大预训练的结果已经达到了平台期。所谓预训练,即使用大量未标记数据来训练AI模型以理解语言模式和结构的阶段。
尽管阿尔特曼驳斥了“瓶颈”一说,但OpenAI也一直在进行第二手准备。
OpenAI成立了一个基础团队,由之前负责预训练的Nick Ryder领导。该团队主要探索如何应对训练数据的匮乏,调整规模法则的应用,保持模型改进的稳定性。
谷歌的研究人员也在专注于对模型进行手动改进。参与这项工作的人员表示,改进工作包括改变“超参数”,或者是决定模型如何处理信息的变量,例如模型在训练数据中建立不同概念或模式之间联系的速度。
在AI进化遇阻的讨论下,AI应用迎来大爆发。
国内AI应用中,字节跳动旗下的豆包年初至今累计下载量已经突破1亿。10月份,Kimi的月活跃用户数突破千万大关。MiniMax海外版应用的10月访问量较上月暴涨2773%。
百度CEO李彦宏认为,AI模型开发放缓也不一定就是个坏事。在最近的一次访谈中,他表示,基础模型早期快速迭代是正常的,但如果两年、三年了还这样,那整个生态其实是会比较乱。
李彦宏解释道:“基础模型不能够特别快地迭代。如果老在变,那做应用的人就无所适从了,该做什么我不知道,我刚做了两个月,你又升级了,把我做的冲掉了,白做了,我又得重新适应一遍新的规则。我觉得可能两年一个大的版本是一个比较合适的节奏。”
扎克伯格也表示,在最坏的情况下,即使技术没有改进,仍然有很大空间在现有技术的基础上打造消费者和企业产品。
作为AI领域的领头羊,OpenAI也在加强对应用层面的探索。据报道,OpenAI将于明年1月推出能够帮助用户整理文件,预订机票的AI智能体(AI Agent)软件。
谷歌正在开发一款代号为贾维斯计划的AI代理软件,“贾维斯”这个名字的灵感来自《钢铁侠》的全能AI管家贾维斯。
黄仁勋也开始对AI应用表达了兴趣。本周,他在日本举行的英伟达AI峰会上和孙正义一起宣布,将联合软银在日本打造AI+5G网络。