文章      动态     相关文章     最新文章     手机版动态     相关动态     |   首页|会员中心|保存桌面|手机浏览

wc3tru

http://keair.bhha.com.cn/comwc3tru/

相关列表
文章列表
  • 暂无文章
推荐文章
联系方式
  • 联系人:王先生
  • 电话:15538109055
OpenAI CEO首次回应马斯克叫停GPT-4:尺寸是衡量模型的错误标准 公开信缺失最为关键的技术细节
发布时间:2024-12-08        浏览次数:5        返回列表
OpenAI CEO首次回应马斯克叫停GPT-4:尺寸是衡量模型的错误标准 公开信缺失最为关键的技术细节 技术细节

美国当地时间周四,OpenAI的首席执行官山姆·阿尔特曼在麻省理工Imagination in Action活动中通过Zoom接受了采访,首次对马斯克等人联名签署的公开信作出回应。

OpenAI CEO首次回应马斯克叫停GPT-4:尺寸是衡量模型的错误标准 公开信缺失最为关键的技术细节

这位风口浪尖之上的OpenAI首席执行官表示,他对信中的部分主旨“真的同意”。

但他认为这封公开信缺失最为关键的技术细节,例如“到底我们需要在何处按下暂停键”,阿尔特曼透露了一个重要信息,他称公开信的更早期版本声称OpenAI目前正在训练GPT-5,但他们没有,并且在一段时间内不会,“所以从这个意义上说,这有点傻。”阿尔特曼坦言。

他还表示,OpenAI正在开发GPT-4的附加功能,这些功能带来了安全问题,需要加以解决,但公开信中并未提到。一般来说,“随着能力越来越高,安全标准也必须提高,”首席执行官在数分钟的Zoom采访中言辞温和审慎。

“我们在完成对GPT-4的训练和发布之间花了超过6个月的时间......这些时间都花在安全性研究上,”山姆·阿尔特曼认为,他非常高兴GPT-4发布后,人们评价说这是到目前为止最安全的和最强一致性的模型,“而非能力最强的模型”。

尤为关键的是,在这次麻省理工活动中,阿尔特曼强调,尺寸是衡量模型质量的错误标准,他认为业界正在接近大语言模型LLM规模的极限,为规模而规模。他直言,已经有太多的人关注参数数字,也许参数还会有上升趋势,但这让他想起了20世纪90年代的芯片千兆赫兹竞赛,“每个人都试图指向一个大数字。”

他进一步指出了小模型的重要性,他认为未来模型参数应该向更小的方向发展,以多个小模型协作的方式工作,人们应该把精力放在迅速提高模型能力上,而不是在这里为参数计数而自娱自乐。

事实上,不盲目追求大模型参数数量已成为技术界共识。创新奇智联合创始人兼首席技术官张发恩日前告诉记者,虽然GPT3.5的模型参数为1750亿,使用数千张GPU无卡训练数月,但面对一个同样规模参数的大模型,其训练的精度其实在快速下降,“同样规模的模型算力可能只需要原来的几十分之一就能做到,这让我们觉得未来是乐观的,可以不去做‘军备竞赛’。”

3月22日,一封题为《暂停巨型人工智能实验》的公开信刊登在非盈利组织生命未来研究所(Future of Life Institute)官网之上,3月末由媒体传播开来,引发了科技界轩然大波。

特斯拉CEO埃隆·马斯克率数百位科技行业高管在信中详细阐述了具有与人类竞争性的人工智能系统会给社会和文明造成的潜在风险,并发出呼吁,所有人工智能实验室应立即暂停比GPT-4更强大的人工智能系统训练,暂定时间是6个月以上。

有趣的是,阿尔特曼的名字曾短暂出现在马斯克的公开信署名名单中,此后消失,现在看来很可能是因为信件早期版本提到的GPT-5细节。

但也有观点指出,阿尔特曼确认OpenAI没有开发GPT-5并不具备太大信息量,OpenAI完全可以在版号上做文章,比如发布GPT4.5版本,就像此前发布GPT-3.5一样。

今日凌晨,一则更为劲爆的消息出炉,据金融时报援引知情人士消息,率一众科技界大佬呼吁暂停GPT式模型的埃隆·马斯克,正计划成立一家AI初创公司,与OpenAI展开竞争。知情人士透露,马斯克已经在与SpaceX和特斯拉的一些投资者讨论新企业注资事宜,为了这个新项目,他还从英伟达购置了数千张高功率GPU处理器。