大参考

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 961|回复: 0

戍天九思:别吹了:GPT-5“难产”,推理模型o3离AGI差得远!

[复制链接]
发表于 2024-12-24 17:52:13 | 显示全部楼层 |阅读模式
  12月23日《腾讯科技》报道了两条消息:GPT-5“难产”和是时候停止炒作“o3是AGI”了!那么,中美大模型差距到底还有多大呢?我们就来一起看看。

  GPT-5“难产”的四大原因

  GPT-5原计划2024年底发布,现在至少推迟了半年。原因有四个方面:

  一是数据缺口巨大。GPT-5训练需要高达20万亿Token的数据,目前OpenAI手头的数据量不足10万亿Token,数据缺口巨大,无法短时间弥补。过去,GPT-4训练数据为12万亿toke,未来模型GPT-6可能需要60万亿到100万亿tokens的数据。因此,数据将成为大模型发展的重大瓶颈。

  二是训练费用高昂。马斯克估算,GPT-5的训练大概需要3—5万张H100芯片,芯片成本就超过7亿美元。按照市场估算,一次6个月的训练需花费5亿美金训练费用。训练GPT-4的成本超过1亿美元,未来人工智能模型预计将超过10亿美元。

  三是算力瓶颈。GPT-5参数量是GPT-4的10倍,GPT-5参数量预计在10万亿到100万亿之间,需要强大的算力支持。而英伟达新一代GPU芯片GB—200难产,OpenAI只好与博通和台积电合作开发新型AI推理芯片。

  四是高层人才流失。自2024年初以来,至少有8位高管离开了OpenAI,包括前首席技术官米拉·穆拉提、前首席研究官鲍勃·麦克格卢等,反映了公司对AI监管和产品策略的分歧,以及忽视安全文化建设等问题。特别是安全系统团队负责人Lilian Weng的离职,她曾是GPT-4项目的关键成员,其离职给OpenAI的安全战略带来了不确定性。超级对齐团队负责人Ilya Sutskever和Jan Leike的离职也引发了对AI安全在OpenAI内部地位的担忧。这些高管纷纷离职,直接影响OpenAI的研发进度。

  看来GPT-5短时间发布难度很大,要么再大幅推迟,要么降低预期发布。OpenAI停滞不前,中国大模型加速追赶!

  OpenAI推理模型o3离AGI还差得远

  12月21日,OpenAI发布了推理模型o3,激起了大家对 AGI 的热烈谈论,很多人都兴奋地宣布:这就是 AGI、AGI 已经实现、AGI 比你想象的更加接近。然而,多位AI研究者认为,o3虽强大但非AGI,o3在ARC-AGI基准上表现优异,但仍需改进。

  虽然推理模型o3比推理模型o1提升较多,在某些测试中的表现已经达到人类的水平。

  比如,在ARC-AGI测试中,o3在低推理能力设置下的得分达到了75.7%,在高推理能力设置下则是高达87.5%,超过了85%的人类门槛。

  在2024年数学推理(AIME)测试中,o3的准确率达到了96.7%,相当于数学博士的水平。

  在编码和软件工程方面,在SWE-Bench认证中,o3的得分为71.7%,较o1提升了22.8个百分点5。

  但是,推理模型o3还缺乏泛化能力、常识理解、跨领域迁移学习、自主意识与自我改进、情感和社会互动等能力,在灵活性、适应性和广泛性等方面,离真正的AGI还有很大的差距。

  OpenAI首席执行官萨姆·奥尔特曼表示,o3模型不会立即推出,会在1月底前正式推出o3mini,并在之后推出完整版的o3。这表明OpenAI对o3模型的发布持谨慎态度,可能还在进行进一步的测试和优化。

  中国大模型与OpenAI虽有差距但并不大

  当前,中美AI大模型差距在缩小。中国AI大模型在逻辑推理、语言理解等方面取得了显著进展,部分产品甚至接近或超越了OpenAI的GPT-4水平。据李开复的分析,中国大模型与OpenAI旗舰模型的差距已经从去年的7—10年缩短到了如今的6个月。

  比如,在安全能力评测中,国内大模型文心一言4.0表现亮眼,力压国际一流模型GPT-4系列模型和Claude-3拿下最高分。

  中国也有类似OpenAI推理模型o3大模型,如阿里云QwQ-32B-Preview整体推理水平与3个月前发布的OpenAI o1相当。也就是说,阿里云推理模型的整体推理水平与OpenAI推理模型o3只差3个月。在AIME数学竞赛中的准确度上,推理模型o3得分96.7%,阿里推理模型得分为50.0%;在ARC-AGI测试中,推理模型o3高推理能力得分87.5%,阿里云推理模型在GPQA评测集上的得分为65.2%。

  据12月20日印度《明特报》网站报道,谷歌公司前首席执行官埃里克·施密特日前在接受《华盛顿邮报》采访时,就美国和中国在人工智能上的“史诗级大战”发表评论。

  施密特说:“虽然美国在半导体设计领域处于领先地位,但它依赖于与中国制造业交织在一起的全球供应链。”“中国有很强的能力……中国有更集中的控制,这是一个集中控制可以助力成功的例子。中国愿意在没有特定目标的情况下花大量的钱。从本质上讲,中国有一个在企业内部快速应用的传统。我认为有充分的理由相信,即使我们赢得了竞争的第一阶段,但中国最终也会赢得竞争,因为中国在批量产品中应用这种技术的速度更快。”

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则




QQ|手机版|小黑屋|大参考 |

GMT+8, 2025-4-20 02:54 , Processed in 0.125093 second(s), 17 queries .

 

Powered by 大参考 X3.4 © 2001-2023 dacankao.com

豫公网安备41010502003328号

  豫ICP备17029791号-1

 
快速回复 返回顶部 返回列表