AI领域的百模大战：从技术创新到工程实践

上个月，AI业界掀起了一场激烈的模型竞赛。

一方是某科技巨头推出的开源大语言模型，因其开放特性深受开发者青睐。日本一家公司在研究了该模型的论文和源代码后，迅速开发出了日语版对话AI系统，为日本解决了AI发展瓶颈。

另一方则是名为"猎鹰"的大模型。今年5月，Falcon-40B问世，在开源LLM排行榜上力压对手夺得榜首。

该排行榜由一个开源模型社区制作，为评估LLM能力提供了一套标准。排名基本由这两个模型轮流占据。

9月初，"猎鹰"推出了180B版本，再次取得更高排名。有趣的是，"猎鹰"的开发者并非科技公司，而是位于阿联酋的一家研究机构。阿联酋官员表示，他们参与这场竞赛是为了打破现有格局。

如今，AI领域已进入百家争鸣的阶段。只要有一定财力的国家和企业，都在规划打造本土版对话AI系统。仅在海湾地区,就不止一个玩家在布局。8月，沙特为国内大学购买了数千块高端AI芯片，用于训练大语言模型。

一位知名投资人在社交媒体上感慨:"当年看不起互联网的商业模式创新,觉得没有门槛。没想到硬科技大模型创业,依然是百模大战..."

所谓的高难度硬科技,怎么就演变成了各国争相布局的赛道?

Transformer算法引发AI革命

无论是美国初创公司、中国科技巨头,还是中东石油大亨,能够投身大模型研发,都得归功于那篇著名论文:《Attention Is All You Need》。

2017年,8位谷歌科学家在这篇论文中向全世界公开了Transformer算法。这篇论文目前是AI领域被引用量第三高的论文,Transformer的出现则引发了此轮AI热潮。

当前各种大模型,无论国籍,包括举世瞩目的GPT系列,都是建立在Transformer的基础之上。

此前,"教会机器阅读"一直是公认的学术难题。不同于图像识别,人类阅读时不仅关注当前词句,还会结合上下文理解。早期神经网络的输入相互独立,难以理解长文本甚至整篇文章,因此常出现一些滑稽的翻译错误。

直到2014年,一位计算机科学家使用循环神经网络(RNN)处理自然语言,使某翻译系统的性能大幅提升。RNN提出了"循环设计",让每个神经元既接受当前输入,也接受上一时刻的输入,从而具备了"结合上下文"的能力。

RNN的出现点燃了学术界的研究热情,Transformer的论文作者之一也一度沉迷其中。然而开发者们很快意识到,RNN存在严重缺陷:该算法使用顺序计算,虽然解决了上下文问题,但运行效率不高,难以处理大量参数。

RNN的繁琐设计很快让研究者感到厌烦。从2015年开始,一群志同道合的科学家着手开发RNN的替代品,最终成果便是Transformer。

相比RNN,Transformer有两大创新:一是用位置编码取代循环设计,实现并行计算,大幅提升训练效率,使AI迈入大模型时代;二是进一步增强了理解上下文的能力。

Transformer一举解决了诸多难题,逐渐成为自然语言处理的主流方案。连RNN的开创者也转投Transformer阵营。可以说,Transformer是当今所有大模型的基础,它将大模型从理论研究变成了工程问题。

2019年,某AI公司基于Transformer开发出GPT-2,一度惊艳学术界。作为回应,某科技巨头迅速推出了性能更强的AI系统。与GPT-2相比,这个系统并无算法革新,仅是大幅增加了训练参数和算力。Transformer论文作者对这种"暴力堆砌"大受震撼,写了篇备忘录记录感想。

Transformer的问世,使学术界底层算法创新速度放缓。数据工程、算力规模、模型架构等工程要素,日益成为AI竞赛的关键。只要有一定技术能力的公司,都能开发出大模型。

因此,一位知名AI专家在演讲中提出:"AI是一系列工具的集合,包括监督学习、无监督学习、强化学习以及生成式AI。这些都是通用技术,类似于电力和互联网。"

某AI公司虽然仍是大语言模型的风向标,但业内分析认为,其竞争力主要源自工程解决方案。如果开源,任何竞争对手都能迅速复制。有分析师预计,不久后其他大型科技公司也能开发出同等性能的大模型。

大模型竞赛面临的挑战

当前,"百模大战"已不再是修辞,而是客观现实。

相关报告显示,截至今年7月,中国大模型数量已达130个,超过美国的114个。在中美之外,一些较为富裕的国家也初步实现了"一国一模":除了日本与阿联酋,还有印度政府主导的Bhashini、韩国互联网公司开发的HyperClova X等。

这场景颇似当年互联网泡沫时期,资本竞相涌入的盛况。

正如前文所述,Transformer使大模型变成了工程问题,只要有人才、资金和硬件,剩下的就交给参数调优。但入场门槛的降低,并不意味着人人都能成为AI时代的巨头。

文章开头提到的"模型之争"就是典型案例:虽然某模型在排名上领先,但很难说对某科技巨头造成了多大冲击。

众所周知,企业开源自身的研究成果,既是为了与社会共享科技红利,也希望借助群众智慧。随着各界不断使用、改进某开源模型,其母公司可以将这些成果应用到自身产品中。

对开源大模型而言,活跃的开发者社群才是核心竞争力。

某社交媒体巨头早在2015年组建AI实验室时,就确立了开源策略;其创始人深谙"维系社群关系"之道。今年10月,该公司还专门推出了"AI创作者激励"活动:使用其开源模型解决教育、环境等社会问题的开发者,有机会获得50万美元资助。

如今,该公司的开源模型系列已成为行业标杆。截至10月初,某开源模型排行榜前10名中,8个都是基于该系列打造的。仅在该平台上,使用了其开源协议的模型就超过1500个。

当然,提升模型性能也未尝不可,但目前市面上大多数模型与顶级AI系统仍有明显差距。

例如不久前,某AI系统在AgentBench测试中以4.41分的成绩夺魁。AgentBench由多所知名高校联合推出,用于评估大模型在多维度开放环境中的推理和决策能力,测试内容包括操作系统、数据库、知识图谱、卡牌对战等8个任务。

测试结果显示,第二名仅2.77分,差距明显。至于那些声势浩大的开源模型,测试成绩多在1分左右,还不到冠军的四分之一。

要知道,性能最强的AI系统发布于今年3月,这还是全球同行追赶大半年后的结果。造成这种差距的,是该公司高水平的科研团队与长期积累的经验,使其始终保持领先地位。

换言之,大模型的核心优势并非参数数量,而是生态建设(开源路线)或纯粹的推理能力(闭源路线)。

随着开源社区日益活跃,各种模型的性能可能会趋同,因为大家都在使用相似的架构与数据集。

另一个更现实的难题是:除了少数个例,似乎还没有哪个大模型能实现盈利。

大模型面临的经济压力

今年8月,一篇题为"某AI公司可能于2024年底破产"的文章引发关注。文章主旨几乎可用一句话概括:该公司的支出速度过快。

文中提到,自开发某对话AI系统后,该公司亏损迅速扩大,仅2022年就亏损约5.4亿美元,只能靠投资者支撑。

文章标题虽有夸张,却也反映了许多大模型提供商的现状:成本与收入严重失衡。

过高的成本导致目前依靠AI真正盈利的只有少数芯片制造商。

据咨询公司估计,某芯片巨头今年二季度售出超30万块高端AI芯片。这是一款训练AI效率极高的芯片,全球科技公司、研究机构竞相购买。如果将售出的芯片叠放,重量相当于4.5架波音747。

该芯片公司业绩随之飙升,同比营收增长854%,令华尔街震惊。值得一提的是,这款芯片在二手市场已被炒至4-5万美元,而其成本仅约3000美元。

高昂的算力成本在某种程度上阻碍了行业发展。某知名投资机构曾估算:全球科技公司每年预计将投入2000亿美元用于大模型基础设施建设;相比之下,大模型每年最多只能产生750亿美元收入,中间至少存在1250亿美元缺口。

此外,除了少数个例,大多数软件公司在投入巨资后,还未找到清晰的盈利模式。就连行业领军企业也面临困境。

某科技巨头与AI公司合作开发的代码生成工具,虽然每月收费10美元,但由于设施成本,反而每月亏损20美元,重度用户甚至会让公司每月亏损80美元。据此推测,定价30美元的某AI助手服务可能亏损更多。

同样,刚推出AI工具的某软件巨头也迅速上线了积分系统,限制用户过度使用以避免公司亏损。一旦用户超出每月分配的积分,该公司就会降低服务速度。

这两家公司已经拥有明确的业务场景和大量付费用户。而大多数参数规模庞大的模型,最主要的应用场景仍是对话。

不可否认,如果没有某AI公司和其对话系统的横空出世,这场AI革命可能不会发生。但目前,训练大模型所创造的价值还有待商榷。

而且,随着同质化竞争加剧,以及开源模型越来越多,单纯提供大模型服务的公司可能面临更大压力。

正如某款智能手机的成功不是因为其先进的处理器,而是因为它能运行各种流行应用一样,大模型的价值最终还是要体现在具体应用场景中。