AI領域的百模大戰：從技術創新到工程實踐

上個月，AI業界掀起了一場激烈的模型競賽。

一方是某科技巨頭推出的開源大語言模型，因其開放特性深受開發者青睞。日本一家公司在研究了該模型的論文和原始碼後，迅速開發出了日語版對話AI系統，爲日本解決了AI發展瓶頸。

另一方則是名爲"獵鷹"的大模型。今年5月，Falcon-40B問世，在開源LLM排行榜上力壓對手奪得榜首。

該排行榜由一個開源模型社區制作，爲評估LLM能力提供了一套標準。排名基本由這兩個模型輪流佔據。

9月初，"獵鷹"推出了180B版本，再次取得更高排名。有趣的是，"獵鷹"的開發者並非科技公司，而是位於阿聯酋的一家研究機構。阿聯酋官員表示，他們參與這場競賽是爲了打破現有格局。

如今，AI領域已進入百家爭鳴的階段。只要有一定財力的國家和企業，都在規劃打造本土版對話AI系統。僅在海灣地區,就不止一個玩家在布局。8月，沙特爲國內大學購買了數千塊高端AI芯片，用於訓練大語言模型。

一位知名投資人在社交媒體上感慨:"當年看不起互聯網的商業模式創新,覺得沒有門檻。沒想到硬科技大模型創業,依然是百模大戰..."

所謂的高難度硬科技,怎麼就演變成了各國爭相布局的賽道?

Transformer算法引發AI革命

無論是美國初創公司、中國科技巨頭,還是中東石油大亨,能夠投身大模型研發,都得歸功於那篇著名論文:《Attention Is All You Need》。

2017年,8位谷歌科學家在這篇論文中向全世界公開了Transformer算法。這篇論文目前是AI領域被引用量第三高的論文,Transformer的出現則引發了此輪AI熱潮。

當前各種大模型,無論國籍,包括舉世矚目的GPT系列,都是建立在Transformer的基礎之上。

此前,"教會機器閱讀"一直是公認的學術難題。不同於圖像識別,人類閱讀時不僅關注當前詞句,還會結合上下文理解。早期神經網路的輸入相互獨立,難以理解長文本甚至整篇文章,因此常出現一些滑稽的翻譯錯誤。

直到2014年,一位計算機科學家使用循環神經網路(RNN)處理自然語言,使某翻譯系統的性能大幅提升。RNN提出了"循環設計",讓每個神經元既接受當前輸入,也接受上一時刻的輸入,從而具備了"結合上下文"的能力。

RNN的出現點燃了學術界的研究熱情,Transformer的論文作者之一也一度沉迷其中。然而開發者們很快意識到,RNN存在嚴重缺陷:該算法使用順序計算,雖然解決了上下文問題,但運行效率不高,難以處理大量參數。

RNN的繁瑣設計很快讓研究者感到厭煩。從2015年開始,一羣志同道合的科學家着手開發RNN的替代品,最終成果便是Transformer。

相比RNN,Transformer有兩大創新:一是用位置編碼取代循環設計,實現並行計算,大幅提升訓練效率,使AI邁入大模型時代;二是進一步增強了理解上下文的能力。

Transformer一舉解決了諸多難題,逐漸成爲自然語言處理的主流方案。連RNN的開創者也轉投Transformer陣營。可以說,Transformer是當今所有大模型的基礎,它將大模型從理論研究變成了工程問題。

2019年,某AI公司基於Transformer開發出GPT-2,一度驚豔學術界。作爲回應,某科技巨頭迅速推出了性能更強的AI系統。與GPT-2相比,這個系統並無算法革新,僅是大幅增加了訓練參數和算力。Transformer論文作者對這種"暴力堆砌"大受震撼,寫了篇備忘錄記錄感想。

Transformer的問世,使學術界底層算法創新速度放緩。數據工程、算力規模、模型架構等工程要素,日益成爲AI競賽的關鍵。只要有一定技術能力的公司,都能開發出大模型。

因此,一位知名AI專家在演講中提出:"AI是一系列工具的集合,包括監督學習、無監督學習、強化學習以及生成式AI。這些都是通用技術,類似於電力和互聯網。"

某AI公司雖然仍是大語言模型的風向標,但業內分析認爲,其競爭力主要源自工程解決方案。如果開源,任何競爭對手都能迅速復制。有分析師預計,不久後其他大型科技公司也能開發出同等性能的大模型。

大模型競賽面臨的挑戰

當前,"百模大戰"已不再是修辭,而是客觀現實。

相關報告顯示,截至今年7月,中國大模型數量已達130個,超過美國的114個。在中美之外,一些較爲富裕的國家也初步實現了"一國一模":除了日本與阿聯酋,還有印度政府主導的Bhashini、韓國互聯網公司開發的HyperClova X等。

這場景頗似當年互聯網泡沫時期,資本競相湧入的盛況。

正如前文所述,Transformer使大模型變成了工程問題,只要有人才、資金和硬件,剩下的就交給參數調優。但入場門檻的降低,並不意味着人人都能成爲AI時代的巨頭。

文章開頭提到的"模型之爭"就是典型案例:雖然某模型在排名上領先,但很難說對某科技巨頭造成了多大衝擊。

衆所周知,企業開源自身的研究成果,既是爲了與社會共享科技紅利,也希望借助羣衆智慧。隨着各界不斷使用、改進某開源模型,其母公司可以將這些成果應用到自身產品中。

對開源大模型而言,活躍的開發者社群才是核心競爭力。

某社交媒體巨頭早在2015年組建AI實驗室時,就確立了開源策略;其創始人深諳"維系社群關係"之道。今年10月,該公司還專門推出了"AI創作者激勵"活動:使用其開源模型解決教育、環境等社會問題的開發者,有機會獲得50萬美元資助。

如今,該公司的開源模型系列已成爲行業標杆。截至10月初,某開源模型排行榜前10名中,8個都是基於該系列打造的。僅在該平台上,使用了其開源協議的模型就超過1500個。

當然,提升模型性能也未嘗不可,但目前市面上大多數模型與頂級AI系統仍有明顯差距。

例如不久前,某AI系統在AgentBench測試中以4.41分的成績奪魁。AgentBench由多所知名高校聯合推出,用於評估大模型在多維度開放環境中的推理和決策能力,測試內容包括操作系統、數據庫、知識圖譜、卡牌對戰等8個任務。

測試結果顯示,第二名僅2.77分,差距明顯。至於那些聲勢浩大的開源模型,測試成績多在1分左右,還不到冠軍的四分之一。

要知道,性能最強的AI系統發布於今年3月,這還是全球同行追趕大半年後的結果。造成這種差距的,是該公司高水平的科研團隊與長期積累的經驗,使其始終保持領先地位。

換言之,大模型的核心優勢並非參數數量,而是生態建設(開源路線)或純粹的推理能力(閉源路線)。

隨着開源社區日益活躍,各種模型的性能可能會趨同,因爲大家都在使用相似的架構與數據集。

另一個更現實的難題是:除了少數個例,似乎還沒有哪個大模型能實現盈利。

大模型面臨的經濟壓力

今年8月,一篇題爲"某AI公司可能於2024年底破產"的文章引發關注。文章主旨幾乎可用一句話概括:該公司的支出速度過快。

文中提到,自開發某對話AI系統後,該公司虧損迅速擴大,僅2022年就虧損約5.4億美元,只能靠投資者支撐。

文章標題雖有誇張,卻也反映了許多大模型提供商的現狀:成本與收入嚴重失衡。

過高的成本導致目前依靠AI真正盈利的只有少數芯片制造商。

據諮詢公司估計,某芯片巨頭今年二季度售出超30萬塊高端AI芯片。這是一款訓練AI效率極高的芯片,全球科技公司、研究機構競相購買。如果將售出的芯片疊放,重量相當於4.5架波音747。

該芯片公司業績隨之飆升,同比營收增長854%,令華爾街震驚。值得一提的是,這款芯片在二手市場已被炒至4-5萬美元,而其成本僅約3000美元。

高昂的算力成本在某種程度上阻礙了行業發展。某知名投資機構曾估算:全球科技公司每年預計將投入2000億美元用於大模型基礎設施建設;相比之下,大模型每年最多只能產生750億美元收入,中間至少存在1250億美元缺口。

此外,除了少數個例,大多數軟件公司在投入巨資後,還未找到清晰的盈利模式。就連行業領軍企業也面臨困境。

某科技巨頭與AI公司合作開發的代碼生成工具,雖然每月收費10美元,但由於設施成本,反而每月虧損20美元,重度用戶甚至會讓公司每月虧損80美元。據此推測,定價30美元的某AI助手服務可能虧損更多。

同樣,剛推出AI工具的某軟件巨頭也迅速上線了積分系統,限制用戶過度使用以避免公司虧損。一旦用戶超出每月分配的積分,該公司就會降低服務速度。

這兩家公司已經擁有明確的業務場景和大量付費用戶。而大多數參數規模龐大的模型,最主要的應用場景仍是對話。

不可否認,如果沒有某AI公司和其對話系統的橫空出世,這場AI革命可能不會發生。但目前,訓練大模型所創造的價值還有待商榷。

而且,隨着同質化競爭加劇,以及開源模型越來越多,單純提供大模型服務的公司可能面臨更大壓力。

正如某款智能手機的成功不是因爲其先進的處理器,而是因爲它能運行各種流行應用一樣,大模型的價值最終還是要體現在具體應用場景中。