Pertarungan Seratus Model di Bidang AI: Dari Inovasi Teknologi ke Praktik Rekayasa

Bulan lalu, industri AI mengalami persaingan model yang sengit.

Di satu sisi, ada model bahasa besar sumber terbuka yang diluncurkan oleh raksasa teknologi tertentu, yang sangat disukai oleh pengembang karena sifatnya yang terbuka. Sebuah perusahaan di Jepang, setelah mempelajari makalah dan kode sumber model tersebut, dengan cepat mengembangkan sistem AI percakapan versi Jepang, yang membantu Jepang mengatasi hambatan dalam pengembangan AI.

Sisi lain adalah model besar bernama "Falcon". Pada bulan Mei tahun ini, Falcon-40B diluncurkan dan berhasil meraih peringkat teratas dalam daftar LLM sumber terbuka.

Peringkat ini dibuat oleh komunitas model sumber terbuka, menyediakan seperangkat standar untuk mengevaluasi kemampuan LLM. Peringkat ini sebagian besar diduduki secara bergiliran oleh kedua model ini.

Pada awal September, "Falcon" meluncurkan versi 180B dan sekali lagi meraih peringkat yang lebih tinggi. Menariknya, pengembang "Falcon" bukanlah perusahaan teknologi, melainkan sebuah lembaga penelitian yang terletak di Uni Emirat Arab. Pejabat Uni Emirat Arab menyatakan bahwa mereka terlibat dalam kompetisi ini untuk memecahkan pola yang ada.

Saat ini, bidang AI telah memasuki fase persaingan sengit. Negara dan perusahaan yang memiliki kekuatan finansial tertentu sedang merencanakan untuk mengembangkan sistem dialog AI versi lokal. Hanya di kawasan Teluk, sudah ada lebih dari satu pemain yang sedang merencanakan langkah. Pada bulan Agustus, Arab Saudi membeli ribuan chip AI kelas atas untuk universitas domestik, yang akan digunakan untuk melatih model bahasa besar.

Seorang investor terkenal di media sosial mengungkapkan: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada hambatan. Tidak menyangka bahwa startup model besar teknologi keras, tetap menjadi perang seratus model..."

Apa yang dimaksud dengan teknologi keras yang sulit, sehingga berubah menjadi arena yang diperebutkan oleh berbagai negara?

Algoritma Transformer Memicu Revolusi AI

Baik perusahaan rintisan di Amerika, raksasa teknologi China, maupun taipan minyak di Timur Tengah, semua dapat terlibat dalam penelitian dan pengembangan model besar berkat makalah terkenal itu: "Attention Is All You Need".

Pada tahun 2017, 8 ilmuwan Google mempublikasikan algoritma Transformer kepada dunia dalam makalah ini. Makalah ini saat ini adalah makalah yang paling banyak dikutip ketiga di bidang AI, dan munculnya Transformer telah memicu gelombang antusiasme AI ini.

Model-model besar saat ini, terlepas dari kebangsaannya, termasuk seri GPT yang menarik perhatian dunia, semuanya dibangun di atas dasar Transformer.

Sebelumnya, "mengajarkan mesin untuk membaca" telah diakui sebagai tantangan akademis. Berbeda dengan pengenalan gambar, saat manusia membaca, mereka tidak hanya memperhatikan kata-kata saat ini, tetapi juga memahami dengan mengaitkan konteks. Input dari jaringan saraf awal saling independen, sehingga sulit untuk memahami teks panjang bahkan seluruh artikel, sehingga sering muncul beberapa kesalahan terjemahan yang konyol.

Hingga tahun 2014, seorang ilmuwan komputer menggunakan jaringan syaraf berulang (RNN) untuk memproses bahasa alami, yang secara signifikan meningkatkan kinerja sistem penerjemahan tertentu. RNN memperkenalkan "desain berulang", yang memungkinkan setiap neuron untuk menerima baik input saat ini maupun input dari waktu sebelumnya, sehingga memiliki kemampuan "mengaitkan konteks".

Munculnya RNN telah membangkitkan semangat penelitian di kalangan akademisi, salah satu penulis makalah Transformer juga sempat terpesona olehnya. Namun, para pengembang segera menyadari bahwa RNN memiliki kekurangan serius: algoritma ini menggunakan perhitungan berurutan, meskipun menyelesaikan masalah konteks, tetapi efisiensi operasionalnya tidak tinggi dan sulit untuk menangani sejumlah besar parameter.

Desain RNN yang rumit dengan cepat membuat para peneliti merasa bosan. Sejak tahun 2015, sekelompok ilmuwan yang sejalan mulai mengembangkan alternatif untuk RNN, dan hasil akhirnya adalah Transformer.

Dibandingkan dengan RNN, Transformer memiliki dua inovasi besar: yang pertama adalah menggunakan pengkodean posisi menggantikan desain sirkular, memungkinkan komputasi paralel, secara signifikan meningkatkan efisiensi pelatihan, dan membawa AI memasuki era model besar; yang kedua adalah lebih lanjut meningkatkan kemampuan untuk memahami konteks.

Transformer telah berhasil menyelesaikan banyak masalah dan secara bertahap menjadi solusi utama dalam pemrosesan bahasa alami. Bahkan pencipta RNN pun beralih ke kubu Transformer. Dapat dikatakan bahwa Transformer adalah dasar dari semua model besar saat ini, mengubah model besar dari penelitian teoritis menjadi masalah rekayasa.

Pada tahun 2019, sebuah perusahaan AI mengembangkan GPT-2 berdasarkan Transformer, yang sempat mengejutkan dunia akademis. Sebagai tanggapan, sebuah raksasa teknologi dengan cepat meluncurkan sistem AI yang lebih kuat. Dibandingkan dengan GPT-2, sistem ini tidak memiliki inovasi algoritma, hanya meningkatkan jumlah parameter pelatihan dan daya komputasi secara signifikan. Penulis makalah Transformer sangat terkejut dengan "penumpukan paksa" ini dan menulis sebuah memo untuk mencatat pemikirannya.

Kehadiran Transformer telah memperlambat kecepatan inovasi algoritma dasar di kalangan akademis. Elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi kunci dalam kompetisi AI. Selama perusahaan memiliki kemampuan teknis tertentu, mereka dapat mengembangkan model besar.

Oleh karena itu, seorang ahli AI terkenal dalam pidatonya menyatakan: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, dan AI generatif. Semua ini adalah teknologi umum, mirip dengan listrik dan internet."

Sebuah perusahaan AI meskipun masih menjadi panutan untuk model bahasa besar, namun analisis di industri percaya bahwa daya saingnya terutama berasal dari solusi rekayasa. Jika open source, pesaing mana pun dapat dengan cepat menyalinnya. Beberapa analis memperkirakan, tidak lama lagi perusahaan teknologi besar lainnya juga akan dapat mengembangkan model besar dengan kinerja setara.

Tantangan yang Dihadapi oleh Kompetisi Model Besar

Saat ini, "Perang Ratusan Model" tidak lagi sekedar retorika, tetapi merupakan kenyataan objektif.

Laporan terkait menunjukkan bahwa hingga Juli tahun ini, jumlah model besar di China telah mencapai 130, melampaui 114 di Amerika Serikat. Di luar China dan Amerika, beberapa negara yang lebih kaya juga telah secara awal mewujudkan "satu negara satu model": selain Jepang dan Uni Emirat Arab, ada juga Bhashini yang dipimpin oleh pemerintah India, serta HyperClova X yang dikembangkan oleh perusahaan internet Korea.

Pemandangan ini mirip dengan masa gelembung internet, di mana modal berbondong-bondong masuk.

Seperti yang disebutkan sebelumnya, Transformer mengubah model besar menjadi masalah rekayasa; selama ada bakat, dana, dan perangkat keras, sisanya dis交给 penyesuaian parameter. Namun, penurunan ambang masuk tidak berarti semua orang dapat menjadi raksasa di era AI.

Pertarungan model yang disebutkan di awal artikel adalah contoh klasik: meskipun suatu model unggul dalam peringkat, sulit untuk mengatakan seberapa besar dampaknya terhadap raksasa teknologi tertentu.

Seperti yang diketahui, perusahaan yang membuka sumber hasil penelitian mereka, tidak hanya untuk berbagi manfaat teknologi dengan masyarakat, tetapi juga berharap dapat memanfaatkan kebijaksanaan massa. Seiring dengan semakin banyaknya pihak yang menggunakan dan meningkatkan model sumber terbuka tertentu, perusahaan induknya dapat menerapkan hasil tersebut ke dalam produk mereka sendiri.

Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan kompetitif inti.

Salah satu raksasa media sosial sudah menetapkan strategi open source ketika membentuk laboratorium AI pada tahun 2015; pendirinya sangat memahami "menjaga hubungan komunitas". Pada bulan Oktober tahun ini, perusahaan tersebut juga meluncurkan program "Insentif Kreator AI": pengembang yang menggunakan model open source-nya untuk menyelesaikan masalah sosial seperti pendidikan dan lingkungan berkesempatan untuk mendapatkan dana sebesar 500.000 dolar.

Saat ini, seri model sumber terbuka perusahaan telah menjadi standar industri. Hingga awal Oktober, 8 dari 10 model teratas dalam peringkat model sumber terbuka adalah yang dibangun berdasarkan seri tersebut. Hanya di platform ini, model yang menggunakan protokol sumber terbukanya sudah lebih dari 1500.

Tentu saja, meningkatkan kinerja model juga bukan hal yang tidak mungkin, tetapi saat ini sebagian besar model di pasaran masih memiliki jarak yang jelas dibandingkan dengan sistem AI teratas.

Misalnya, baru-baru ini, suatu sistem AI meraih juara dengan skor 4.41 dalam tes AgentBench. AgentBench diluncurkan oleh beberapa universitas terkemuka, digunakan untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan model besar di lingkungan terbuka multidimensi, dengan konten tes mencakup sistem operasi, basis data, grafik pengetahuan, pertarungan kartu, dan 8 tugas lainnya.

Hasil tes menunjukkan, posisi kedua hanya 2,77 poin, selisihnya jelas. Adapun model sumber terbuka yang ramai dibicarakan, hasil tesnya sebagian besar sekitar 1 poin, bahkan belum mencapai seperempat dari juara.

Perlu diketahui, sistem AI dengan performa terbaik diluncurkan pada bulan Maret tahun ini, yang merupakan hasil setelah pesaing global mengejar selama lebih dari setengah tahun. Penyebab kesenjangan ini adalah tim riset dan pengembangan perusahaan yang berkualitas tinggi serta pengalaman yang terakumulasi dalam jangka waktu lama, yang membuatnya tetap berada di posisi terdepan.

Dengan kata lain, keunggulan inti dari model besar bukanlah jumlah parameter, melainkan pembangunan ekosistem ( jalur sumber terbuka ) atau kemampuan inferensi murni ( jalur tertutup ).

Dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai model mungkin akan semakin serupa, karena semua orang menggunakan arsitektur dan dataset yang serupa.

Masalah lain yang lebih realistis adalah: kecuali untuk beberapa kasus, tampaknya belum ada model besar yang dapat menghasilkan keuntungan.

Tekanan Ekonomi yang Dihadapi oleh Model Besar

Pada bulan Agustus tahun ini, sebuah artikel berjudul "Sebuah perusahaan AI mungkin bangkrut pada akhir 2024" menarik perhatian. Inti artikel ini dapat diringkas dalam satu kalimat: Kecepatan pengeluaran perusahaan tersebut terlalu cepat.

Dalam teks disebutkan bahwa setelah mengembangkan suatu sistem AI percakapan, perusahaan tersebut mengalami kerugian yang cepat meluas, hanya pada tahun 2022 saja mengalami kerugian sekitar 540 juta dolar AS, dan hanya bisa bertahan dengan dukungan dari para investor.

Judul artikel mungkin berlebihan, namun juga mencerminkan banyak penyedia model besar yang sedang mengalami ketidakseimbangan serius antara biaya dan pendapatan.

Biaya yang terlalu tinggi menyebabkan saat ini hanya sedikit produsen chip yang benar-benar menghasilkan keuntungan dengan bergantung pada AI.

Menurut perkiraan perusahaan konsultan, sebuah raksasa chip menjual lebih dari 300.000 chip AI kelas atas pada kuartal kedua tahun ini. Ini adalah chip yang sangat efisien untuk melatih AI, dengan perusahaan teknologi global dan lembaga penelitian berebut untuk membelinya. Jika chip yang terjual ditumpuk, beratnya setara dengan 4,5 pesawat Boeing 747.

Perusahaan chip ini mengalami lonjakan kinerja, dengan pendapatan tahunan meningkat 854%, mengejutkan Wall Street. Perlu dicatat bahwa chip ini telah dijual di pasar kedua dengan harga 40.000-50.000 dolar AS, sementara biayanya hanya sekitar 3.000 dolar AS.

Biaya komputasi yang tinggi menghambat perkembangan industri sampai batas tertentu. Sebuah lembaga investasi terkenal pernah memperkirakan: perusahaan teknologi global diperkirakan akan menginvestasikan 200 miliar dolar AS setiap tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimum 75 miliar dolar AS per tahun, yang berarti ada celah setidaknya 125 miliar dolar AS di tengahnya.

Selain itu, kecuali untuk beberapa pengecualian, sebagian besar perusahaan perangkat lunak belum menemukan model profitabilitas yang jelas meskipun telah menginvestasikan banyak uang. Bahkan perusahaan-perusahaan terkemuka di industri juga menghadapi kesulitan.

Sebuah alat penghasil kode yang dikembangkan oleh raksasa teknologi bekerja sama dengan perusahaan AI, meskipun dikenakan biaya 10 dolar per bulan, namun karena biaya fasilitas, justru mengalami kerugian 20 dolar per bulan, pengguna berat bahkan dapat membuat perusahaan mengalami kerugian 80 dolar per bulan. Berdasarkan ini, diperkirakan bahwa layanan asisten AI dengan harga 30 dolar mungkin mengalami kerugian yang lebih besar.

Demikian pula, sebuah raksasa perangkat lunak yang baru saja meluncurkan alat AI dengan cepat juga meluncurkan sistem poin, membatasi pengguna untuk menghindari penggunaan berlebihan agar perusahaan tidak mengalami kerugian. Begitu pengguna melebihi poin yang dialokasikan setiap bulan, perusahaan akan mengurangi kecepatan layanan.

Kedua perusahaan ini sudah memiliki skenario bisnis yang jelas dan banyak pengguna yang membayar. Sementara itu, sebagian besar model dengan parameter besar, skenario aplikasi utamanya tetap adalah percakapan.

Tidak dapat dipungkiri, jika tidak ada perusahaan AI tertentu dan kemunculan sistem dialognya, revolusi AI ini mungkin tidak akan terjadi. Namun saat ini, nilai yang diciptakan oleh pelatihan model besar masih perlu diperdebatkan.

Selain itu, dengan semakin meningkatnya persaingan yang homogen dan semakin banyaknya model sumber terbuka, perusahaan yang hanya menawarkan layanan model besar mungkin menghadapi tekanan yang lebih besar.

Seperti kesuksesan sebuah ponsel pintar yang bukan karena prosesor canggihnya, tetapi karena dapat menjalankan berbagai aplikasi populer, nilai model besar pada akhirnya harus tercermin dalam skenario aplikasi yang konkret.