AI x Crypto : De zéro au sommet

Introduction

Le développement récent de l'industrie de l'intelligence artificielle est considéré par certains comme la quatrième révolution industrielle. L'émergence de grands modèles a considérablement amélioré l'efficacité dans divers secteurs, et il a été rapporté que GPT a augmenté l'efficacité du travail aux États-Unis d'environ 20 %. En même temps, la capacité de généralisation apportée par les grands modèles est considérée comme un nouveau paradigme de conception logicielle, par rapport à la conception de code précise du passé, la conception logicielle d'aujourd'hui consiste davantage à intégrer des cadres de grands modèles généralisés dans le logiciel, permettant au logiciel d'avoir de meilleures performances et de prendre en charge une gamme plus large d'entrées et de sorties modales. La technologie d'apprentissage profond a effectivement amené la quatrième prospérité à l'industrie de l'IA, et cette tendance s'est également propagée à l'industrie des cryptomonnaies.

Ce rapport explorera en détail l'histoire du développement de l'industrie de l'IA, la classification des technologies, ainsi que l'impact de l'invention des technologies d'apprentissage profond sur le secteur. Ensuite, il analysera en profondeur les chaînes de valeur en amont et en aval de l'apprentissage profond, notamment les GPU, le cloud computing, les sources de données et les dispositifs en périphérie, ainsi que leur état de développement et leurs tendances. Par la suite, il examinera en détail la relation entre les cryptomonnaies et l'industrie de l'IA, et fera le point sur la structure de la chaîne de valeur de l'IA liée aux cryptomonnaies.

Histoire du développement de l'industrie de l'IA

L'industrie de l'IA a débuté dans les années 1950. Pour réaliser la vision de l'intelligence artificielle, le milieu académique et l'industrie ont développé, à travers les différentes époques et les divers contextes disciplinaires, plusieurs écoles de pensée pour atteindre l'intelligence artificielle.

Les technologies modernes de l'intelligence artificielle utilisent principalement le terme "apprentissage automatique". L'idée de cette technologie est de permettre aux machines d'améliorer les performances du système en itérant plusieurs fois sur des tâches basées sur des données. Les principales étapes consistent à envoyer des données à l'algorithme, à entraîner le modèle avec ces données, à tester et déployer le modèle, puis à utiliser le modèle pour réaliser des tâches de prédiction automatisées.

Actuellement, il existe trois grandes écoles de pensée en apprentissage automatique : le connexionnisme, le symbolisme et le comportementalisme, qui imitent respectivement le système nerveux, la pensée et le comportement humain.

Actuellement, le connexionnisme, représenté par les réseaux neuronaux, domine (, également connu sous le nom d'apprentissage profond ). La principale raison est que cette architecture a une couche d'entrée, une couche de sortie, mais plusieurs couches cachées. Une fois que le nombre de couches et le nombre de neurones ( paramètres ) deviennent suffisamment élevés, il y a suffisamment d'opportunités pour s'adapter à des tâches générales complexes. Grâce à l'entrée de données, il est possible d'ajuster en continu les paramètres des neurones, et après avoir traversé de nombreuses données, ce neurone atteindra un état optimal ( paramètres ). C'est ce qu'on appelle faire des miracles par un effort considérable, et c'est aussi l'origine du mot "profondeur" - un nombre suffisant de couches et de neurones.

Par exemple, on peut comprendre simplement que nous avons construit une fonction, où si nous entrons X=2, Y=3 ; X=3, Y=5. Si nous voulons que cette fonction réponde à tous les X, nous devons continuer à ajouter le degré de cette fonction et ses paramètres. Par exemple, je peux construire une fonction qui satisfait cette condition, Y = 2X -1. Cependant, si une donnée est X=2, Y=11, il est nécessaire de reconstruire une fonction adaptée à ces trois points de données. En utilisant le GPU pour une recherche par force brute, on découvre que Y = X2 -3X +5 convient assez bien, mais il n'est pas nécessaire que cela coïncide complètement avec les données, il suffit de respecter l'équilibre et d'obtenir une sortie à peu près similaire. Dans ce contexte, X2, X et X0 représentent différents neurones, tandis que 1, -3 et 5 sont leurs paramètres.

À ce stade, si nous entrons une grande quantité de données dans le réseau de neurones, nous pouvons augmenter le nombre de neurones et itérer les paramètres pour ajuster les nouvelles données. Ainsi, nous pouvons ajuster toutes les données.

La technologie d'apprentissage profond basée sur les réseaux de neurones a également connu plusieurs itérations et évolutions techniques, telles que les premiers réseaux de neurones, les réseaux de neurones à propagation avant, RNN, CNN, GAN, pour finalement évoluer vers les grands modèles modernes comme ceux utilisant la technologie Transformer, comme GPT. La technologie Transformer n'est qu'une direction d'évolution des réseaux de neurones, ajoutant simplement un convertisseur ( Transformer ), destiné à coder les données de tous les modes ( tels que l'audio, la vidéo, les images, etc. ) en valeurs correspondantes pour les représenter. Ces données sont ensuite introduites dans le réseau de neurones, permettant ainsi au réseau de neurones d'ajuster n'importe quel type de données, réalisant ainsi le multimodal.

Le développement de l'IA a connu trois vagues technologiques. La première vague remonte aux années 60, une décennie après la proposition de la technologie IA. Cette vague a été provoquée par le développement des technologies symboliques, qui ont résolu les problèmes de traitement du langage naturel et de dialogue homme-machine. Pendant la même période, les systèmes experts ont vu le jour, notamment le système expert DENRAL, réalisé sous la supervision de l'Université de Stanford pour la NASA. Ce système possède des connaissances chimiques très solides et génère des réponses similaires à celles d'un expert en chimie en se basant sur des questions. Ce système expert en chimie peut être considéré comme une combinaison d'une base de connaissances en chimie et d'un système d'inférence.

Après les systèmes experts, dans les années 90, le scientifique et philosophe américain d'origine israélienne Judea Pearl ( a proposé le réseau bayésien, également connu sous le nom de réseau de croyance. À la même époque, Brooks a proposé la robotique basée sur le comportement, marquant la naissance du comportementalisme.

En 1997, IBM Deep Blue a battu le champion d'échecs Garry Kasparov avec un score de 3,5 à 2,5, cette victoire étant considérée comme un jalon pour l'intelligence artificielle, marquant le début d'un nouvel essor pour la technologie AI.

La troisième vague de la technologie AI a eu lieu en 2006. Les trois géants de l'apprentissage profond, Yann LeCun, Geoffrey Hinton et Yoshua Bengio, ont proposé le concept d'apprentissage profond, un algorithme basé sur des réseaux de neurones artificiels pour l'apprentissage de représentations à partir de données. Par la suite, les algorithmes d'apprentissage profond ont progressivement évolué, des RNN, GAN aux Transformateurs et à la Diffusion Stable, ces deux algorithmes ayant façonné cette troisième vague technologique, et c'est également l'âge d'or du connexionnisme.

De nombreux événements emblématiques ont également émergé progressivement avec l'exploration et l'évolution des technologies d'apprentissage en profondeur, y compris :

• En 2011, Watson) d'IBM a battu des humains et remporté le championnat dans l'émission de quiz « Jeopardy( ».

• En 2014, Goodfellow a proposé le GAN), Réseau Adversarial Génératif(, qui apprend à générer des photos réalistes en faisant s'affronter deux réseaux neuronaux. En même temps, Goodfellow a également écrit un livre intitulé « Deep Learning », appelé le livre de fleurs, qui est l'un des ouvrages d'introduction importants dans le domaine de l'apprentissage profond.

• En 2015, Hinton et al. ont proposé un algorithme d'apprentissage profond dans la revue "Nature", et cette méthode d'apprentissage profond a immédiatement suscité un énorme écho dans le milieu académique et l'industrie.

• En 2015, OpenAI a été créé, Musk, le président de YC Altman, et l'investisseur providentiel Peter Thiel ) Peter Thiel ( ont annoncé un investissement commun de 1 milliard de dollars.

• En 2016, AlphaGo, basé sur la technologie d'apprentissage profond, a affronté le champion du monde de Go et joueur professionnel de 9e dan, Lee Sedol, dans une bataille homme-machine au Go, remportant la victoire avec un score total de 4 à 1.

• En 2017, la société Hanson Robotics) de Hong Kong a développé le robot humanoïde Sophia, qui est considéré comme le premier robot à avoir obtenu un statut de citoyen de premier ordre dans l'histoire, doté d'une riche gamme d'expressions faciales et de la capacité de comprendre le langage humain.

• En 2017, Google, qui dispose d'une riche réserve de talents et de technologies dans le domaine de l'intelligence artificielle, a publié un article intitulé « Attention is all you need », introduisant l'algorithme Transformer, marquant le début de l'émergence des modèles de langage à grande échelle.

• En 2018, OpenAI a publié le GPT(, un modèle de langage basé sur l'algorithme Transformer, qui était l'un des plus grands modèles de langage à l'époque.

• En 2018, l'équipe de Google DeepMind a publié AlphaGo basé sur l'apprentissage profond, capable de prédire la structure des protéines, considéré comme un grand jalon dans le domaine de l'intelligence artificielle.

• En 2019, OpenAI a publié GPT-2, un modèle doté de 1,5 milliard de paramètres.

• En 2020, OpenAI a développé GPT-3, qui possède 175 milliards de paramètres, soit 100 fois plus que la version précédente GPT-2. Ce modèle a été entraîné sur 570 Go de texte et peut atteindre des performances à la pointe de la technologie dans plusieurs tâches de traitement du langage naturel, telles que la réponse aux questions, la traduction et la rédaction d'articles.

• En 2021, OpenAI a publié GPT-4, un modèle doté de 1,76 billion de paramètres, soit 10 fois plus que GPT-3.

• L'application ChatGPT basée sur le modèle GPT-4 a été lancée en janvier 2023, et en mars, ChatGPT a atteint un million d'utilisateurs, devenant ainsi l'application à atteindre le plus rapidement un million d'utilisateurs dans l'histoire.

• En 2024, OpenAI lancera GPT-4 omni.

Remarque : Étant donné qu'il existe de nombreux articles sur l'intelligence artificielle, de nombreux courants et une évolution technologique variée, nous allons principalement suivre l'histoire du développement de l'apprentissage profond ou du connexionnisme ici, tandis que d'autres courants et technologies sont encore en pleine évolution.

![Nouvelle introduction丨AI x Crypto : De zéro à sommet])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Chaîne de valeur de l'apprentissage profond

Les modèles de langage actuels sont tous basés sur des méthodes d'apprentissage profond utilisant des réseaux de neurones. Avec GPT en tête, les grands modèles ont provoqué un engouement pour l'intelligence artificielle, attirant de nombreux acteurs dans ce domaine. Nous avons également constaté une forte demande du marché pour les données et la puissance de calcul. Ainsi, dans cette partie du rapport, nous explorons principalement la chaîne de production des algorithmes d'apprentissage profond. Dans l'industrie de l'IA dominée par les algorithmes d'apprentissage profond, comment les acteurs en amont et en aval sont-ils constitués, et quel est l'état actuel des relations d'offre et de demande, ainsi que les développements futurs?

Tout d'abord, il est important de clarifier que lors de l'entraînement de grands modèles LLMs tels que GPT basé sur la technologie Transformer, il y a en tout trois étapes.

Avant l'entraînement, étant donné que c'est basé sur le Transformer, le convertisseur doit transformer l'entrée textuelle en valeurs numériques, ce processus est appelé "Tokenization". Par la suite, ces valeurs sont appelées Token. Selon une règle empirique générale, un mot ou un caractère anglais peut être grossièrement considéré comme un Token, tandis que chaque caractère chinois peut être grossièrement considéré comme deux Tokens. C'est aussi l'unité de base utilisée pour la tarification de GPT.

Première étape, pré-entraînement. En fournissant suffisamment de paires de données à la couche d'entrée, similaires à l'exemple donné dans la première partie du rapport )X,Y(, pour trouver les meilleurs paramètres de chaque neurone du modèle, ce processus nécessite une grande quantité de données et est également le processus le plus coûteux en calcul, car il faut itérer plusieurs fois les neurones en essayant divers paramètres. Une fois qu'un lot de paires de données est terminé, on utilise généralement le même lot de données pour un second entraînement afin d'itérer les paramètres.

Deuxième étape, le réglage fin. Le réglage fin consiste à utiliser un petit lot de données de très haute qualité pour l'entraînement, ce qui permettra d'améliorer la qualité des sorties du modèle, car le pré-entraînement nécessite une grande quantité de données, mais beaucoup de ces données peuvent contenir des erreurs ou être de faible qualité. L'étape de réglage fin peut améliorer la qualité du modèle grâce à des données de qualité.

Troisième étape, apprentissage par renforcement. Tout d'abord, un tout nouveau modèle sera établi, que nous appelons "modèle de récompense", dont l'objectif est très simple : trier les résultats de sortie. Par conséquent, la réalisation de ce modèle sera relativement simple, car le scénario d'affaires est assez vertical. Ensuite, ce modèle sera utilisé pour déterminer si la sortie de notre grand modèle est de haute qualité, permettant ainsi d'utiliser un modèle de récompense pour itérer automatiquement les paramètres du grand modèle. ) Cependant, il est parfois nécessaire d'intervenir humainement pour évaluer la qualité de la sortie du modèle (.

En résumé, lors du processus d'entraînement des grands modèles, la pré-formation nécessite une quantité de données très élevée, et la puissance de calcul GPU requise est également la plus importante, tandis que le réglage fin nécessite des données de meilleure qualité pour améliorer les paramètres. L'apprentissage par renforcement peut itérer les paramètres à plusieurs reprises à l'aide d'un modèle de récompense pour produire des résultats de meilleure qualité.

Au cours de l'entraînement, plus il y a de paramètres, plus le plafond de sa capacité de généralisation est élevé. Par exemple, dans l'exemple où nous prenons une fonction, Y = aX + b, il y a en réalité deux neurones, X et X0. Ainsi, quelle que soit la variation des paramètres, les données qu'ils peuvent ajuster sont extrêmement limitées, car leur essence reste une ligne droite. Si le nombre de neurones augmente, alors il est possible d'itérer plus de paramètres, ce qui permet d'ajuster davantage de données. C'est la raison pour laquelle les grands modèles produisent des miracles, et c'est aussi la raison pour laquelle on les appelle communément des grands modèles, qui sont essentiellement constitués d'un grand nombre de neurones et de paramètres, ainsi que d'une énorme quantité de données, tout en nécessitant une puissance de calcul massive.

Ainsi, la performance des grands modèles est principalement déterminée par trois aspects : le nombre de paramètres, la quantité et la qualité des données, et la puissance de calcul. Ces trois éléments influencent ensemble la qualité des résultats et la capacité de généralisation des grands modèles. Supposons que le nombre de paramètres soit p, que la quantité de données soit n) calculée en fonction du nombre de tokens(, alors nous pouvons estimer la puissance de calcul requise par des règles empiriques générales.