AI x Crypto: Từ số không đến đỉnh cao

Giới thiệu

Sự phát triển gần đây của ngành trí tuệ nhân tạo được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao hiệu suất của nhiều ngành, theo báo cáo GPT đã nâng cao hiệu suất công việc ở Mỹ khoảng 20%. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được coi là một mô hình thiết kế phần mềm mới, so với thiết kế mã chính xác trong quá khứ, thiết kế phần mềm hiện nay chủ yếu là tích hợp khung mô hình lớn tổng quát vào phần mềm, giúp phần mềm có hiệu suất tốt hơn và hỗ trợ đầu vào và đầu ra với nhiều loại hình khác nhau. Công nghệ học sâu thực sự đã mang lại sự thịnh vượng thứ tư cho ngành AI, và làn sóng này cũng đã lan sang ngành công nghiệp tiền điện tử.

Báo cáo này sẽ khám phá chi tiết về lịch sử phát triển của ngành AI, phân loại công nghệ, cũng như tác động của việc phát minh ra công nghệ học sâu đến ngành. Sau đó, sẽ phân tích sâu về chuỗi công nghiệp trong học sâu, bao gồm GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên, và tình hình hiện tại cũng như xu hướng phát triển của chúng. Tiếp theo, báo cáo sẽ thảo luận chi tiết về mối quan hệ giữa tiền điện tử và ngành AI, đồng thời tổng hợp cấu trúc chuỗi công nghiệp AI liên quan đến tiền điện tử.

Lịch sử phát triển của ngành AI

Ngành AI bắt đầu từ những năm 1950, để hiện thực hóa tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau để thực hiện trí tuệ nhân tạo trong bối cảnh các thời đại và nền tảng học thuật khác nhau.

Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", ý tưởng của công nghệ này là cho phép máy móc dựa vào dữ liệu để lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất hệ thống. Các bước chính là gửi dữ liệu vào thuật toán, sử dụng dữ liệu này để huấn luyện mô hình, thử nghiệm triển khai mô hình, và sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.

Hiện nay, học máy có ba trường phái chính, lần lượt là chủ nghĩa kết nối, chủ nghĩa biểu tượng và chủ nghĩa hành vi, lần lượt mô phỏng hệ thần kinh, tư duy và hành vi của con người.

Hiện tại, chủ nghĩa liên kết đại diện cho mạng nơ-ron chiếm ưu thế ( cũng được gọi là học sâu ), lý do chính là cấu trúc này có một lớp đầu vào và một lớp đầu ra, nhưng có nhiều lớp ẩn, một khi số lượng lớp và số lượng nơ-ron ( tham số ) trở nên đủ lớn, sẽ có đủ cơ hội để khớp với các nhiệm vụ phức tạp chung. Thông qua việc nhập dữ liệu, có thể liên tục điều chỉnh các tham số của nơ-ron, cuối cùng trải qua nhiều dữ liệu, nơ-ron đó sẽ đạt được trạng thái tối ưu ( tham số ), điều này cũng được gọi là "cố gắng sẽ có phép màu", cũng như nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.

Lấy một ví dụ, có thể hiểu đơn giản là xây dựng một hàm, hàm này khi chúng ta nhập X=2 thì Y=3; khi X=3 thì Y=5, nếu muốn hàm này áp dụng cho tất cả các X, thì cần phải thêm độ của hàm và các tham số của nó, ví dụ tôi có thể xây dựng hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải xây dựng lại một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để bẻ khóa một cách mạnh mẽ và phát hiện Y = X2 -3X +5, khá phù hợp, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương tự là đủ. Trong đó X2, X và X0 đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của nó.

Trong trường hợp này, nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron, chúng ta có thể tăng số lượng tế bào thần kinh và lặp lại các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.

Công nghệ học sâu dựa trên mạng nơ-ron đã trải qua nhiều lần lặp và tiến hóa khác nhau, bắt đầu từ mạng nơ-ron cổ điển, mạng nơ-ron truyền thẳng, RNN, CNN, GAN và cuối cùng tiến hóa đến các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, thêm vào một bộ chuyển đổi ( Transformer ), dùng để mã hóa dữ liệu từ tất cả các dạng thức ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu diễn. Sau đó, những giá trị này được đưa vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa mô thức.

Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên diễn ra vào những năm 60 của thế kỷ 20, sau mười năm khi công nghệ AI được đề xuất, làn sóng này được gây ra bởi sự phát triển của công nghệ ký hiệu. Công nghệ này giải quyết vấn đề xử lý ngôn ngữ tự nhiên tổng quát cũng như đối thoại giữa người và máy. Cùng thời điểm đó, hệ thống chuyên gia ra đời, đây là hệ thống DENRAL được hoàn thành dưới sự giám sát của Đại học Stanford tại NASA ở Mỹ, hệ thống này có kiến thức hóa học rất mạnh mẽ, thông qua việc đặt câu hỏi để suy diễn và tạo ra câu trả lời giống như một chuyên gia hóa học. Hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa kho kiến thức hóa học và hệ thống suy diễn.

Sau hệ thống chuyên gia, vào những năm 90, nhà khoa học và triết gia người Mỹ gốc Israel Judea Pearl( đã đề xuất mạng Bayes, mạng này cũng được gọi là mạng niềm tin. Cùng thời điểm, Brooks đã đề xuất robot học dựa trên hành vi, đánh dấu sự ra đời của chủ nghĩa hành vi.

Năm 1997, IBM Deep Blue đã đánh bại nhà vô địch cờ vua Garry Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc trong trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.

Cơn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba ông lớn của học sâu là Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đưa ra khái niệm học sâu, một thuật toán dựa trên kiến trúc mạng nơ-ron nhân tạo để học đặc trưng từ dữ liệu. Sau đó, các thuật toán học sâu dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau hình thành nên cơn sóng công nghệ thứ ba, và đây cũng là thời kỳ hoàng kim của chủ nghĩa kết nối.

Nhiều sự kiện biểu tượng cũng xuất hiện dần dần cùng với sự khám phá và tiến bộ của công nghệ học sâu, bao gồm:

• Năm 2011, Watson của IBM ) đã chiến thắng con người và giành chiến thắng trong chương trình quiz "Jeopardy" (.

• Năm 2014, Goodfellow đã đề xuất GAN) Mạng đối kháng sinh, Generative Adversarial Network(, thông qua việc để hai mạng nơ-ron đấu tranh với nhau để học, có khả năng tạo ra những bức ảnh giống thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tựa đề "Deep Learning", được gọi là sách hoa, là một trong những cuốn sách nhập môn quan trọng trong lĩnh vực học sâu.

• Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", phương pháp học sâu này ngay lập tức gây ra phản ứng mạnh mẽ trong giới học thuật cũng như trong ngành công nghiệp.

• Năm 2015, OpenAI được thành lập, Musk, chủ tịch YC Altman, nhà đầu tư thiên thần Peter Thiel ) và những người khác công bố cùng nhau đầu tư 1 tỷ đô la.

• Năm 2016, AlphaGo dựa trên công nghệ học sâu đã thi đấu cờ vây với nhà vô địch thế giới, kỳ thủ chuyên nghiệp 9 đẳng Li Shishi, và chiến thắng với tỷ số tổng là 4-1.

• Năm 2017, công ty công nghệ robot Hanson Robotics của Hồng Kông, Trung Quốc (Hanson Robotics) đã phát triển robot hình người Sophia, được coi là robot đầu tiên trong lịch sử nhận được quyền công dân hạng nhất, với khả năng biểu đạt cảm xúc phong phú và khả năng hiểu ngôn ngữ con người.

• Năm 2017, Google, với nguồn nhân lực và kho tàng công nghệ phong phú trong lĩnh vực trí tuệ nhân tạo, đã phát hành bài báo "Attention is all you need" giới thiệu thuật toán Transformer, các mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.

• Năm 2018, OpenAI đã phát hành GPT( Generative Pre-trained Transformer) được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.

• Năm 2018, nhóm Google Deepmind đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là một dấu hiệu tiến bộ to lớn trong lĩnh vực trí tuệ nhân tạo.

• Năm 2019, OpenAI phát hành GPT-2, mô hình này có 1,5 tỷ tham số.

• Năm 2020, GPT-3 do OpenAI phát triển, có 175 tỷ tham số, cao gấp 100 lần phiên bản trước đó GPT-2, mô hình này sử dụng 570GB văn bản để đào tạo, có thể đạt hiệu suất hàng đầu trong nhiều nhiệm vụ NLP( trả lời câu hỏi, dịch thuật, viết bài).

• Năm 2021, OpenAI phát hành GPT-4, mô hình này có 1.76 triệu tỷ tham số, gấp 10 lần GPT-3.

• Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, và vào tháng 3, ChatGPT đã đạt 100 triệu người dùng, trở thành ứng dụng đạt 100 triệu người dùng nhanh nhất trong lịch sử.

• Năm 2024, OpenAI ra mắt GPT-4 omni.

Lưu ý: Do có rất nhiều tài liệu về trí tuệ nhân tạo, nhiều trường phái khác nhau và sự phát triển công nghệ không giống nhau, do đó ở đây chủ yếu theo lịch sử phát triển của học sâu hoặc chủ nghĩa kết nối, các trường phái và công nghệ khác vẫn đang trong quá trình phát triển nhanh chóng.

Chuỗi công nghiệp học sâu

Các mô hình ngôn ngữ lớn hiện tại đều dựa trên phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một làn sóng nhiệt huyết trong lĩnh vực trí tuệ nhân tạo, hàng loạt người chơi đã đổ vào lĩnh vực này, và chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường đang bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi cung ứng của các thuật toán học sâu. Trong ngành công nghiệp AI do các thuật toán học sâu chi phối, cấu trúc của các bên liên quan ở thượng nguồn và hạ nguồn như thế nào, cũng như tình hình hiện tại, mối quan hệ cung cầu và sự phát triển trong tương lai ra sao.

Đầu tiên, chúng ta cần làm rõ rằng, khi tiến hành đào tạo các mô hình lớn LLMs dựa trên công nghệ Transformer với GPT dẫn đầu (, sẽ có tổng cộng ba bước.

Trước khi đào tạo, vì dựa trên Transformer, nên bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành các giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi ký tự Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng trong định giá GPT.

Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp cho lớp đầu vào một lượng lớn cặp dữ liệu, giống như ví dụ được nêu trong phần báo cáo đầu tiên )X,Y(, để tìm kiếm các tham số tối ưu của từng neuron trong mô hình, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tiêu tốn sức mạnh tính toán nhất, vì phải lặp đi lặp lại cho các neuron thử nghiệm nhiều tham số khác nhau. Sau khi hoàn thành huấn luyện một lô cặp dữ liệu, thông thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lần hai nhằm lặp lại các tham số.

Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu nhỏ nhưng chất lượng rất cao để huấn luyện, sự thay đổi như vậy sẽ giúp đầu ra của mô hình có chất lượng cao hơn, vì việc huấn luyện trước cần một lượng dữ liệu lớn, nhưng nhiều dữ liệu có thể có lỗi hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng mô hình thông qua dữ liệu chất lượng cao.

Bước thứ ba, học tăng cường. Đầu tiên, sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình thưởng", mục đích của mô hình này rất đơn giản, đó là sắp xếp kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì bối cảnh kinh doanh khá chuyên sâu. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy có thể sử dụng một mô hình thưởng để tự động lặp lại các tham số của mô hình lớn. ) nhưng đôi khi cũng cần có sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình (

Nói ngắn gọn, trong quá trình huấn luyện mô hình lớn, việc tiền huấn luyện có yêu cầu rất cao về lượng dữ liệu, và lượng sức mạnh GPU cần tiêu tốn cũng là nhiều nhất, trong khi tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình phần thưởng để xuất ra kết quả chất lượng cao hơn.

Trong quá trình huấn luyện, số lượng tham số càng nhiều thì khả năng tổng quát càng cao, chẳng hạn như trong ví dụ về hàm Y = aX + b, thực tế có hai nơ-ron X và X0, vì vậy cách mà các tham số thay đổi, dữ liệu mà nó có thể khớp rất hạn chế, bởi vì bản chất của nó vẫn là một đường thẳng. Nếu số lượng nơ-ron càng nhiều, thì có thể lặp lại nhiều tham số hơn, từ đó có thể khớp nhiều dữ liệu hơn, đây là lý do tại sao các mô hình lớn lại mang lại kết quả đáng kinh ngạc, và đây cũng là lý do tại sao được gọi là mô hình lớn, bản chất là một khối lượng lớn nơ-ron và tham số, cùng với một khối lượng lớn dữ liệu, đồng thời cần một khối lượng lớn sức mạnh tính toán.

Do đó, hiệu suất của mô hình lớn chủ yếu được quyết định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán, ba yếu tố này cùng nhau ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Chúng ta giả sử số lượng tham số là p, khối lượng dữ liệu là n) được tính bằng số lượng Token(, thì chúng ta có thể tính toán lượng tính toán cần thiết bằng quy tắc kinh nghiệm chung.