Talk về AI, Transformer giữa Dr. Quoc Le và Dr. Christopher Nguyen tại AISC25 ngày 13/3/2025 tại HN.
Tóm tắt ngắn:
- Buổi nói chuyện giữa Tiến sĩ Quoc Le và Tiến sĩ Christopher Nguyen tại AISC25 ngày 13/3/2025 tại Hà Nội tập trung vào chủ đề trí tuệ nhân tạo (AI) và mô hình Transformer.
- Các điểm chính bao gồm hành trình nghiên cứu của Tiến sĩ Quoc Le, từ phương pháp Kernel đến mạng nơ-ron, sự phát triển của mô hình sequence-to-sequence và Transformer, cũng như tầm nhìn về tương lai của AI. Các công nghệ cụ thể được đề cập đến như mô hình sequence-to-sequence, Transformer, Gemini, BERT, và Lambda. Ví dụ về ứng dụng được nhắc đến là dịch máy, hiểu ngôn ngữ tự nhiên, và tạo văn bản.
- Ứng dụng của AI và Transformer rất rộng lớn, bao gồm dịch máy, hiểu ngôn ngữ tự nhiên, tạo nội dung, và tiềm năng giải quyết các vấn đề phức tạp như phát triển thuốc và vắc-xin. Tuy nhiên, cũng có những thách thức như hiện tượng "hallucination" (ảo giác) cần được giải quyết.
- Quá trình phát triển mô hình sequence-to-sequence và Transformer được mô tả chi tiết, nhấn mạnh vai trò của việc học end-to-end và tính song song trong xử lý thông tin.
Tóm tắt chi tiết:
Buổi nói chuyện được chia thành các phần chính sau:
Phần 1: Hành trình nghiên cứu của Tiến sĩ Quoc Le: Phần này bắt đầu bằng câu chuyện tuổi thơ của Tiến sĩ Le, thiếu thốn về công nghệ nhưng lại khơi dậy sự tò mò về những công nghệ biến đổi cuộc sống. Ông chia sẻ động lực nghiên cứu AI xuất phát từ sự ngưỡng mộ trí thông minh của con người, thể hiện qua việc chinh phục mặt trăng. Ông nhấn mạnh tầm quan trọng của việc "giải mã trí tuệ" để phát triển công nghệ không giới hạn, ví dụ như phát triển thuốc chữa ung thư hay vắc-xin mới. Ông cũng kể về hành trình học tập tại Úc, nơi ông chuyển hướng nghiên cứu từ phương pháp Kernel sang mạng nơ-ron, dù điều này bị nhiều người phản đối. Câu nói "mỗi thành công qua đêm đều cần 10 năm" được nhắc đến để minh họa cho quá trình nghiên cứu lâu dài và không hề dễ dàng.
Phần 2: Sự phát triển của mạng nơ-ron và mô hình sequence-to-sequence: Tiến sĩ Le giải thích lý do ông chuyển sang mạng nơ-ron, dựa trên sự quan sát về khả năng học tập linh hoạt của não bộ. Ông chia sẻ về sự khó khăn ban đầu khi lựa chọn hướng nghiên cứu này, nhưng vẫn kiên định với niềm tin của mình. Ông đề cập đến ảnh hưởng của các nhà nghiên cứu như Geoffrey Hinton và Andrew Ng. Phần này cũng bao gồm câu chuyện về dự án "mèo" nổi tiếng năm 2012, nhấn mạnh rằng mục tiêu ban đầu không phải là nhận dạng mèo mà là tìm kiếm các tế bào thần kinh trừu tượng ("grandmother neuron"). Sự kiện này được báo chí chú ý và trở thành một bước ngoặt trong sự nghiệp của ông.
Phần 3: Quyết định ở lại Google và phát triển Gemini: Tiến sĩ Le chia sẻ về quyết định khó khăn khi từ chối lời mời làm giáo sư tại CMU để ở lại Google. Ông cho rằng tầm nhìn của Google về việc trở thành một công ty AI và tiềm năng phát triển quy mô lớn của Google đã thuyết phục ông. Ông nhấn mạnh tầm quan trọng của việc "phát triển quy mô" trong nghiên cứu AI.
Phần 4: Sequence-to-sequence, Transformer và tương lai của AI: Phần này tập trung vào giải thưởng "Test of Time" cho bài báo về mô hình sequence-to-sequence. Ông giải thích quá trình phát triển từ mô hình này đến Transformer, nhấn mạnh vai trò của sự song song trong xử lý thông tin. Ông cũng đề cập đến các dự án nội bộ tại Google như BERT và Lambda, nhấn mạnh tầm quan trọng của mô hình "decoder-only" và tiềm năng của mô hình sinh văn bản. Cuối cùng, ông thảo luận về tương lai của kiến trúc Transformer, nhấn mạnh sự cần thiết của việc cải thiện khả năng lập luận và giải quyết vấn đề "hallucination". Ông cho rằng việc huấn luyện mô hình sẽ gặp nhiều thách thức hơn trong tương lai, do khó khăn trong việc thu thập dữ liệu cho các nhiệm vụ phức tạp. Ông cũng đề cập đến các hướng nghiên cứu mới như mô hình bộ nhớ, mô hình mosaic, và vai trò của "hàm điều hành" (executive function) trong trí tuệ nhân tạo.