François Fleuret — L'IA va révolutionner l'éducation | Comptoir IA #96

Nicolas GuyonÉpisode numéro 91 du podcast Comptoir IA, premier épisode de la rentrée. Nous sommes le mardi 27 août 2024 et j'ai le plaisir de recevoir François Fleuret. François est professeur à l'Université de Genève, à l'EPFL, tu travailles sur l'IA, le machine learning depuis 1994. Je t'ai découvert sur Twitter, sur X, et aussi grâce au Little Book of Deep Learning.

François FleuretC'est un plaisir.

François FleuretIl y a un alignement d'étoiles parce que les modèles de langage sont génériques et offrent une interface beaucoup plus naturelle et agréable. Il n'y avait aucun outil d'IA qui était aussi générique. C'est une combinaison de plein de choses : les énormes bases d'apprentissage, la techno qui marche de manière surprenante très bien, et le fait que le texte est un moyen universel de poser des questions.

François FleuretJ'ai écrit ce livre pour expliquer le deep learning de manière concise, accessible aux personnes ayant un bon niveau en STEM. L'objectif était de rendre le contenu accessible sans trop entrer dans les détails mathématiques purs.

Nicolas GuyonLa structure et le contenu du livre sont remarquables. C'est un énorme succès.

François FleuretLes modèles de langage prédisent le prochain mot dans une séquence. Les transformers, introduits en 2017 avec 'Attention Is All You Need', permettent à chaque élément d'une séquence de se référer à tous les autres, ce qui améliore considérablement la cohérence du texte. Les modèles de diffusion, eux, sont utilisés pour les images.

François FleuretLe papier 'Attention Is All You Need' de 2017 a été une révolution technologique dans le traitement du langage. Les transformers permettent à chaque élément d'une séquence de se référer à tous les autres, améliorant la cohérence du texte généré de manière spectaculaire.

François FleuretLes besoins en hardware pour l'entraînement des modèles d'IA sont considérables. Les GPU sont essentiels, et les ressources nécessaires augmentent exponentiellement avec la taille des modèles. C'est un défi majeur pour la démocratisation de la recherche en IA.

François FleuretLes startups comme Ash développent des agents capables d'interagir avec des API pour effectuer des actions concrètes, comme faire des réservations. Ces agents montrent une avancée significative dans l'automatisation des tâches au-delà de la simple génération de texte.

François FleuretLes nouvelles interfaces vocales permettent d'améliorer l'engagement des utilisateurs, en particulier des jeunes. C'est important pour fournir un interlocuteur accessible à un large public et révolutionner l'éducation.

François FleuretYann LeCun a souligné que les LLM ne peuvent pas résoudre des problèmes pour lesquels ils n'ont pas été entraînés. C'est une limitation fondamentale qui pose des questions sur leur capacité d'innovation réelle.

Nicolas GuyonEst-ce que tu as une timeline sur l'AGI ?

François FleuretHonnêtement, je ne sais pas. Les progrès sont rapides et surprenants, mais les défis restent considérables.

Nicolas GuyonUn livre ou un film de science-fiction à nous recommander ?

Nicolas GuyonMerci François pour cet épisode passionnant. Le Little Book of Deep Learning est une lecture incontournable.