Ou pourquoi la super IA nécessitera un autre type de technologie
Passons les longues introductions et allons droit au but : le principal atout des grands modèles de langage (LLM) est que presque tout dans le monde peut, d’une manière ou d’une autre, être décrit par du texte. Et, en même temps, c’est aussi leur plus grande limite.
Le texte est un code universel, une invention géniale de l'esprit humain qui nous permet de décrire presque tout et de conserver cette description pour que d'autres puissent la comprendre. Et ce ne sont pas seulement les humains qui peuvent le comprendre : les machines aussi. À partir de textes uniquement, de grands modèles de langage peuvent interagir avec les personnes et le monde qui les entoure. Décrivez des faits, des objets, des événements ou des phénomènes en mots et en phrases, et le modèle peut les « saisir ». En un sens, on peut construire une « machine intelligente » sans sens, qui perçoit le monde exclusivement à travers le texte.
En revanche, toute description textuelle est par nature approximative. Aussi précis que soit le texte, il ne peut jamais tout saisir parfaitement. Prenons l'exemple d'une pomme. Imaginez décrire sa surface à la loupe : la forme et la taille de chaque grain, de chaque nervure. Imaginez maintenant faire la même chose au microscope. Il faudrait des milliers de mots, et ce, rien que pour la surface, une infime partie de la pomme. En bref, le texte ne peut donner qu'une image partielle d'un objet ou d'un phénomène, trouvant un juste équilibre entre exactitude et concision.
Pour les humains, ce n'est pas un problème majeur. Le texte sert généralement d'indice, et nous complétons le reste grâce à notre expérience et notre imagination. Les machines, en revanche, n'ont aucun ancrage dans la réalité ; aucune expérience directe du monde. Elles n'ont pas de sens pour le percevoir de visu. Par conséquent, la connaissance du monde dont disposent les modèles basés sur la théorie des langages logiques est limitée. Ils manquent tout simplement de détails précis.
De plus, la majeure partie de leur formation initiale et continue repose sur des données internet. Cela signifie qu'une grande partie des informations qu'ils apprennent ne peut être qualifiée de « qualifiée, précise ou détaillée ». Il convient également de noter qu'une part croissante du contenu en ligne est elle-même générée par l'IA.
Si l'on tentait d'entraîner une IA à partir de modèles de langage (LLM) afin que sa compréhension du monde et sa perception de la réalité soient ne serait-ce qu'approximativement comparables à celles d'un humain, il nous faudrait une quantité colossale de texte : des descriptions minutieuses de tout ce qu'une personne peut appréhender en un coup d'œil ou en quelques secondes de manipulation d'un objet. De toute évidence – et l'exemple de la pomme ci-dessus l'illustre parfaitement – cette approche serait extrêmement laborieuse et, au final, une impasse. Elle consommerait des ressources considérables et atteindrait inévitablement ses limites, sans pour autant que le niveau de détail obtenu permette à la machine d'acquérir une compréhension de la réalité comparable à celle d'un humain.
La conclusion est simple : les modèles linéaires peuvent servir à construire divers modèles d’IA spécialisés. Mais ils ne conviennent pas à la création d’une IA générale complète capable d’accomplir toutes les tâches humaines, même à un niveau moyen. Et, bien sûr, ils ne conviennent pas à la création d’une IA générale puissante qui pourrait surpasser les experts humains dans tous les domaines.
En résumé, les modèles linguistiques sont un outil incroyablement polyvalent, construit sur un autre outil polyvalent : le texte. Il existe encore de nombreuses possibilités d'amélioration et d'élargissement de leurs applications. Mais même aujourd'hui, il est clair qu'ils présentent des limitations importantes qui en font une base peu solide pour la création d'une IA générale, et a fortiori d'une IA forte et surhumaine.
Il semble probable que la résolution de ce problème nécessitera un modèle différent, capable d'apprendre par interaction directe avec le monde réel, en utilisant par exemple les sens humains. Cela dit, il est raisonnable de penser que les modèles d'apprentissage automatique (LLM) continueront de jouer un rôle important au sein de ces futurs systèmes.
Le sujet des modèles d'IA avancés est tellement fascinant qu'il mérite une discussion à part entière.
