Perso je ne crois pas que ce soit un problème, ou en tous cas pas encore. Les publis que j’ai vu sur le sujet semblent indiquer que les sorties de LLMs produisent des datasets de meilleure qualité que les datasets originaux. Et quand on y pense, ça a du sens: un modèle a été entraîné à produire des “bons” textes à partir d’un peu n’importe quoi. Il y a une certaine logique à ce qu’un premier LLM arrive à faire une version améliorée du premier dataset.

Est ce qu’on peut itérer longtemps comme ça? Pas sur, mais je pense qu’on surestime le problème voire qu’on l’imagine.

quelles sont les mesures prises dans le milieu pour s’assurer une sélection de sources de qualité, ou bien quel est le processus qui permet de sélectionner les résultats pour d’entraîner l’IA ?

Pour ceux qui sont dans la course à la perf et au meilleur benchmark: zéro. Tant que mettre plus de données améliore les résultats, ils font ça. Tout github, tout reddit, tout facebook y passe.

La recherche est en train de montrer que - surprise! - la qualité des données d’entraînement influe grandement sur la qualité du modèle et ça intéresse surtout les groupes avec moins de moyens.

Les chercheurs qui travaillent sur les problèmes d’alignement (d’éthique) s’intéressent à ces questions aussi. Par exemple une discussion intéressante avait lieu à EleutherAI pendant qu’ils assemblaient The Pile: Est ce qu’il faut intégrer toute la librairie du Congrès US? D’un coté c’est intéressant d’avoir des siècles de discussion législative, de l’autre, sur une bonne partie de cette période, on considère que les noirs sont une marchandises et sur la majorité de la période, des citoyens de seconde zone.

Ce qu’il y a d’intéressant c’est que des données pourries, biaisées, racistes, peuvent tout de même aider le modèle à s’améliorer, mais il faut que ce soit fait correctement et il y a là matière à des débats qui relèvent de la politique et de la philosophie appliquées (“Peut-on combattre le racisme en ignorant les thèses racistes?” Vous avez 4 heures)

Et en plus léger, qu’elle est la première fois que tu as entendu parler d’IA ?

Oh ça date! Je lis de la SF depuis que je suis petit, et les robots m’ont toujours fasciné, on m’a rapidement expliqué que le software était le plus gros facteur limitant, du coup l’IA devient le problème à résoudre rapidement. Je pense pas avoir eu plus de 12 ans quand on a commencé à en discuter.

Je m’y suis essayé. J’aime bien écrire, mais assez rapidement, écrire de la SF me frustre: penser aux possibilités de la techno me donne envie de les réaliser, pas de fantasmer dessus!

Sur les LLMs et la littérature, j’ai été surpris d’entendre Astier dire un truc qui a mis le doigt sur ce qui me gêne. C’est que la question est pas de savoir si les LLMs peuvent sortir de la bonne littérature, mais de réaliser qu’on lit pour échanger avec un auteur. Alors c’est peut être pas vrai pour tous les lecteurs et tous les livres, mais percevoir l’intention humaine derrière un texte fait en effet partie de l’expérience.

Le problème que j’ai eu quand j’ai essayé des trucs (avec GPT3.5 je pense à l’époque) c’est que les modèles ont du mal à rester cohérents. Tu explores une cave et tu te retrouves sur un balcon, des objets apparaissent ou disparaissent, etc.

C’est pas insurmontable, et perso j’aimerais bien faire des expériences de jeu narratif (où un moteur de jeu classique garantirait la permanence des objets et la cohérence générale) mais je ne vois pas l’intérêt de générer des livres avec des LLMs. Les livres, c’est un medium entre humains. Avec un LLM, je trouve plus intéressant de faire un bot pour discuter avec un personnage ou interagir profondément avec un univers.

est-ce que t’as des exemples de résultats qui t’ont impressionné dans ce domaine ?

J’ai un pote qui bosse dans le domaine et avec qui on partage un gout pour le heavy metal. À peu près au moment où GPT-3 sortait, il m’a envoyé des paroles de chanson générées, dont une en particulier qui m’a bluffée. “Beacon of the Valkyries”, qui décrit l’ambiance d’un lieu avant une grande bataille épique. Un thème qui aurait pu être une chanson de Manowar ou Sabaton. Ce qui m’a impressionné c’est que le titre était très bien choisi: il faut comprendre que les Valkyries accompagnent les morts au combat, qu’une bataille va en créer, qu’elles volent, qu’une balise peut donc les guider, que le titre est évocateur.

Depuis beaucoup de gens ont fait des expériences similaires mais à l’époque j’ai cherché un moment sur internet pour vérifier si cette expression n’existait pas déjà quelque part tellement je ne pouvais y croire. Ça m’a convaincu que même une “bête” prédiction de texte pouvait faire émerger une forme de compréhension des concepts.

Sur les réseaux de neurone, petite anecdote en guise d’introduction. En école d’ingé, on avait des cours intéressants… et d’autres moins. En maths, pas mal de choses assez abstraites avaient du mal à m’intéresser. Dans un TD de stats où le prof a décidé de faire des calcules de proba sous forme matricielle, je m’endormais à moitié au milieu de ce qui me semblait être de la branlette intellectuelle et à un moment le prof conclue “Et voila! Ce que vous venez de faire est l’équivalent d’une phase d’apprentissage sur un réseau de neurones!” Heing?

Le réseau de neurones est une façon de présenter les choses au public, c’est une archi simple à comprendre par laquelle on commence en général mais plein d’architecture n’obéissent pas à ce paradigme.

La chose universelle dans le deep-learning c’est la descente de gradient. Pour expliquer rapidement l’idée est de voir ton modèle comme une fonction avec des entrées et des sorties. Exemple simple: le problème MNIST: je te donne une image de 24x24 (784) pixels qui représente un chiffre et le programme sort 10 probabilités: celle que le nombre soit un 0, ou un 1, ou un 2, etc.

Quand tu essayes de le résoudre, tu crées une fonction qui tente de résoudre ce problème en sortant les bonnes probas. Le deep learning c’est de créer une fonction avec plein de paramètres, impossibles à régler à la main, mais qui sachent se modifier automatiquement en fonction de l’erreur en sortie. Si tu as classifié un “5” en tant que “3” à 80% mais en tant que “5” à 75%, il s’agit de trouver les changements de paramètres qui permettent de changer ces sorties. Le truc est de faire une fonction qui soit dérivable de façon continue en fonction de tous ces paramètres.

Un réseau de neurone est une façon générique et souvent efficace de faire ça, mais il en existe d’autres. On peut arguer que VAE et mécanismes d’attention (partie cruciale des Transformers, le “T” dans GPT) ne sont pas des réseaux de neurone.

niveau hardware, est il possible d’imaginer que l’IA créé et optimise son propre système comme elle le fait pour ses algorithmes ?

Pas besoin d’imaginer. Google fait ça en software via AutoML et Nvidia a entrainé des modèles pour la conception de hardware.

Après il faut comprendre un truc: un modèle de langage moderne, c’est 2000 lignes de C. C’est rien, c’est tout petit comme programme. On a une assez bonne idée du hardware qui permet de bien optimiser les quelques opérations qui prennent du temps.

sur un ordinateur quantique, quel serait les changements ? Ya des changement de logique ?

Aucune idée! Je m’y connais beaucoup plus en LLM qu’en ordi quantique et j’ai pas envie de dire de bêtises. Si ça fonctionne un jour, les ordis quantiques boosteront clairement des algos aujourd’hui considérés trop couteux, ça va forcément aider en IA, mais je ne sais pas via quels algos.

Est ce que une IA/LLM peut etre créative ou est ce un set de probabilité ?

Est ce que la créativité est autre chose qu’un peu de hasard filtré par les expériences d’un artiste? C’est assez philosophique comme question et même les grands noms de l’IA se disputent sur ces questions. Un LLM est clairement une machine statistique qui répète des motifs, mais qui est capable de le faire à un niveau d’abstraction élevé, ce qui est (était?) considéré comme une marque d’intelligence. Se rendre compte que la cause précède l’effet est considéré comme une remarquable découverte philosophique mais n’est “que” l’observation d’un pattern à un niveau abstrait.

Peut elle générer ses propres prompts/envie ?

Par rapport aux IAs de science fiction, les LLMs actuels n’ont pas de volonté, de personnalité, (j’appelle cette partie manquante “anima”, j’ai vu ça quelque part mais on dirait que seul moi utilise ce mot). On peut leur en donner, mais ça va toujours nous sembler artificiel. Il est tout à fait possible de faire jouer un rôle à un LLM et de régulièrement lui demande ce qu’il veut faire.

Nous (les devs de solutions d’IA) on a un mandat simple: que l’IA soit controllable, prédictible, qu’elle fasse ce qu’on lui demande.

Certains pensent qu’on doit faire des systèmes qui refuseront d’obéir à certaines choses, qu’elles corrigeront les biais humains automatiquement. Je suis en désaccord (soft, on peut en discuter). Si tu demandes à une IA de reproduire un système injuste, elle le fera. Mais si tu lui dis “reproduis ce système mais en en retirant le biais sexiste et raciste” elle le fera. Il faut juste reconnaître et accepter ce besoin.

Pour la déshumanisation par les algorithmes, le problème est humain, pas technique. Cette BD l’exprime mieux que moi: https://grisebouille.net/panique-algorithmique/

Ce qui manque souvent aux universitaire c’est la pratique. Bosser dans le domaine, c’est à 95% de la plomberie, et à 5% de la théorie. Apprend à utiliser les outils, git, jupyter, pip, vLLM (si c’est de LLMs dont tu parles), docker, pandas, numpy, les différents packages spécialisés, etc. (et je ne mentionne pas les libs bas niveau d’optimisation, si c’est ton sujet y en a pas mal aussi mais je connais moins)

Perso j’ai un biais pro-maths et pro-théorie: je trouve ça important de comprendre ce que le modèle fait pour l’utiliser bien mais plein de gens bossent dedans sans trop savoir. Mais ça aide de façon invisible. Exemple: Je me doutais qu’un LLM devenait plus intelligent si tu lui donnais une consignes, et que tu le forces à générer une centaine de symboles inutiles avant de commencer à te répondre. Ça choque même des gens du domaine, mais si t’as compris ce que les chain-of-thought provoquent tout est logique.

Je discutais avec une équipe internationale à Penang d’un truc qui m’intriguait: même en Asie je trouvais plein de francophones dans le domaine. Un Malaisien m’a dit “vous avez une meilleure culture mathématique, ça aide” et c’est peut être un peu prétentieux de le dire, mais j’ai l’impression que c’est vrai. On fait plus de théorie, ça nous aide dans des niches moins maitrisées par les devs capables de vite sauter d’une lib à l’autre sans savoir ce qu’elles font.