1er avril
Aujourd’hui, je viens de donner le 4e atelier du séminaire PLU6058 qui contient une partie sur l’évaluation des sources. Hasard du calendrier, nous étions le 1er avril, la fête des tromperies… et donc aussi la fête de l’esprit critique.
Depuis longtemps, ma présentation se base sur le Foutaisomètre (10 ans déjà) et sur trois groupes de questions critiques : les questions sur l’auteur, celles sur l’éditeur et celles sur le contenu. Bientôt, je l’organiserai autour du modèle SIFT.
Wikipédia
L’atelier se terminait en analysant une page Wikipédia avec ces trois questions :
Y a-t-il une dimension d’auteur (quasi non) ?
Y a-t-il une dimension d’éditeur (non) ?
Et y a-t-il une dimension de contenu (oui, mais avec des bémols qu’on listait) ?
Bref, j’en concluais qu’à partir de ces critères, cela expliquait pourquoi ce n’était pas la peine de citer Wikipédia dans ses travaux. En effet, comme le disait William Marx, on devrait considérer Wikipédia comme une bibliothèque.
« Wikipédia fonctionne plus comme une bibliothèque en vérité que comme une encyclopédie à l’ancienne. » (Les Bibliothèques invisibles, William Marx, 2020, 00:43:00)
Wikipédia ou une bibliothèque doivent nous conduire vers d’autres documents. Il ne faut pas s’y arrêter. Au contraire, elles doivent nous lancer au dehors d’elles, vers le monde.
LLM
On pourrait appliquer le même cadre de pensée pour un LLM. Ici, on peut définir un LLM au sens large : un modèle de langue, ou un outil de clavardage généraliste comme comme Claude, ChatGPT, Gemini ou Copilot, ou encore un outil IAg spécialisé comme Consensus, LeapSpace ou Undermind.
En effet, selon moi, le principal problème de ces outils est le même que pour Wikipédia : il ne faut pas s’y arrêter. Du coup, pendant l’atelier, j’ai improvisé qu’on pouvait considérer un LLM comme un bar ou un pub.
Certes, un bar c’est bruyant ou confus et on y entend des choses absurdes. Mais on peut aussi y entendre des choses qui nous font réfléchir, ou échanger et recevoir des bonnes idées. C’est un endroit plaisant car il y a de l’intéraction, des conversations, peu de sérieux.
Mais le plus important c’est qu’… il faut en sortir et changer sa manière de travailler. Car si on y reste :
on prend le risque de penser en milieu clos, fermé, et donc non pertinent pour la démarche scientifique;
on est prisonier de nos échanges et de nos compétences limités (la fameuse bulle);
on ne voit pas les biais ou les limites de ce qu’on a trouvé;
on ne repère pas que ce n’est pas suffisant. On a besoin d’en sortir pour suivre des pistes, pour savoir si on n’a suffisament fait le tour d’un sujet, pour se confronter au monde extérieur complexe et sa réalité nuancée.
« Ce qu’on ne sait pas qu’on ne sait pas »
Wikipédia (bibliothèque) et LLMs (bars) souffrent ainsi selon moi des mêmes problèmes.
Le problème le plus simple est la vérification. Mais le vrai problème profond est ce que j’appelle le syndrome du « pont de La Joconde » (voir ci-dessous) qui consiste à passer à côté de l’essentiel parce qu’ « on ne sait pas l’étendue de tout ce qu’on ne sait pas ». C’est un vieux problème de philosophie parfois appellé « inconnu inconnu ». C’est aussi un problème très courant pour les étudiant.es qui commencent à étudier un sujet qu’ils ne maîtrisent pas.
Le « syndrome du pont de La Joconde » ?
Dans mes formations, je dis que le principal problème de Wikipédia, c’est le problème de « l’inconnu inconnu » avec l’illustration ci-dessous. Je dis « Imaginez que vous devez étudier un sujet et que la page Wikipédia ne traite et présente le sujet qu’avec ceci : »
… on ne sait même pas qu’on est passé à côté de l’essentiel du sujet.
C’est un problème majeur avec Wikipédia lorsque l’étudiant.e ne suit pas les liens vers les sources pour aller plus loin.
Selon moi, ce problème est accentué avec les LLMs car ces derniers sont conçus pour maximiser l’engagement et donc pour qu’on « reste dans le bar ».
Bar bar ?
Notons que de grandes découvertes ont commencé dans des bars. Dans la culture populaire, le film A Beautiful Mind nous raconte comment John Nash élabore sa théorie des jeux autour d’une bière et d’une blonde dans un pub de Princeton.
Encore plus convaincante est l’étude « Bar Talk » de Michael Andrew (2019). Il a comparé le nombre de brevets déposés dans les comtés qui sont devenus “secs” (interdiction de l’alcool) par rapport à ceux restés “humides” pendant l’époque de la Prohibition aux États-Unis. Résultat : Dans les comtés ayant interdit les bars, le nombre de brevets a chuté de 15 %. En effet, ce n’est pas l’alcool lui-même qui boostait l’innovation, mais le lieu de rencontre. En fermant les bars, on a détruit les réseaux sociaux informels où les idées s’échangent librement entre personnes de disciplines différentes. On trouve aussi cette idée de « tiers lieu » qui favorise l’innovation avec le sociologue américain Ray Oldenburg (The Great Good Place, 1989).