1er avril
Aujourd’hui, je viens de donner le 4e atelier du séminaire PLU6058 qui contient une partie sur l’évaluation des sources. Hasard du calendrier, nous étions le 1er avril, la fête des tromperies… et donc aussi la fête de l’esprit critique.
Traditionnellement, ma présentation se base sur le Foutaisomètre (10 ans déjà) et sur trois groupes de questions critiques : les questions sur l’auteur, celles sur l’éditeur et celles sur le contenu.
Le modèle SIFT, mieux adapté pour les fausses nouvelles ou la mauvaise science relayée par les médias, est en cours d’adaptation pour améliorer l’approche critique (à suivre).
Wikipédia
L’atelier se termine en analysant une page Wikipédia avec ces trois questions : y a-t-il une dimension d’auteur (quasi non) ? Y a-t-il une dimension d’éditeur (non) ? Et y a-t-il une dimension de contenu (oui, mais avec des bémols qu’on liste) ?
Bref, j’en conclus qu’à partir de ces critères, cela explique pourquoi ce n’est pas la peine de citer Wikipédia dans ses travaux. Comme le dit William Marx, on devrait considérer Wikipédia comme une bibliothéque.
« Wikipédia fonctionne plus comme une bibliothèque en vérité que comme une encyclopédie à l’ancienne. » (Les Bibliothèques invisibles, William Marx, 2020, 00:43:00)
Wikipédia ou une bibliothèque doivent nous conduire vers d’autres documents. Il ne faut pas s’y arrêter. Au contraire, elles doivent nous lancer au dehors d’elles, vers le monde.
LLM
On pourrait appliquer le même cadre de pensée pour un LLM. Ici, on peut définir un LLM au sens large : un modèle de langue, ou un outil de clavardage généraliste comme comme Claude, ChatGPT, Gemini ou Copilot, ou encore un outil IAg spécialisé comme Consensus, LeapSpace ou Undermind.
En effet, selon moi, le principal problème de ces outils est le même que pour Wikipédia : il ne faut pas s’y arrêter. Du coup, pendant l’atelier, j’ai improvisé qu’on pouvait considérer un LLM comme un bar ou un pub.
Certes, un bar c’est bruyant ou confus et on y entend des choses absurdes. Mais on peut aussi y entendre des choses qui nous font réfléchir, ou échanger et recevoir des bonnes idées. C’est un endroit plaisant car il y a de l’intéraction, des conversations, peu de sérieux.
Mais le plus important c’est qu’… il faut en sortir à un moment donné et changer sa manière de travailler. Car si on y reste :
on prend le risque de penser en milieu clos, fermé, et donc non pertinent pour la démarche scientifique;
on est prisonier de nos échanges et de nos compétences limités (la fameuse bulle);
on ne voit pas les biais ou les limites de ce qu’on a trouvé;
on ne repère pas que ce n’est pas suffisant. On a besoin d’en sortir pour suivre des pistes, pour savoir si on n’a suffisament fait le tour d’un sujet, pour se confronter au monde extérieur complexe et sa réalité nuancée.
« Ce qu’on ne sait pas qu’on ne sait pas »
Wikipédia (bibliothèque) et LLMs (bars) souffrent ainsi selon moi des mêmes problèmes.
Le problème le plus simple est la vérification. Mais le vrai problème profond est ce que j’appelle le syndrome du « pont de La Joconde » (voir ci-dessous) qui consiste à passer à côté de l’essentiel parce qu’ « on ne sait pas l’étendue de tout ce qu’on ne sait pas » (un vieux problème de philosophie parfois appellé « inconnu inconnu »). C’est un problème très courant pour les étudiant.es qui commencent à étudier un sujet qu’ils ne maîtrisent pas.
Le « syndrome du pont de La Joconde » ?
Dans mes formations, je présente le principal problème de Wikipédia, le problème de « l’inconnu inconnu » avec l’illustration ci-dessous. Je dis « Imaginez que vous devez étudier un sujet et que la page Wikipédia ne traite et présente le sujet qu’avec ceci : »
… on ne sait même pas qu’on est passé à côté de l’essentiel du sujet.
C’est un problème majeur avec Wikipédia si l’étudiant ne suit pas les liens vers les sources pour aller plus loin. Selon moi, ce problème est accentué avec les LLMs car ces derniers sont conçus pour maximiser l’engagement et donc pour qu’on « reste dans le bar ».
Bar bar ?
Notons que de grandes découvertes ont commencé dans des bars. Dans la culture populaire, le film A Beautiful Mind nous raconte comment John Nash élabore sa théorie des jeux autour d’une bière et d’une blonde dans un pub de Princeton.
Encore plus convaincante est l’étude « Bar Talk » de Michael Andrew (2019). Il a comparé le nombre de brevets déposés dans les comtés qui sont devenus “secs” (interdiction de l’alcool) par rapport à ceux restés “humides” pendant l’époque de la Prohibition aux États-Unis. Résultat : Dans les comtés ayant interdit les bars, le nombre de brevets a chuté de 15 %. En effet, ce n’est pas l’alcool lui-même qui boostait l’innovation, mais le lieu de rencontre. En fermant les bars, on a détruit les réseaux sociaux informels où les idées s’échangent librement entre personnes de disciplines différentes. On trouve aussi cette idée de « tiers lieu » qui favorise l’innovation avec le sociologue américain Ray Oldenburg (The Great Good Place, 1989).