34  LLM pour la recherche documentaire

Ce chapitre se concentre uniquement sur les aspects d’intelligence artficielle générative (IAg) pour le repérage de documents. Donc, les outils de cartographie de l’information basés sur les citations (ResearchRabbit, Inciteful, etc.) sont exclus.

34.1 Cadre général

  • Très souvent, ces outils sont des systèmes complexes constitués de modules opaques («boîtes noires») dont il est très difficile de comprendre le fonctionnement.
    • Selon moi, c’est le problème principal car c’est non-scientifique, non-reproductible, et soumis par nature au bon vouloir de compagnies commerciales.
    • Tous les biais de ces outils sont invisibles.
    • Combiné avec un style assertif ou sycophantique, ce manque de transparence peut peut nous induire à accorder trop de confiance.
  • Le module génératif de ces systèmes :
    • a une capacité de calcul limitée pour traiter de gros volumes d’information.
    • est conçu par nature pour rédiger du texte statistiquement
      • et calculé par « à quoi ressemblerait le meilleur texte après celui celui-ci ? »
  • Ces outils ont une tendance à délester l’utilisateur de prises de décision multiples en se substituant à ses jugements critiques pendant tout le processus de recherche de documentation. Cela peut induire :
    • moins d’apprentissage,
    • moins de posture critique,
    • moins de vérification que la référence existe,
    • moins de vérification que telle information se trouve bien dans la référence annoncée,
    • bref plus de surévaluation des résultats de l’IAg.

34.2 Deux familles d’outils

34.2.1 Outils IAg « généralistes »

  • Exemples : ChatGPT, Copilot, Gemini, Claude.
  • Systèmes d’IA complètement emboîtés dans un module génératif :
    • Même dotés de fonctionnalités de recherche de documents («RAG»), et de fonctionnalités d’encadrement fortes, les modules génératifs produiront toujours des informations inexistantes (références ou synthèses/résumés).
    • Même si une référence existe, l’information «extraite» peut être absente de la référence.
      • En octobre 2025, les références inventées sont plus rares dans ChatGPT et Claude, mais les « hallucinations » se sont déplacées dans les fausses informations extraites.
    • Ces outils peuvent rédiger l’information AVANT (à partir du modèle de langue) puis ENSUITE chercher une référence;

34.2.2 Outils IAg « spécialisés »

  • Exemples : Asta.allen.ai; Consensus.app; Elicit.com; Evidencehunt.com; Getliner.com; Keenious.com; Platform.futurehouse.com; SciSpace.com ; Undermind.ai
  • Systèmes d’IA avec un module de type «moteur de recherche» posé sur un corpus de données et avec des modules qui produisent des synthèses de résultats.
  • Viennent en une ou deux fonctionnalités :
    • Recherche de documents, présentés sous forme de listes de résultats;
    • Production de rapports de synthèse où les résultats sont assemblés dans des paragraphes rédigés.
  • Pas de références inventées mais des « hallucinations » et des biais dans les synthèses.

34.3 À quoi bon ces outils ?

  • Récolter du vocabulaire ou des notions de bases sur un sujet qu’on ne connaît pas.
  • Coder des petits traitements documentaires simples en Python, R, etc. (Claude d’Anthropic est mon favori en ce moment).
  • Explorer de la documentation en se disant que c’est un point de départ, pas un point d’arrivée (comme Google et Wikipédia avant ces outils).

34.4 Mon enjeu en ce moment (septembre 2025)

  • Évaluer quelle est la proportion de texte rédigé qui provient du modèle de langue par rapport à la proportion apportée par les références repérées.
    • Hypothèse : étant donnée les capacités de traitement limité, souvent les systèmes IAg rédigent d’abord le texte puis ils saupoudrent de références en les appariant a posteriori. Notre cerveau mésinterprète les synthèses comme des résumés logiques des références trouvées.
    • Il est rarement possible de faire sa propre sélection de résultats de recherche et de demander une synthèse du tout. Peut être pour qu’on ne discerne pas comment les synthèses sont produites ?
    • Quand une référence repérée est incorporée dans la synthèse, est-ce son résumé seulement ou le texte intégral qui est utilisé ?

34.5 Documents de soutien

34.6 Annexe : Petite liste d’habiletés à ne pas trop déléguer aux machines

  • Habileté à transcrire une demande d’information en mots-clés, à évaluer la qualité de la demande et à reformuler sa stratégie de recherche (on perd en rétroaction avec l’outil et le décryptage du fonctionnement est plus complexe ou plus invisible)
  • Habileté à évaluer les résultats d’une recherche (avec les outils IAg c’est toujours une petite sélection de résultats dont on ne connaît pas les critères)
  • Habileté à prendre la décision de sélectionner un résultat pertinent (les résultats sont présentés et rédigés dans un langage assertif ou d’autorité, où l’outil se substitue au jugement de l’utilisateur).
  • Habileté à se construire une image mentale de l’ensemble de la documentation scientifique sur un sujet et comment la conversation scientifique s’articule entre ceux ceux-ci.
  • Habileté à évaluer et extraire l’information pertinente pour soutenir son argumentation.
  • Habileté à repérer le niveau d’exhaustivité atteint lors d’une recherche d’information