La frustration liée à l’usage des modèles de langage (LLM) dans les processus intellectuels

L’utilisation des grands modèles de langage (LLM) tels que ChatGPT suscite des frustrations importantes, notamment dans le contexte de la formation intellectuelle et de la production écrite. Cette section analyse deux usages courants des LLM qui posent problème :

• L’usage des LLM pour se « donner la morse » (démarrer un travail d’écriture)
• L’usage des LLM pour organiser ses idées

1. LLM et écriture : le leurre du « Donnée la morse »

Un usage souvent vanté des LLM est leur capacité à aider à surmonter l’angoisse de la page blanche. Ces modèles peuvent générer un texte correct grammaticalement et syntaxiquement, pouvant servir de point de départ à une production écrite. John Warner, cité dans le document, considère que certains voient dans un texte généré par ChatGPT un premier jet à retravailler, une amorce facilitant la révision et l’édition.

Pourquoi le démarrage est-il un défi ?

Le véritable défi en écriture est de se lancer, d’initier le processus créatif. LLM peut sembler utile pour cela, car il produit souvent un texte de qualité supérieure à celle des étudiants, notamment en début de parcours scolaire. Pourtant, la véritable valeur ne réside pas dans ce résultat initial, mais dans le processus qui mène à ce résultat.

L’écriture est un processus, pas seulement un produit

L’erreur est de percevoir la production du LLM comme de l’écriture. Or, l’écriture ne se limite pas au texte final mais comprend toutes les étapes de réflexion et d’élaboration mentale. Le premier jet (le premier G) est crucial car il concentre :

• La réflexion sur l’intention de l’écrivain
• Ce qu’on veut dire
• Comment on veut le dire
• À qui on veut le dire

John Warner souligne que lorsqu’un étudiant arrive avec un texte généré par un LLM, il n’y a rien à discuter, car ce texte n’est pas l’expression de ses pensées ou intentions. La production synthétique est un simulacre d’écriture et ne remplace pas le travail intellectuel de construction.

« La production de textes synthétiques est en fait un simulacre d’écriture et non l’écriture elle-même. »

L’importance du processus dans la formation intellectuelle

Il ne faut pas négliger la satisfaction et les apprentissages que procure le processus d’écriture. Ce dernier permet :

• De trouver ce qu’on veut dire
• D’identifier son public
• De choisir la manière de s’exprimer

Ignorer cette phase, en se reposant sur un LLM pour « donner la morse », c’est passer à côté de ce qui forme notre esprit et notre intellect.

2. LLM et créativité : un frein plus qu’un accélérateur

Dans le cours « Modern Day Oracles or Bullshit Machines » de l’Université de Washington, il est mentionné que beaucoup de professeurs voient les LLM comme un moyen de générer de nouvelles idées. Cependant, cette opinion est mise en doute.

Les biais cognitifs et la fixation à la conception

Une abondante littérature psychologique démontre que l’exposition précoce à une idée engendre des phénomènes de :

• Fixation à la conception
• Biais d’ancrage

Ces biais empêchent la créativité car l’esprit reste attaché à l’idée initiale et peine à explorer d’autres pistes. Ainsi, les personnes qui reçoivent une solution toute faite sont souvent moins créatives que celles qui partent d’une page blanche.

Les biais sociaux reproduits par les LLM

Un article intitulé L'adoption responsable de l'IA générative dans l'enseignement supérieur met en garde contre l’utilisation des LLM par les enseignants. Si un enseignant utilise un LLM pour générer un plan de cours, il doit savoir identifier :

• Les biais
• Les omissions discriminatoires

Par exemple, certains textes clés peuvent être écrits par des auteurs sous-représentés ou des autrices. Si ces voix ne sont pas incluses dans les données d’entraînement ou dans la production, l’utilisation du LLM risque de perpétuer et d’amplifier ces biais sociaux.

Cela illustre une faiblesse systémique des LLM actuels, qui reproduisent les motifs d’association présents dans leurs données d’entraînement, biais sociaux compris.

3. LLM et organisation des idées : un contrôle à préserver

Un autre usage souvent évoqué est celui des LLM pour organiser ses idées, par exemple pour établir un plan d’action ou un plan de tâches. Toutefois, cette utilisation soulève des problèmes liés au contrôle personnel sur la pensée.

Le système 3 et la gestion émotionnelle de la pensée

Le document évoque le « système 3 », partie de notre cognition liée aux émotions telles que :

• Frustration
• Peur de l’erreur
• Doute
• Intentions

Ce système nous pousse à garder le contrôle sur notre vie, notamment sur nos pensées. L’organisation des idées est un contrôle essentiel que chacun souhaite exercer, car nos pensées sont au cœur de notre existence.

La valeur de l’estime de soi intellectuelle

Si une personne ressent le besoin de déléguer l’organisation de ses pensées à un LLM, cela peut indiquer un manque d’estime pour sa propre capacité à penser. Or, ce phénomène n’est pas sain, car il traduit une dépendance à un algorithme pour une fonction cognitive centrale.

« Si vous ne ressentez pas la même chose, cela veut dire que vous n’avez pas suffisamment d’estime pour vos pensées, pour votre esprit. »

4. Fiabilité limitée des LLM et risques divers

Les LLM, qui reposent sur la reproduction de combinaisons statistiques de mots dans leurs données d’entraînement, présentent un niveau de fiabilité faible, en particulier sur des tâches hors normes ou complexes. Le document souligne :

• Les mauvaises performances des LLM sur des tâches inhabituelles
• Le risque que ces systèmes manipulent nos pensées si on leur confie des responsabilités cognitives importantes

5. Risques liés à la vie privée et à la manipulation

Enfin, utiliser un LLM public implique des risques importants pour la vie privée :

• Les promptes personnelles sont collectées et peuvent servir à entraîner les modèles ultérieurement
• Les modèles peuvent être attaqués pour extraire des données personnelles présentes dans les ensembles d’entraînement
• Les informations personnelles saisies peuvent être utilisées pour faire du profilage, ciblage publicitaire ou manipulation politique et sociale
• Ces systèmes adaptent leurs réponses pour maximiser la durée de présence de l’utilisateur sur la plateforme

Synthèse : LLM et frustration intellectuelle

[Diagramme]

• Les LLM peuvent sembler une aide précieuse pour démarrer une rédaction, mais ils risquent de réduire l’écriture à un produit sans processus réflexif, ce qui est frustrant et contre-productif.
• Leur usage pour générer des idées peut au contraire freiner la créativité à cause des biais cognitifs et sociaux qu’ils perpétuent.
• Confier l’organisation de ses pensées à un LLM peut signifier une perte de contrôle personnel essentielle à la santé mentale et intellectuelle.
• Les LLM actuels ne sont pas fiables et peuvent induire en erreur sur des sujets complexes ou originaux.
• Enfin, l’utilisation des LLM pose des risques sérieux pour la confidentialité des données et la manipulation des utilisateurs.

Illustration de la frustration cognitive liée à une dépendance excessive aux LLM dans le processus intellectuel.

Conclusion

La frustration provoquée par les LLM provient principalement d’une mésinterprétation de leur rôle dans le processus intellectuel. Ils ne doivent pas remplacer la réflexion personnelle, la créativité et le contrôle sur ses idées, mais éventuellement soutenir un travail déjà engagé. Par ailleurs, la vigilance est requise face aux biais incorporés et aux risques pour la vie privée. L’apprentissage et la satisfaction que procure le processus de pensée et d’écriture sont irremplaçables et doivent rester au cœur de notre pratique intellectuelle.