A titre d'exemple, voici un billet dans Reddit sur le problème des LLM pour citer efficacement ses sources que j'ai structuré pour le publier sur mon blog.
J'ai passé mon temps de développement à empêcher un LLM de citer les sources incorrectement. Voici les 6 modes d'échec que j'ai trouvés
BUT construit un assistant de recherche en IA pour une entreprise de conformité
J'ai construit un assistant de recherche en IA pour une entreprise de conformité allemande et le pipeline de récupération a pris peut-être 30 % du temps de développement total. Les 70 % restants ont été consacrés à lutter contre le LLM pour qu'il cite correctement les sources.
Les avocats ont un standard très spécifique pour la citation. Vous ne dites pas "conformément aux directives légales." Vous dites "conformément à l'article 32(1)(a) DSGVO tel qu'interprété par la EuGH dans C-300/21." Si le système ne peut pas faire ça, il est inutile car aucun avocat ne va faire confiance à une réponse qu'il ne peut pas vérifier.
Voici chaque mode d'échec de citation que j'ai rencontré et comment j'ai traité chacun.
Échec 1 Citations de catégories vagues
Citations de catégories vagues. Le LLM écrivait des choses comme "laut professioneller Fachliteratur" (selon la littérature professionnelle) au lieu de nommer le document spécifique. Il citait essentiellement l'étiquette de métadonnées plutôt que la source. Fixe : instruction explicite dans l'invite disant "NE JAMAIS paraphraser le nom de la catégorie comme référence de source" avec des exemples spécifiques de ce qu'il ne faut pas faire.
Échec 2 aucun sens
Étiquettes de catégories internes fuyant dans la sortie. Le LLM écrivait "(Kategorie: Hauptgerichtsentscheidung)" comme une citation en ligne. Cela n'a aucun sens pour l'utilisateur final. Fixe : instruction dans l'invite disant "NE JAMAIS utiliser (Kategorie: ...) comme citation en ligne" et exigeant le titre du document réel ou le nom de la cour à la place.
Échec 3 Attribution d'autorité incorrecte.
Attribution d'autorité incorrecte. Une constatation d'un document de haute cour serait attribuée à une cour inférieure, ou vice versa. Cela est dangereux dans le travail légal car le niveau d'autorité de la cour compte énormément. Fixe : instruction dans l'invite exigeant que le LLM vérifie dans quelle section de catégorie le document apparaît avant de l'attribuer, avec un exemple spécifique montrant la logique d'attribution correcte.
Échec 4 mélange de citations
Applatissement des positions divergentes. Lorsque une cour supérieure et une cour inférieure ne sont pas d'accord sur la même question juridique, le LLM les synthétisait en une seule position, favorisant généralement celle qui avait un langage plus clair plutôt que le niveau d'autorité supérieur. Fixe : instruction explicite exigeant que les deux positions soient présentées séparément avec leur source et leur niveau d'autorité notés.
Échec 5 hallucinations
Revendications d'absence fausses. Le LLM affirmait avec assurance "les documents ne contiennent aucune information sur X" alors que l'information était en réalité présente dans le contexte mais enfouie sous un langage juridique dense. Fixe : instruction disant "NE PAS prétendre que l'information est absente à moins que vous n'ayez vérifié minutieusement" et suggérant au LLM de dire "les extraits disponibles peuvent ne pas contenir tous les détails" à la place.
Échec 6 Langage trop emphatique
Langage trop emphatique. Le LLM ajoutait des phrases de renforcement comme "ohne jeden Zweifel" (sans aucun doute) ou "ganz klar" (très clairement) aux conclusions juridiques. Les avocats trouvent cela peu professionnel car l'analyse juridique est rarement sans doute. Fixe : instruction de ton exigeant un langage factuel et mesuré, laissant les sources parler d'elles-mêmes.
