Contexte du projet
Une plateforme LegalTech propose des conseils juridiques en ligne aux entreprises et aux particuliers, avec un volume quotidien de plus de 3 000 consultations. Elle utilisait auparavant un grand modèle généraliste pour répondre aux questions juridiques. Cependant, le domaine juridique est très spécialisé et riche en terminologie. La précision du modèle généraliste dans ce contexte n’était que de 71 % et le taux d’hallucination atteignait 28 %, produisant souvent des réponses ambiguës, voire erronées. Cela nuisait gravement au professionnalisme de la plateforme et à la confiance des utilisateurs. La plateforme avait donc un besoin urgent d’un modèle véritablement expert en droit.
Problématiques principales
Solution
Fine-tuning LoRA pour le domaine juridique
Un fine-tuning de type LoRA (Low-Rank Adaptation) a été réalisé sur le modèle ChatGLM-6B, à l’aide de 2 000 paires questions-réponses juridiques rigoureusement annotées, couvrant des domaines clés comme les litiges contractuels, les conflits du travail, la propriété intellectuelle et le droit des sociétés. Après fine-tuning, la précision du modèle est passée de 71 % à 95 % et le taux d’hallucination de 28 % à 4 %.
Enrichissement par les connaissances juridiques
Une base de connaissances juridiques a été constituée comme complément RAG, intégrant des textes de loi, des interprétations judiciaires et des jurisprudences de référence. Lorsqu’il répond, le modèle recherche automatiquement les articles de loi et les cas pertinents pour étayer ses conseils, garantissant ainsi que chaque réponse repose sur une base juridique vérifiable, ce qui renforce la crédibilité et le professionnalisme.
Évaluation de la qualité et amélioration continue
Un système d’évaluation de la qualité des réponses juridiques a été mis en place, mesurant automatiquement chaque réponse selon trois axes : exactitude, exhaustivité et conformité. Les problèmes détectés alimentent un cycle d’amélioration continue des données d’entraînement (data flywheel), assurant un progrès constant des performances du modèle.
Données de résultats
| Indicateur | Avant | Après | Amélioration |
|---|---|---|---|
| Précision des conseils juridiques | 71 % | 95 % | 34 % |
| Taux d’hallucination | 28 % | 4 % | 86 % |
| Taux de citation correcte des lois | 55 % | 92 % | 67 % |
| Satisfaction utilisateur | 62 % | 91 % | 47 % |
Stack technique
ChatGLM-6B, fine-tuning LoRA, PEFT, base de connaissances juridiques, RAG, Python, PyTorch, Hugging Face Transformers
