ОбщийAIтонкая настройка моделибаза знанийКитай

Проект тонкой настройки отраслевой модели для юридической технологической платформы

История проекта

Юридическая технологическая платформа предоставляет онлайн-консультации компаниям и частным лицам, обрабатывая более 3000 запросов в день. Ранее платформа использовала универсальную большую модель для ответов на юридические вопросы, однако из-за высокой специфичности юридической области и обилия терминов точность универсальной модели в сценариях юридического консультирования составляла лишь 71%, а уровень галлюцинаций достигал 28%. Модель часто давала поверхностные или даже ошибочные рекомендации, что серьезно подрывало профессиональный уровень платформы и доверие пользователей. Срочно требовалась собственная модель, действительно разбирающаяся в праве.

Ключевые проблемы

Низкая точность юридических консультаций: точность универсальной модели всего 71% — недостаточно для профессиональных юридических услуг.

Крайне высокий уровень галлюцинаций: 28% ответов содержали вымышленные законы или некорректные ссылки, создавая профессиональный риск.

Слабое понимание юридической терминологии: универсальная модель плохо интерпретировала специальные термины и ссылки на законы.

Высокая стоимость разметки данных: качественные размеченные данные по правовой тематике дефицитны и дороги.

Решение

Тонкая настройка LoRA в юридической области

Проведена тонкая настройка LoRA (Low-Rank Adaptation) модели ChatGLM-6B для юридической сферы с использованием тщательно подготовленного набора из 2000 размеченных вопросов и ответов высокого качества, охватывающего ключевые правовые области: договорные споры, трудовые отношения, интеллектуальную собственность, корпоративное право и другие. После настройки точность модели повысилась с 71% до 95%, а уровень галлюцинаций снизился с 28% до 4%.

Усиление юридическими знаниями

Создана база юридических знаний в качестве дополнения RAG (Retrieval-Augmented Generation), включающая авторитетные источники: законодательство, судебные толкования, типовые кейсы и т.д. При формировании ответа модель автоматически извлекает соответствующие статьи законов и примеры как основу, обеспечивая проверяемость каждого совета и дополнительно повышая достоверность и профессионализм.

Оценка качества и непрерывное улучшение

Внедрена система оценки качества юридических ответов по трём критериям: точность, полнота и соответствие нормам. На основе выявленных проблем постоянно пополняется обучающий набор данных, формируя маховик данных, обеспечивающий постоянное повышение способностей модели.

Данные об эффективности

Показатель	До улучшения	После улучшения	Прирост
Точность юридических консультаций	71%	95%	34%
Уровень галлюцинаций	28%	4%	86%
Корректность ссылок на закон	55%	92%	67%
Удовлетворённость пользователей	62%	91%	47%

Технологический стек

ChatGLM-6B, LoRA-настройка, PEFT, юридическая база знаний, RAG, Python, PyTorch, Hugging Face Transformers

“Тонко настроенная модель действительно разбирается в праве, и юристы начали доверять рекомендациям ИИ. Это наш ключевой шаг от универсальной модели к профессиональной.”