Зачем боту база знаний, а не «просто ChatGPT»
Типовая история: компания подключает языковую модель к сайту, и бот уверенно отвечает клиентам про условия, которых нет. Модель не знает ваших цен, регламентов и исключений, поэтому «додумывает». Решение — RAG (retrieval-augmented generation): перед ответом система находит в вашей базе знаний подходящие фрагменты и передаёт их модели вместе с вопросом. Модель отвечает по найденному тексту, а не по памяти.
Подход подходит для поддержки клиентов, внутреннего помощника для сотрудников, подбора по каталогу, ответов по договорам и регламентам. Не подходит там, где нужны точные расчёты или действия в учётных системах без проверки: для этого к боту подключают отдельные функции, а не «чтение документов».
Как устроен RAG по шагам
- Сбор источников. Регламенты, FAQ, описания услуг, инструкции, выгрузки из CRM и helpdesk, документы из облачных папок.
- Очистка и нарезка. Текст делится на фрагменты (чанки) по смыслу: раздел, вопрос-ответ, абзац. Слишком мелкие чанки теряют контекст, слишком крупные снижают точность поиска.
- Индексация. Фрагменты превращаются в векторы (эмбеддинги) и сохраняются в векторную базу. Практика показывает, что полезно держать рядом и обычный текстовый поиск: гибридный поиск лучше находит артикулы, номера договоров и редкие термины.
- Поиск при вопросе. Система берёт несколько ближайших фрагментов, при необходимости переранжирует их.
- Генерация ответа. Модель получает вопрос, фрагменты и жёсткую инструкцию: отвечай только по ним, при нехватке данных скажи «не знаю» и предложи оператора.
- Ссылки на источник. В ответе — название документа или раздела. Это повышает доверие и позволяет быстро проверить ответ.
Где RAG-проекты ломаются
| Проблема | Как проявляется | Что делать | |---|---|---| | Устаревшие документы | Бот называет прошлогодние условия | Владелец у каждого документа, дата актуальности, автоматическое переиндексирование | | Противоречия в базе | Два документа дают разные ответы | Один источник правды, приоритет свежей версии | | Плохая нарезка | Ответ обрывается на полуслове, теряется контекст | Резать по заголовкам, добавлять название раздела к каждому чанку | | Нет режима «не знаю» | Бот выдумывает ответ | Порог уверенности поиска и явный отказ с передачей оператору | | Закрытые данные в общем доступе | Бот показывает сотруднику чужое | Права доступа на уровне документов, фильтр до поиска, а не после |
Как оценить качество до запуска
Соберите тестовый набор из 50–100 реальных вопросов из почты, мессенджеров и звонков. Для каждого заранее запишите правильный ответ и документ-источник. Прогоняйте набор после каждого изменения: настроек поиска, промпта, модели, базы. Смотрите на три вещи: нашёл ли поиск нужный фрагмент, ответил ли бот корректно, честно ли отказался там, где ответа в базе нет.
Условный пример расчёта: если в тестовом наборе 80 вопросов и бот корректно ответил на 68, точность 85%. Это число только для вашего набора, и оно не переносится на другие компании. Важнее динамика: после правок цифра должна расти, а список провальных вопросов — сокращаться.
Безопасность и данные
- Решите, какие данные можно отправлять во внешнюю модель, а какие нельзя. Персональные данные, коммерческая тайна и договоры — отдельный вопрос; вариант с моделью на вашем контуре или обезличиванием стоит рассмотреть заранее.
- Проверьте условия провайдера: хранит ли он запросы, используются ли они для обучения.
- Если в запросах бывают персональные данные граждан РФ, обсудите схему обработки с юристом: требования закона о персональных данных зависят от деталей, проверяйте с юристом.
- Логируйте вопросы и ответы с ограниченным сроком хранения: это основа для улучшения, но и отдельный объект защиты.
Запуск без разочарований
Начинайте с узкой зоны: один тип вопросов, например «доставка и оплата» или «регламенты отпусков». Запустите бота сначала в режиме подсказки оператору: человек видит предложенный ответ и источник, редактирует и отправляет. Так вы соберёте реальные ошибки без риска для клиентов. Когда доля правок упадёт до приемлемой, включайте автоответ на простые темы, а сложные оставляйте человеку.
Метрики, которые стоит считать: доля вопросов, закрытых без оператора; доля отказов «не знаю»; оценка ответа пользователем; время первого ответа; число обращений, где ответ потребовал правки базы. Последняя метрика полезна: бот превращается в инструмент, который показывает дыры в документации.
Выбор компонентов: что решать заранее
Прежде чем писать код, ответьте на несколько вопросов, которые определяют архитектуру и бюджет.
- Где живёт модель. Облачный API проще и быстрее запускается, модель на вашем контуре даёт контроль над данными, но требует инфраструктуры и сопровождения.
- Какие форматы в базе. PDF со сканами требуют распознавания текста, таблицы и схемы — отдельной обработки. Если половина знаний лежит в сканах, закладывайте время на подготовку.
- Кто будет пользоваться. Клиенты на сайте, сотрудники в мессенджере или оба канала. От этого зависят тон ответов, права доступа и нагрузка.
- Что делать при сложных вопросах. Передача оператору с историей диалога должна работать с первого дня, иначе бот станет раздражающей преградой.
- Как обновлять знания. Процесс «поправили документ, через час бот знает» важнее выбора модели. Без него база устареет за пару месяцев.
Реалистичные ожидания
RAG не делает бота всезнающим. Он хорошо отвечает на вопросы, ответ на которые прямо написан в базе, и хуже справляется с вопросами, требующими рассуждения по нескольким документам сразу, арифметики и сопоставления версий. Такие сценарии решаются доработками: разбором вопроса на части, подключением калькуляторов и справочников, ручной проверкой на старте. Закладывайте на настройку несколько итераций: первая версия почти всегда показывает, что в документации не хватает ответов на половину реальных вопросов клиентов. Это не провал проекта, а ценный результат.
Пример структуры тестового набора
Чтобы набор вопросов работал как инструмент, а не как формальность, разбейте его на группы и заведите простую таблицу.
| Группа вопросов | Что проверяем | Критерий | |---|---|---| | Прямые факты | Поиск находит нужный абзац | Источник в ответе совпадает с ожидаемым | | Перефразированные | Понимание разных формулировок | Ответ тот же, что на прямой вопрос | | Вне базы | Честный отказ | Бот говорит «не знаю» и предлагает оператора | | Спорные и опасные | Нет советов за пределами регламента | Ответ ограничен документами или передан человеку | | Многошаговые | Склейка нескольких фрагментов | Ответ полный, без противоречий |
Добавляйте в набор каждый реальный сбой из эксплуатации: через полгода это ваш главный актив, который защищает от откатов качества при смене модели или настроек.
Итог
Чат-бот по базе знаний — это не «подключили модель и забыли», а процесс: качественные источники, нарезка, поиск, честный режим отказа, тестовый набор и владельцы контента. Хорошо сделанный RAG снимает рутинные вопросы и ускоряет работу сотрудников, плохо сделанный — создаёт риск репутации.
Если хотите оценить, подходит ли ваша база знаний для такого бота, напишите нам: посмотрим документы, предложим пилот на одной теме и критерии успеха.
Frog Studios AI: пилот чат-бота по базе знаний начинаем с узкой темы и тестового набора вопросов.