Почему качество данных решает судьбу проекта с ИИ
Принцип «мусор на входе — мусор на выходе» для ИИ работает особенно жёстко. Модель не отличает актуальный документ от устаревшего, правильный номер телефона от опечатки и дубль клиента от нового. Она уверенно использует то, что ей дали. Поэтому большинство неудач проектов с ИИ связано не с «слабой моделью», а с тем, что данные не были подготовлены: разрознены, противоречивы, неполны или недоступны.
Хорошая новость в том, что работа с данными поддаётся планированию и измерению. Ниже — практический подход для компании, которая только готовится к проекту с ИИ: чат-ботом, прогнозом, автоматической классификацией заявок или поиском по документам.
Шесть измерений качества
| Измерение | Вопрос | Пример проблемы | |---|---|---| | Полнота | Все ли нужные поля заполнены? | У половины клиентов нет отрасли | | Точность | Верны ли значения? | Опечатки в телефонах и ИНН | | Единообразие | Одинаково ли записано одно и то же? | «ООО Ромашка», «Ромашка ООО», «РОМАШКА» | | Уникальность | Нет ли дублей? | Один клиент заведён трижды | | Актуальность | Не устарели ли данные? | Прайс прошлого года в базе знаний | | Доступность | Можно ли получить данные в нужном виде? | Знания лежат в личной почте и сканах |
Прежде чем выбирать технологию, оцените свои данные по этим шести пунктам. Для оценки не нужны сложные инструменты: выберите случайную выборку из нескольких десятков записей и вручную проверьте. Уже эта процедура обычно показывает, где основные дыры.
Практические шаги подготовки
- Определите задачу и нужные данные. Для чат-бота это документы и история обращений, для прогноза — история продаж и признаки, влияющие на спрос. Не пытайтесь «почистить всё»: определите минимальный набор для первого результата.
- Найдите источники и владельцев. У каждого набора данных должен быть ответственный человек, который отвечает за актуальность и принимает решения при расхождениях.
- Соберите единый словарь. Единицы измерения, статусы сделок, названия услуг, категории товаров. Договоритесь о значениях и зафиксируйте письменно.
- Дедупликация и нормализация. Объедините дубли, приведите форматы дат, телефонов, адресов к единому виду. Начинайте с правил, а не с вручную исправленных записей: правило применяется ко всей базе.
- Разметка и примеры. Если нужно обучать или проверять классификацию, подготовьте набор примеров с правильными ответами, размеченный несколькими людьми. Расхождения между разметчиками покажут нечёткие места в определениях.
- Пометьте чувствительное. Персональные данные, коммерческая тайна, договоры. Решите, что можно использовать, что нужно обезличить, а что нельзя передавать внешним сервисам. Обработку персональных данных обсуждайте с юристом.
- Настройте поддержку актуальности. Автоматическая выгрузка, обновление индекса, проверка дат у документов, напоминания владельцам.
Данные для чат-бота и поиска по документам
Для таких проектов качество «знаний» важнее выбора модели. Что проверить:
- Нет ли двух версий одного регламента. Оставьте одну, остальные пометьте архивными.
- Есть ли у документа дата, владелец и область применения.
- Написан ли документ человеческим языком, а не в виде таблицы с внутренними сокращениями. Модели и поисковым системам трудно работать с текстом, понятным только автору.
- Можно ли однозначно ответить на частые вопросы клиентов, имея только эти документы. Если нет, значит, в базе знаний пробел, и бот либо промолчит, либо выдумает.
Данные для прогнозов и аналитики
- Проверьте историю на разрывы и аномалии: периоды, когда учёт не велся, акции, сбои, которые исказили картину.
- Убедитесь, что показатель определён одинаково во времени. Если «заказом» раньше считалась заявка, а потом оплаченный заказ, график ничего не стоит.
- Сохраняйте контекст: промоакции, смену цен, сезонность. Без него модель увидит закономерность там, где действовал разовый фактор.
- Не используйте данные, недоступные на момент прогноза: иначе на тестах результат выглядит блестяще, а в жизни не работает.
Как измерять улучшение
Заведите несколько простых показателей: доля записей без дублей, доля заполненных обязательных полей, доля документов с актуальной датой, число конфликтующих версий. Замерьте до работ и после каждого этапа. Условный пример: если в базе 10 000 клиентов и дубли составляют 8%, то после объединения вы убираете около 800 лишних записей, и рассылки, аналитика и отчёты сразу становятся честнее. Цифры здесь иллюстрация, у вас они будут своими.
Типичные ошибки
- Начинать с модели, а не с данных. Выбор технологии без понимания данных ведёт к переделкам.
- Одноразовая «чистка». Через три месяца грязь вернётся, если нет владельцев и правил ввода.
- Исправлять последствия, а не причины. Если менеджеры вводят телефоны в произвольном формате, обязательная маска поля в CRM решит проблему лучше, чем скрипт очистки раз в месяц.
- Игнорировать права доступа. Данные, собранные для одной цели, не всегда можно использовать для другой. Проверяйте с юристом.
- Ждать идеальных данных. Достаточно «достаточно хороших» для первого пилота. Итерации покажут, какие улучшения реально влияют на результат.
С чего начать на этой неделе
Не нужно ждать большого проекта по данным. Выберите один процесс, где ИИ мог бы принести пользу, например ответы на частые вопросы клиентов. Найдите все документы, которые на эти вопросы отвечают, и ответьте себе: есть ли ответ, актуален ли он, не противоречит ли другим документам, кто за него отвечает. Составьте список из пятидесяти реальных вопросов и проверьте, на сколько из них в вашей базе есть чёткий ответ. Этот простой эксперимент за пару дней покажет, готовы ли вы к проекту, и даст готовый тестовый набор для пилота. Если ответ на половину вопросов отсутствует, первым этапом станет не внедрение ИИ, а наполнение базы знаний, и честнее услышать это в начале, чем в конце.
Итог
Подготовка данных кажется скучной, но именно она отличает проект, который приносит пользу, от дорогого эксперимента. Оцените данные по шести измерениям, назначьте владельцев, договоритесь о словаре, автоматизируйте проверки и начинайте с узкого пилота.
Если вы планируете проект с ИИ и сомневаетесь, готовы ли ваши данные, напишите нам: проведём быструю оценку на выборке и подскажем, что исправить до старта.
Frog Studios AI начинает проекты с оценки данных и узкого пилота с понятными критериями.