Как проверить, что ИИ не выдумывает: контроль ответов
Почему ИИ иногда выдумывает факты и как это контролировать: ответы только по базе знаний, ссылки на источник, тестовый набор вопросов, отказ при незнании, проверка человеком.
ИИ-консультант строительной компании на вопрос о цене фундамента уверенно ответил «от 80 000 рублей». В прайсе такой цены не было: модель сочинила правдоподобное число. Клиент пришёл с этой цифрой и был недоволен, когда реальная смета оказалась выше.
Языковые модели иногда выдумывают факты, когда не знают ответа. Это решается настройкой и проверкой. Ниже способы контроля.
Способы контроля
| Способ | Как работает |
|---|---|
| Ответ только по базе | Модель отвечает по найденным документам, остальное не придумывает |
| Ссылка на источник | Каждый ответ с документом и цитатой |
| Отказ при незнании | Если в базе нет ответа, модель так и говорит и предлагает связаться с менеджером |
| Тестовый набор | Сотня реальных вопросов с правильными ответами проверяется перед запуском |
| Независимая проверка | Отдельная роль проверяет ответ до отправки в сложных задачах |
| Журнал ответов | Ответы сохраняются и выборочно проверяются человеком |
Тестовый набор вопросов
Шаг 1
Собрать вопросы
Реальные вопросы клиентов или сотрудников.
Шаг 2
Записать правильные ответы
По документам компании.
Шаг 3
Добавить ловушки
Вопросы, на которые в базе нет ответа.
Шаг 4
Прогнать перед запуском
И после каждого изменения базы или настроек.
Шаг 5
Порог качества
Запуск, когда ответы совпадают с правильными в нужной доле.
Что проверяет человек
- выборку ответов раз в неделю;
- все ответы с жалобами;
- ответы на новые типы вопросов;
- изменения базы знаний.
Как устроена проверка отдельной ролью в связке агентов, в статье как работают ИИ-агенты в связке.
Сколько стоит
| Решение | Цена |
|---|---|
| Простой ИИ-консультант | от 10 000 ₽ |
| ИИ-бот с базой знаний | от 20 000 ₽ |
| ИИ-ассистент сотрудников | от 20 000 ₽ |
| ИИ-агент с внешними инструментами | от 30 000 ₽ |
| Мультиагентная система | от 30 000 ₽ |
| Локальное развёртывание ИИ | по задаче |
Как мы делаем
Начинаем с задачи и требований: что ИИ должен делать, на каких данных и как проверяется результат. Собираем базу знаний, настраиваем ответы, проверяем на реальных вопросах и передаём с инструкцией. Подробности на странице ИИ-агентов и ассистентов.
Частые вопросы
Можно ли полностью исключить выдумки?
Полностью нет, но ответ только по базе, ссылки и отказ при незнании снижают их до редких случаев, которые ловит проверка.
Сколько вопросов нужно в тестовый набор?
Для старта несколько десятков, для серьёзной системы сотня и больше.
Как часто проверять?
Перед запуском, после изменений и выборочно каждую неделю.
Что делать, если ИИ ошибся с клиентом?
Исправить базу знаний, добавить вопрос в тестовый набор и связаться с клиентом.
Коротко
- ИИ выдумывает, когда не знает ответа.
- Ответ только по базе, ссылка на источник, отказ при незнании.
- Тестовый набор вопросов проверяет качество до запуска и после изменений.
- Цены и обещания только из базы знаний.
Что умеет ИИ-консультант, в статье ИИ-консультант для сайта и Telegram.