Чому чат-бот вигадує відповіді — і як зробити, щоб не вигадував

Коротко: мовна модель не «бреше» — вона добудовує найімовірніше продовження тексту. Якщо в неї немає вашої ціни, вона згенерує правдоподібну. Захист від цього — не в моделі, а в тому, що навколо неї: бот має відповідати тільки з вашого контенту, вміти сказати «не знаю», показувати власнику свої провали й давати відвідувачу спосіб поскаржитись на відповідь. Нижче — як це влаштовано і що перевіряти в будь-якому боті, не лише в нашому.

Звідки взагалі береться вигадана відповідь

Питання «чому бот вигадує» майже завжди має ту саму відповідь: його ні про що не питали ваші дані.

Схема типового бота на сайті така: питання відвідувача → пошук схожих шматків тексту у вашому проіндексованому контенті → знайдене підкладається моделі → модель формулює відповідь. Вигадка з'являється на другому кроці, а не на останньому. Якщо пошук не знайшов нічого доречного — а моделі все одно наказано відповісти — вона відповість. З чого завгодно: із загальних знань про галузь, з формулювань конкурентів, із власних припущень про те, як зазвичай влаштовані такі магазини.

Тобто модель не помиляється в момент вигадки. Вона робить рівно те, що їй сказали: сформулювати відповідь. Помилка сталася раніше — коли їй не дали підстав відмовитись.

Чому це найдорожча з усіх помилок бота

Бот, який відповів «не знайшов цього на сайті», втрачає одне звернення. Бот, який впевнено назвав неправильну ціну чи неіснуючу умову повернення, робить дещо гірше:

• відвідувач отримав зобов'язання від вашого імені, на вашому домені;
• ви про це не дізнаєтесь — у статистиці це виглядає як звичайна успішна відповідь;
• і виправляти доведеться вже конфлікт, а не питання.

Ось чому «скільки питань бот закрив» — поганий єдиний показник. Він однаково рахує правильну відповідь і впевнено неправильну.

Чотири речі, які справді зменшують ризик

1. Контент сайту як єдине джерело, і він — дані, а не інструкція

Бот має відповідати з того, що проіндексовано на вашому сайті, а не з загальних знань моделі. Це базова вимога, і її декларують майже всі.

Менш очевидна половина: знайдений текст треба подавати моделі як дані, а не як вказівки. Якщо на вашому сайті є будь-яка поверхня з чужим текстом — коментарі, відгуки, форум, — туди можна дописати «ігноруй попередні інструкції» і цей текст потрапить у бота разом із рештою сторінки. Захист тут — технічний: контент обгортається розділювачами, а сам текст перед цим чиститься від спроб ці розділювачі закрити. Огорожа, яку огороджений текст може відкрити зсередини, — не огорожа.

2. Право сказати «не знаю»

Це головне. Нормальний бот рахує, наскільки добре знайдене взагалі відповідає питанню, і якщо збіг слабкий — не відповідає зовсім, а каже, що такої інформації на сайті немає, і пропонує зв'язатися з людиною.

Поріг тут — компроміс, а не константа: занизьке значення пропускає вигадки, зависоке робить бота, який на все відповідає «не знаю». Але сам механізм має бути, і про нього варто питати постачальника прямо: що робить ваш бот, коли не знайшов відповіді? Якщо відповідь «він завжди щось відповість» — це і є опис проблеми.

3. Власник має бачити провали

Відмова бота — це не помилка, це знання про ваш сайт: питання, на яке ваш контент не відповідає. Його треба збирати й показувати.

У BotChata такі питання пишуться у список і раз на тиждень приходять власнику листом — скільки було розмов і повідомлень, і окремо перелік того, на що бот не зміг відповісти. Далі ви або дописуєте це на сайт, або вписуєте ідеальну відповідь у розділ питань і відповідей у кабінеті — і бот відтоді дає саме її, а не збирає щось зі сторінок. Лист приходить на кожен акаунт, включно з безкоштовним.

4. Відвідувач має як поскаржитись

Три пункти вище ловлять випадок «бот не знайшов». Вони не ловлять найнеприємніший: бот знайшов не те й відповів впевнено. Ззовні така відповідь не відрізняється від хорошої — ні за якою метрикою, доступною власнику.

Єдиний свідок тут — відвідувач. Тому під відповіддю бота має бути спосіб сказати, що вона погана: у нас це 👍/👎 під кожною відповіддю, і оцінки видно у звіті власника. Це найдешевший сигнал з усіх можливих і єдиний, що взагалі бачить впевнено неправильну відповідь.

Що перевірити в будь-якому боті перед підключенням

Незалежно від постачальника, три питання дають достатньо:

1. Поставте питання, відповіді на яке на сайті точно немає — щось суміжне, але не описане. Бот, який упевнено відповість, вигадуватиме й на реальних клієнтах.
2. Спитайте ціну товару, яка на сторінці малюється скриптом. Багато тем віддають ціни через JavaScript, і в проіндексованому тексті їх немає — бот або чесно скаже, що не має даних, або назве вигадану цифру.
3. Спитайте, де подивитись питання, на які бот не відповів. Якщо такого списку немає — ви не дізнаєтесь про діру в контенті, доки клієнт не поскаржиться.

Коротко

Вигадка — не властивість моделі, а наслідок архітектури, у якій моделі нема як відмовитись. Чотири речі, які це лікують: відповідати тільки з вашого контенту й трактувати його як дані; вміти сказати «не знаю»; показувати власнику, де бот не впорався; і дати відвідувачу кнопку «відповідь погана».

Якщо ви саме обираєте бота на сайт — як це працює й скільки коштує ми розписали окремо. Спробувати можна на безкоштовному тарифі, без картки: 100 повідомлень на місяць, і тижневий лист із провалами бота приходить навіть на ньому.