ШІ оновився: як брокеру перевірити, чи не погіршився результат

Пояснення Anodos

Практика Anodos для брокера

Перед оновленням інструмента варто зберегти кілька знеособлених контрольних справ із уже перевіреними відповідями. Вхідні дані можуть містити поліс із додатком, дві пропозиції та анкету з навмисно пропущеним полем. Для кожної справи брокер заздалегідь записує очікувані розбіжності, посилання на сторінки та питання, на які документ не дає відповіді.

Після оновлення команда повторює ті самі завдання з незмінними файлами й запитами. Корисний результат - журнал нових помилок: пропущений виняток, переплутана валюта, вигадана відповідь або неправильна сторінка. Перевіряє його працівник, який читає оригінали; самооцінка ШІ не замінює такого порівняння.

Наприклад, попередня версія помічала зміну франшизи в додатку, а нова бере значення лише з основного поліса. Це причина тимчасово повернути повну ручну перевірку цього завдання й уточнити налаштування. Збережіть дату тесту, версію інструмента, виправлення та рішення відповідального. Контрольний набір має залишатися в погодженому середовищі без зайвих даних клієнта.