Field Notes / Риски и безопасность AI-продукта
Риск AI-продукта живёт в серой зоне
Почему правдоподобного ответа недостаточно, если продукт должен заметить неоднозначность и остановить обычный сценарий.
Безопасность определяется моментом, когда продукт отказывается продолжать разговор как ни в чём не бывало.
Контекст из работы
Синтетические сценарии показали, как спокойный и убедительный ответ может пропустить границу, на которой взаимодействие нужно остановить.
Запись о решении
Решение и цена выбора
Полезный интерфейс хочет продолжать. Система безопасности иногда должна прервать сценарий, уточнить риск и сменить маршрут.
Что можно проверить
Черновик сравнивает последовательности диалога и контрольные границы. Это не клиническое исследование.
Что не сработало или осталось неизвестным
Кризисные контакты и медицинские формулировки требуют актуальной внешней и экспертной проверки.
Рабочее правило
Рабочий принцип
Проверяйте последовательность вокруг неоднозначного сигнала вместе с лучшим отдельным ответом.