Заметки / Безопасность ИИ-продуктов
Когда ИИ-продукту пора остановить разговор
ИИ может пропустить признак риска и продолжить разговор как ни в чём не бывало. Разбираю, что проверять в таком диалоге и когда его нужно прервать.
Безопасность определяется моментом, когда продукт отказывается продолжать разговор как ни в чём не бывало.
Что происходило
На синтетических сценариях было видно: ответ звучит спокойно и убедительно, а продукт уже пропустил момент, когда разговор нужно было приостановить.
Разбор решения
Что решили и чем пожертвовали
Интерфейс устроен так, чтобы помогать и поддерживать разговор. Но при признаках риска система должна уметь прервать обычный сценарий, разобраться в ситуации и предложить другой путь.
Что можно проверить
В черновике сравниваются цепочки диалога и моменты, в которых должна срабатывать защита. Это не клиническое исследование.
Что не сработало или осталось неизвестным
Кризисные контакты и медицинские формулировки требуют актуальной внешней и экспертной проверки.
Рабочее правило
Рабочий принцип
Проверяйте, как развивается разговор до и после неоднозначного сигнала. Одного удачного ответа для этого мало.