Свои проекты / nearbyto-me
NearbyTo.me: как встроить безопасность в ИИ-продукт
Как устроены проверки безопасности в моём продукте NearbyTo.me, что подтверждают материалы проекта и какие вопросы об испытании пока остаются открытыми.
Моя роль в проекте
Это собственный продукт Олега. Опыт работы над ним не подтверждает результаты консалтинга для клиентов.
Статус
Статус испытания пока не уточнён. Делать публичные выводы об эффективности рано.
Что пока не подтверждено
Статус испытания пока не уточнён. По этому черновику нельзя делать выводы об эффективности продукта, завершённом наборе участников или проверке продукта клиентами.
Ограничения безопасности
В материалах проекта отдельно описаны публичная веб-часть и полный продукт, система оценки качества, выявленные проблемы безопасности и очерёдность их исправления.
- На публичную веб-часть ушло шесть недель, на полный продукт — около 12 недель.
- Для оценки качества и наблюдения за работой системы используются более 30 метрик.
- P0/P1/P2 обозначают проблемы, выявленные при проверке безопасности, и очерёдность их исправления. Эти метки ничего не говорят об эффективности продукта.
Как читать результаты
Это наблюдение из работы над собственным продуктом. Оно не описывает результат для клиента и не является публичным показателем работы в продакшене.
Разбор эксперимента
В ИИ-продукте с высокой ценой ошибки сначала нужно проверить, как работает защита. Использовать результаты для коммерческих выводов можно уже после этого.
Я разрабатывал архитектуру ИИ-продукта NearbyTo.me с момента его создания. Здесь я описываю работу над собственным продуктом; к клиентскому консалтингу этот опыт не относится.
Нужно было сохранить полезный диалог и явно определить, как продукт замечает риск и останавливает опасный сценарий. Отдельно — сделать работу этих механизмов наблюдаемой.
Зрелость продукта, результаты проверок безопасности и данные испытания отвечают на разные вопросы. Прежде чем ссылаться на них, разберите каждое утверждение отдельно.