Совпадение с фотографией ещё не доказывает кражу. Дело аптечной сети Rite Aid показывает, как ошибка распознавания становится вредом для покупателя, когда сотрудники действуют без достаточной проверки.

Что произошло

FTC (Федеральная торговая комиссия США) утверждала, что Rite Aid не обеспечила достаточной защиты покупателей. В 2012–2020 годах сеть использовала распознавание лиц для выявления людей, которых считала связанными с нарушениями. По иску, поданному 19 декабря 2023 года, ложные совпадения приводили к слежке за посетителями, требованиям уйти, публичным обвинениям и вызовам полиции. Комиссия также отмечала недостатки проверки точности и обучения сотрудников. Сообщение FTC.

Одна запись базы вызвала более 900 сигналов за пять дней в более чем 130 магазинах. Это количество сигналов, а не доказанных краж или пострадавших. Такой результат требует проверки обстоятельств каждого совпадения. Иск, пункт 31(b).

23 февраля 2024 года суд утвердил согласованное постановление. Ответчики, с оговорёнными исключениями, не признали и не отрицали обвинения: урегулирование не подтверждает автоматически каждую деталь иска. Постановление, страницы 2–4.

Где проходит граница

Задача системы — помогать предотвращать нарушения. Но множество тревог может означать множество ошибок. Для оценки пользы редакция предлагает проверять, сколько сигналов подтвердилось, какие действия последовали и удалось ли исправить ошибочные решения. Это предлагаемые критерии, а не показатели Rite Aid.

Даже верно установленная личность не доказывает нового проступка. Поэтому проверять нужно и совпадение, и то, что человек действительно сделал.

Оценка по Кодексу

Это редакционный разбор по Кодексу проекта, а не шариатский аудит компании.

НормаНаблюдение по материалам FTCОценкаПредлагаемая мера
2.1.8: достоверностьЛожные совпаденияСигнал недостаточен для обвиненияПроверять данные и обстоятельства
2.2.26: защита честиПубличные обвиненияРиск ущерба репутацииНе объявлять посетителя нарушителем без доказательств
2.3.9: справедливостьНеравномерное воздействие ошибокОбщая точность скрывает различияПроверять последствия для разных групп
2.2.33: апелляцияОшибочные ограничения доступаНужен пересмотрНазначить ответственного за жалобы

Что изменить в работе

Следующие рекомендации не описывают внедрённые Rite Aid меры:

  • Проверять систему в реальных условиях, включая плохое освещение и некачественные снимки.
  • Заранее определить допустимые действия сотрудников и дать им право остановить ошибочное решение.
  • Связывать в защищённом журнале сигнал, результат проверки и последующее действие.
  • Объяснить покупателю, как обратиться к человеку, который может исправить запись и отменить ограничение.
  • Предусмотреть остановку системы при повторяющемся вреде — это соответствует пункту 2.2.4 Кодекса.

Результат и ограничения

По карточке дела FTC, урегулирование предусматривает пятилетний запрет на использование Rite Aid распознавания лиц для охраны или наблюдения. Карточка дела.

Документы требуют защитных мер для автоматизированных биометрических систем, уведомлений и рассмотрения жалоб. Однако требования сами по себе не доказывают улучшения: проверенные материалы не позволяют назвать процент снижения ошибок. Разбор относится к эпизоду 2012–2024 годов. Постановление и приложение A.

Материал предназначен для обучения; не является фатвой, аудитом или юридической консультацией.