Страховая тайно шпионила за клиентом при помощи дрона, а потом отменила его полис

Альберт Фокс Кан — основатель и исполнительный директор проекта Surveillance Technology Oversight Project (STOP), нью-йоркской группы по защите гражданских прав и конфиденциальности. Он столкнулся с вопиющей ошибкой, которая чуть не стоила ему страховки. Insider записал историю Фокса Кана от первого лица.

Мой страховой брокер оставил мне безумное голосовое сообщение о том, что моя страховка на дом истекла. Мне стало не по себе, я почувствовал себя голым. Внезапно любая протечка, пожар или падение ветки дерева на столетний дом в долине Гудзона могли уничтожить мой банковский счет. Дом принадлежал моей семье почти 40 лет. Как я это допустил? Я забыл обновить кредитную карту? Пропустил выплату? Что-то сделал не так со страховкой? Но когда я проверил свои записи в Travelers, то ничего не нашел.

Несколько часов спустя моя паника сменилась недоумением. Когда я наконец связался со своим страховым брокером, он назвал мне причину, по которой Travelers отозвала мою страховку. Компания использовала наблюдение с помощью беспилотников на основе искусственного интеллекта.

Дроны страховой компании обнаружили… мох

Я отношусь к конфиденциальности и наблюдению чрезвычайно серьезно. Настолько серьезно, что основал один из ведущих аналитических центров по этой теме — Surveillance Technology Oversight Project. Я изучаю угрозы слежки по всей стране и таким образом зарабатываю себе на жизнь, но даже понятия не имел, что моя страховая компания использует мои страховые доллары, чтобы шпионить за мной. Travelers не только использует аэрофотосъемку и ИИ для наблюдения за крышами своих клиентов, но и запатентовала эту технологию. На самом деле – почти 50 патентов. Это может быть не единственная страховая компания, шпионящая за вами с неба. Это не просто казалось жутким — это было неправильно. Буквально неправильно: с моей крышей все было в порядке.

По теме: Жильё, сотовая связь, страховка, банковский счёт для новых иммигрантов в Нью-Йорке: личный опыт россиянина

Я ленивый домовладелец. Я ненавижу садоводство и не убираюсь так часто, как следовало бы. Но я все равно забочусь о самом необходимом. Будь то модернизация электрики или установка новых систем отопления, вентиляции и кондиционирования воздуха. Я стараюсь убедиться, что мой дом в безопасности. Но для Travelers’ AI моя лень была слишком большим риском для страхования. Его алгоритм не обнаружил проблем с фундаментом или с протекающей трубой. Как сказал мой брокер, зловещая угроза, которая отменила мою страховку, была не чем иным, как мхом.

Где есть влага – там есть и мох. Если надолго оставить огромное его количество на крыше, это может подорвать срок службы крыши. Небольшое количество в основном безвредно. Тем не менее, справиться с ним проще простого. Конечно, я мог бы убрать мох раньше, но не сделал этого. Он продолжал расти между трещинами. Наконец в июне, за несколько недель до как стало известно, что моя крыша находится под наблюдением, я пошел в хозяйственный магазин. Там потратил $80 на средство от мха, дома подключил белый флакон с химикатами к садовому шлангу и распылил его на крышу. Вся работа заняла около пяти минут. Через несколько дней, к моему большому облегчению, мох начал умирать. Я думал, что это конец совершенно незапоминающейся истории.

ИИ и страхование

Кто знает, возможно, если бы я сделал это на месяц раньше, технология Travelers никогда бы не пометила меня. Она никогда бы не сказала, что я представляю собой страховой риск. Но одно из глубоких разочарований эпохи искусственного интеллекта заключается в том, что поскольку компании и правительства отслеживают все больше и больше подробностей нашей жизни, мы редко узнаем, что за нами следят. По крайней мере, пока не станет слишком поздно. Нет способа узнать точно, сколько других клиентов Travelers стали мишенью программы слежки компании. Однозначно, что я не первый.

В феврале филиал ABC в Бостоне сообщил клиентке об угрозе невозобновления, если она не заменит крышу. Крыша была в пределах ожидаемого срока службы. У клиентки не было каких-либо проблем с протечками. Тем не менее, ей сказали, что без замены крыши она не будет застрахована. Клиентка рассказала, что ей выставили счет на $30 000 за замену шифера на крыше. Крыша, по оценкам экспертов, могла бы прослужить еще 70 лет.

У страховщиков есть все стимулы быть чрезмерно осторожными в том, как они строят свои модели ИИ.

Никто не может использовать искусственный интеллект, чтобы знать будущее. Вы обучаете технологию делать предположения на основе изменений цвета крыши и зернистых аэрофотоснимков. Но даже лучшие модели ИИ будут делать много неправильных прогнозов. Особенно, когда вы пытаетесь делать предположения о будущем радикально разных конструкций крыш в бесчисленных зданиях в различных условиях. Страховые компании всякий раз будут иметь огромные стимулы делать выбор против домовладельца.

Подумайте об этом: каждый раз, когда ИИ дает зеленый свет крыше, на которой действительно что-то не так, страховая компания оплачивает счет. Каждый раз, когда это происходит, компания может добавить эту точку данных в свою модель и обучить ее быть еще более не склонной к риску. Но когда домовладельцам угрожают отменой страховки, они оплачивают счет за ремонт, даже если ремонт не нужен. Если домовладелец в Бостоне выбрасывает шиферную крышу, которая могла прослужить еще 70 лет, страховая компания никогда не узнает, что оценили ее неправильно. Она никогда не обновляет модель, чтобы она была менее агрессивной для похожих домов.

Вопросы без ответов

Со временем у страховых компаний будут все стимулы делать модели все более и более беспощадными. Это угрожает большему количеству американцев потерей покрытия и потенциально приводит к ненужным ремонтам домов на миллионы или миллиарды долларов. Страховщики сталкиваются с растущими потерями из-за климатического кризиса и инфляции. Давление, направленное на то, чтобы навязывать клиентам ненужные профилактические ремонты, будет только расти.

Запутанным заключением всей этой истории стало то, что сказали в Travelers, когда я обратился к ним с подробным списком вопросов для проверки фактов. В ответ представитель прислал краткое опровержение:

«Анализ/моделирование искусственного интеллекта и наблюдение с помощью дронов не являются частью нашего процесса принятия решений по андеррайтингу. Когда они доступны, наши андеррайтеры могут ссылаться на аэрофотоснимки высокого разрешения как часть целостного обзора состояния имущества».

Что именно считается «процессом принятия решений по андеррайтингу»? И если ИИ и дроны на самом деле не влияют на клиентов, зачем тогда подавать так много патентных заявок, таких как «Системы и методы анализа износа крыш с помощью искусственного интеллекта (ИИ)»? Казалось, что компания пытается усидеть на двух стульях. Она хвастается использованием новейших и лучших технологий и избегает ответственности за ошибки. Когда я задал эти дополнительные вопросы Travelers – компания не ответила.

К счастью, моя крыша никуда не денется, по крайней мере, пока. Через несколько часов после начала моей истории с Travelers ситуация разрешилась – компания признала, что облажалась, однако не признала, что ее ИИ был неправ отметив меня. Но она раскрыла причину, по которой я не смог найти свое уведомление об отмене: компания так и не отправила его.

Travelers, возможно, вложила огромные суммы в нейронные сети и дроны. Но, по-видимому, она так и не обновила свое программное обеспечение для выставления счетов, чтобы надежно обрабатывать основные моменты. Без уведомления о невозобновлении она не могла законно отменить покрытие. Плохие передовые технологии подвели меня; плохое базовое программное обеспечение спасло меня.

Частично тревожит во всем этом эпизоде ​​то, насколько он был непрозрачным. Когда Travelers пролетела над моим домом на дроне, я так и не узнал. Когда она решила, что я в зоне риска, я не мог знать. Поскольку все больше и больше компаний используют все более непрозрачные формы ИИ для определения хода нашей жизни, мы все подвергаемся риску. ИИ может дать компаниям быстрый способ сэкономить немного денег. Но когда эти системы используют наши данные для принятия решений о нашей жизни, мы сами находимся в зоне риска. Как бы ни раздражало иметь дело со страховым агентом-человеком, очевидно, что ИИ и наблюдение – это неправильная замена. И если законодатели не примут меры, ситуация только ухудшится.

Причина, по которой у меня все еще есть страховка, заключается в простых законах о защите прав потребителей. Штат Нью-Йорк не позволяет Travelers отозвать мою страховку без предварительного уведомления. Но почему мы вообще позволяем таким компаниям, как Travelers, использовать ИИ против нас без какой-либо защиты? Столетие назад законодатели увидели необходимость регулирования рынка страхования и повышения прозрачности полисов.

Теперь нужны обновленные законы, чтобы защитить нас от попыток ИИ решать наши судьбы. Если этого не случится, будущее выглядит тревожным. Страхование — одна из немногих гарантий, которая защищают нас от рисков современной жизни. Без защиты от ошибок ИИ алгоритмы отнимут то немногое спокойствие, которое дают нам наши полисы.