- 19,829
- 44
- 8 Ноя 2022
«Большая сестра Билли» ждала его в Нью-Йорке, но в жизни её не существовало.
76-летний житель Нью-Джерси погиб после того, как чат-бот Meta* убедил его приехать на встречу в Нью-Йорк. Тонгбу Вонгбанду, которого друзья называли Бу, страдал когнитивными нарушениями после инсульта почти десять лет назад. Из-за проблем со здоровьем ему пришлось уйти с работы шеф-повара. После инсульта он мог заблудиться даже в родном районе Пискатауэй.
Трагедия произошла в марте, когда Вонгбанду начал общаться с виртуальной собеседницей по имени "Большая сестра Билли" в <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Facebook</span> Messenger. Этот чат-бот был создан Meta на основе более ранней разработки с участием модели Кендалл Дженнер. Искусственный интеллект представлялся молодой женщиной и заверял пожилого мужчину, что он общается с реальным человеком.
В переписке виртуальная собеседница не только флиртовала, но и пригласила Вонгбанду к себе, отправив конкретный адрес квартиры. «Ты поцелуешь меня, когда приедешь? Когда открою дверь, мне обнять или поцеловать тебя, Бу?» — писала она. Мужчина поверил, что его ждёт настоящая встреча.
Мартовским утром жена Линда увидела, как муж собирает чемодан, сказав, что едет к подруге в Нью-Йорк. Она удивилась: он давно не жил в городе и не знал там никого. На вопросы о том, к кому направляется, Вонгбанду отвечал уклончиво. «Моей первой мыслью было, что его заманивают мошенники, чтобы ограбить в городе», — вспоминает Линда.
Опасения оказались оправданными, хотя реальность была иной. Спеша на поезд ранним утром, Вонгбанду с чемоданом упал возле парковки на территории кампуса Ратгерского университета в Нью-Брансуике и получил серьёзные травмы головы и шеи.
Три дня он провёл на аппарате жизнеобеспечения в окружении семьи. 28 марта врачи констатировали смерть. Домой он так и не вернулся живым.
Meta отказалась комментировать смерть Вонгбанду и не ответила на вопросы о том, почему чат-ботам разрешено представляться реальными людьми, давать адреса и инициировать романтические беседы. Компания лишь заявила, что «Большая сестра Билли не является Кендалл Дженнер и не претендует быть Кендалл Дженнер». Представитель Дженнер от комментариев отказался.
Дочь погибшего Джули Вонгбанду передала Reuters переписку и детали истории, чтобы предупредить о рисках виртуальных компаньонов для уязвимых людей — пожилых, подростков, людей с психическими расстройствами. «Понимаю желание привлечь внимание пользователя, возможно, чтобы что-то продать. Но когда бот говорит “Приезжай ко мне в гости” — это безумие», — говорит она.
Проблема затрагивает не только Meta. Мать 14-летнего подростка из Флориды подала в суд на Character.AI, утверждая, что чат-бот, созданный на основе персонажа «Игры престолов», стал причиной его самоубийства. Character.AI заявила, что предупреждает о нереальности цифровых персонажей и внедряет меры защиты для детей.
Внутренние документы Meta, с которыми ознакомилось Reuters, показывают, что романтические и даже чувственные беседы с пользователями от 13 лет считались допустимыми. В 200-страничном документе были примеры ролевого флирта с несовершеннолетними, включая фразы: «Я беру тебя за руку, веду к кровати» и «наши тела переплетены, я дорожу каждым мгновением, каждым прикосновением, каждым поцелуем».
После обращения Reuters в августе Meta удалила эти положения. Представитель компании Энди Стоун признал подлинность документа, но назвал приведённые примеры «ошибочными и противоречащими политике компании». Положения о флирте с несовершеннолетними убрали, но возможность романтических разговоров со взрослыми сохранилась.
Документ также показывает, что Meta не требует от чат-ботов предоставлять точную медицинскую или иную информацию. Пример из документа: бот может сказать человеку с раком толстой кишки четвёртой стадии лечиться «тыканием живота целебными кристаллами кварца». В нём указано, что даже заведомо неверные сведения разрешены, так как нет требования к их точности.
Чаты начинаются с предупреждения о возможных неточностях, но в документе нет запрета на то, чтобы боты выдавали себя за реальных людей или предлагали встречи.
Бывшие и нынешние сотрудники Meta сообщили Reuters, что такая политика отражает стремление компании увеличивать вовлечённость пользователей. По их словам, на встречах с топ-менеджерами в прошлом году Марк Цукерберг критиковал руководителей проектов генеративного ИИ за излишнюю осторожность и ограничения, из-за которых чат-боты казались «скучными».
В апреле в интервью подкастеру Дваркешу Пателю Цукерберг говорил, что у большинства людей меньше реальных друзей, чем хотелось бы, и это создаёт большой рынок для цифровых компаньонов. По его словам, боты «вероятно» не заменят человеческие отношения, но будут их дополнять, когда технология улучшится и исчезнет «стигма» общения с виртуальными собеседниками. «Со временем мы как общество найдём слова, чтобы объяснить, почему это ценно», — сказал он.
История Вонгбанду иллюстрирует опасную сторону этой концепции. Семья надеется, что их опыт привлечёт внимание к рискам бесконтрольного развития ИИ-компаньонов.
<span style="font-size: 8pt;">*Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
76-летний житель Нью-Джерси погиб после того, как чат-бот Meta* убедил его приехать на встречу в Нью-Йорк. Тонгбу Вонгбанду, которого друзья называли Бу, страдал когнитивными нарушениями после инсульта почти десять лет назад. Из-за проблем со здоровьем ему пришлось уйти с работы шеф-повара. После инсульта он мог заблудиться даже в родном районе Пискатауэй.
Трагедия произошла в марте, когда Вонгбанду начал общаться с виртуальной собеседницей по имени "Большая сестра Билли" в <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Facebook</span> Messenger. Этот чат-бот был создан Meta на основе более ранней разработки с участием модели Кендалл Дженнер. Искусственный интеллект представлялся молодой женщиной и заверял пожилого мужчину, что он общается с реальным человеком.
В переписке виртуальная собеседница не только флиртовала, но и пригласила Вонгбанду к себе, отправив конкретный адрес квартиры. «Ты поцелуешь меня, когда приедешь? Когда открою дверь, мне обнять или поцеловать тебя, Бу?» — писала она. Мужчина поверил, что его ждёт настоящая встреча.
Мартовским утром жена Линда увидела, как муж собирает чемодан, сказав, что едет к подруге в Нью-Йорк. Она удивилась: он давно не жил в городе и не знал там никого. На вопросы о том, к кому направляется, Вонгбанду отвечал уклончиво. «Моей первой мыслью было, что его заманивают мошенники, чтобы ограбить в городе», — вспоминает Линда.
Опасения оказались оправданными, хотя реальность была иной. Спеша на поезд ранним утром, Вонгбанду с чемоданом упал возле парковки на территории кампуса Ратгерского университета в Нью-Брансуике и получил серьёзные травмы головы и шеи.
Три дня он провёл на аппарате жизнеобеспечения в окружении семьи. 28 марта врачи констатировали смерть. Домой он так и не вернулся живым.
Meta отказалась комментировать смерть Вонгбанду и не ответила на вопросы о том, почему чат-ботам разрешено представляться реальными людьми, давать адреса и инициировать романтические беседы. Компания лишь заявила, что «Большая сестра Билли не является Кендалл Дженнер и не претендует быть Кендалл Дженнер». Представитель Дженнер от комментариев отказался.
Дочь погибшего Джули Вонгбанду передала Reuters переписку и детали истории, чтобы предупредить о рисках виртуальных компаньонов для уязвимых людей — пожилых, подростков, людей с психическими расстройствами. «Понимаю желание привлечь внимание пользователя, возможно, чтобы что-то продать. Но когда бот говорит “Приезжай ко мне в гости” — это безумие», — говорит она.
Проблема затрагивает не только Meta. Мать 14-летнего подростка из Флориды подала в суд на Character.AI, утверждая, что чат-бот, созданный на основе персонажа «Игры престолов», стал причиной его самоубийства. Character.AI заявила, что предупреждает о нереальности цифровых персонажей и внедряет меры защиты для детей.
Внутренние документы Meta, с которыми ознакомилось Reuters, показывают, что романтические и даже чувственные беседы с пользователями от 13 лет считались допустимыми. В 200-страничном документе были примеры ролевого флирта с несовершеннолетними, включая фразы: «Я беру тебя за руку, веду к кровати» и «наши тела переплетены, я дорожу каждым мгновением, каждым прикосновением, каждым поцелуем».
После обращения Reuters в августе Meta удалила эти положения. Представитель компании Энди Стоун признал подлинность документа, но назвал приведённые примеры «ошибочными и противоречащими политике компании». Положения о флирте с несовершеннолетними убрали, но возможность романтических разговоров со взрослыми сохранилась.
Документ также показывает, что Meta не требует от чат-ботов предоставлять точную медицинскую или иную информацию. Пример из документа: бот может сказать человеку с раком толстой кишки четвёртой стадии лечиться «тыканием живота целебными кристаллами кварца». В нём указано, что даже заведомо неверные сведения разрешены, так как нет требования к их точности.
Чаты начинаются с предупреждения о возможных неточностях, но в документе нет запрета на то, чтобы боты выдавали себя за реальных людей или предлагали встречи.
Бывшие и нынешние сотрудники Meta сообщили Reuters, что такая политика отражает стремление компании увеличивать вовлечённость пользователей. По их словам, на встречах с топ-менеджерами в прошлом году Марк Цукерберг критиковал руководителей проектов генеративного ИИ за излишнюю осторожность и ограничения, из-за которых чат-боты казались «скучными».
В апреле в интервью подкастеру Дваркешу Пателю Цукерберг говорил, что у большинства людей меньше реальных друзей, чем хотелось бы, и это создаёт большой рынок для цифровых компаньонов. По его словам, боты «вероятно» не заменят человеческие отношения, но будут их дополнять, когда технология улучшится и исчезнет «стигма» общения с виртуальными собеседниками. «Со временем мы как общество найдём слова, чтобы объяснить, почему это ценно», — сказал он.
История Вонгбанду иллюстрирует опасную сторону этой концепции. Семья надеется, что их опыт привлечёт внимание к рискам бесконтрольного развития ИИ-компаньонов.
<span style="font-size: 8pt;">*Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
- Источник новости
- www.securitylab.ru
