Китайские плюшевые мишки со встроенным ИИ рассказывали детям о сексе и учили их поджигать спички.
Компания FoloToy попала под скандал из-за своей «умной» игрушки Kumma — говорящего плюшевого мишки, работающего на GPT-4o.
В какой-то момент он начал говорить детям крайне недопустимые вещи:
— обсуждал сексуальные фетиши (например, ролевые сценарии вроде «учитель–ученик»), объяснял, что такое «кинки», предлагал ребёнку попробовать что-то из этого, задавая вопрос: «Что тебе кажется самым весёлым для изучения?»;
— давал советы о том, где достать спички и как ими пользуются взрослые.
ИИ фактически игнорировал любые защитные фильтры, и мишка вёл себя так, как ни при каких условиях не должна вести себя детская игрушка.
После этого компании пришлось временно остановить продажи всех своих изделий.
Не хочется это повторять, но такое тоже было в «Чёрном зеркале»
