Искусственный интеллект эмоций использует биологические сигналы, такие как тон голоса, выражения лица и данные с носимых устройств, а также текст и то, как люди используют свои компьютеры, обещая обнаружить и предсказать, что кто-то чувствует. Он используется как в обыденных контекстах, таких как развлечения, так и с высокими ставками, такими как рабочее место, найм на работу и здравоохранение. Широкий спектр отраслей промышленности уже использует искусственный интеллект эмоций, включая колл-центры, финансы, банковское дело, сестринское дело и уход за больными. Более 50% крупных работодателей в США используют искусственный интеллект эмоций для определения внутреннего состояния сотрудников - практика, которая получила распространение во время пандемии COVID-19. Например, колл-центры отслеживают, что говорят их операторы, и их тон голоса. Ученые выразили обеспокоенность по поводу научной обоснованности эмоционального ИИ и его зависимости от оспариваемых теорий об эмоциях.
Они также подчеркнули потенциал эмоционального ИИ для вторжения в частную жизнь и проявления расовых, гендерных предубеждений и предубеждений в отношении инвалидности. Некоторые работодатели используют технологию так, как будто она безупречна, в то время как некоторые ученые стремятся уменьшить ее предвзятость и повысить ее достоверность, полностью дискредитировать ее или предложить запретить эмоциональный ИИ, по крайней мере, до тех пор, пока не станет известно больше о ее последствиях. Я изучаю социальные последствия технологии. Я считаю, что крайне важно изучить последствия эмоционального ИИ для людей, подвергающихся его воздействию, таких как работники, особенно для тех, кто маргинализирован по признаку расы, пола или инвалидности. Чтобы понять, как продвигается использование эмоционального ИИ на рабочем месте, мы с моей коллегой Карен Бойд решили изучить концепции изобретателей эмоционального ИИ на рабочем месте. Мы проанализировали патентные заявки, в которых предлагались технологии эмоционального ИИ для рабочего места.
Предполагаемые преимущества, заявленные заявителями на патент, включали оценку и поддержку благополучия сотрудников, обеспечение безопасности на рабочем месте, повышение производительности труда и помощь в принятии решений, таких как продвижение по службе, увольнение сотрудников и распределение задач. Нам было интересно, что работники думают об этих технологиях. Воспримут ли они также эти преимущества? Например, сочтут ли работники выгодным, чтобы работодатели оказывали им материальную поддержку? Мои коллеги Шенли Корвайт, Кэт Реммич, Тилли Илана Розенберг и я провели опрос, частично репрезентативный для населения США, а частично с избыточной выборкой для цветных, транс- и небинарных людей и людей, живущих с психическими заболеваниями. Эти группы могут с большей вероятностью испытать вред от эмоционального ИИ. В нашем исследовании приняли участие 289 человек из репрезентативной выборки и 106 участников из избыточной выборки. Мы обнаружили, что 32% респондентов сообщили, что не испытывают или не ожидают никакой пользы для себя от использования эмоционального искусственного интеллекта, будь то текущего или ожидаемого, на своем рабочем месте.
В то время как некоторые работники отметили потенциальные преимущества использования эмоционального ИИ на рабочем месте, такие как повышенная поддержка благополучия и безопасность на рабочем месте, отражающие преимущества, заявленные в патентных заявках, все также выразили обеспокоенность. Они были обеспокоены ущербом для их благополучия и неприкосновенности частной жизни, вредом для их производительности труда и статуса занятости, а также предвзятостью и стигматизацией психического здоровья в отношении них. Например, 51% участников выразили обеспокоенность по поводу конфиденциальности, 36% отметили потенциальную возможность неверных выводов, которые работодатели примут за чистую монету, и 33% выразили обеспокоенность тем, что выводы, генерируемые эмоциональным ИИ, могут быть использованы для принятия несправедливых решений о приеме на работу.
Один участник, у которого было множество проблем со здоровьем, сказал: "Осознание того, что я подвергаюсь анализу, по иронии судьбы оказало бы негативное влияние на мое психическое здоровье". Это означает, что, несмотря на заявленные цели emotion AI по выявлению и улучшению самочувствия работников на рабочем месте, его использование может привести к противоположному эффекту: ухудшению самочувствия из-за потери конфиденциальности. Действительно, другая работа моих коллег Реммиха, Флориана Шауба и меня предполагает, что потеря конфиденциальности, вызванная эмоциональным ИИ, может нанести целый ряд ущерба частной жизни, включая психологический, автономный, экономический, отношения, физический и дискриминацию. На опасения, что эмоциональная слежка может поставить под угрозу их работу, участник с диагностированным психическим расстройством сказал: "Они могут решить, что я больше не подхожу на работу, и уволить меня. Решить, что я недостаточно способный, и не повысить зарплату, или подумать, что я недостаточно работаю".
Участники исследования также упомянули о потенциальном усилении дисбаланса власти и сказали, что они опасаются динамики, которая сложилась бы у них с работодателями, если бы эмоциональный ИИ был интегрирован в их рабочее место, указывая на то, как использование эмоционального ИИ потенциально может усилить уже существующую напряженность в отношениях между работодателем и работником. Например, респондент сказал: "Степень контроля, которую работодатели уже имеют над сотрудниками, предполагает, что будет мало проверок того, как будет использоваться эта информация. Любое "согласие" [со стороны] сотрудников в значительной степени иллюзорно в этом контексте". Наконец, участники отметили потенциальный вред, такой как технические неточности emotion AI, потенциально создающие ложное впечатление о работниках, и emotion AI, создающий и увековечивающий предвзятость и стигматизацию в отношении работников. Описывая эти проблемы, участники подчеркнули свой страх перед работодателями, полагающимися на неточные и предвзятые системы искусственного интеллекта эмоций, особенно в отношении цветных людей, женщин и трансгендеров.
Например, один участник сказал: "Кто решает, какие выражения "выглядят агрессивными", и как можно определить людей как угрозу только по выражению их лиц? Система, конечно, может читать лица, но не мысли. Я просто не могу понять, как это на самом деле может быть чем-то иным, кроме как разрушительным для меньшинств на рабочем месте". Участники отметили, что они либо отказались бы работать в месте, где используется emotion AI — вариант, недоступный многим, — либо вели бы себя так, чтобы emotion AI воспринимал их благосклонно, чтобы защитить их частную жизнь. Один участник сказал: "Я бы тратил огромное количество энергии на маскировку, даже находясь один в своем офисе, что сделало бы меня очень рассеянным и непродуктивным", указывая на то, что использование эмоционального ИИ наложило бы дополнительный эмоциональный труд на работников. Эти результаты указывают на то, что эмоциональный ИИ усугубляет существующие проблемы, с которыми сталкиваются работники на рабочем месте, несмотря на то, что сторонники эмоционального ИИ утверждают, что он помогает решить эти проблемы.
Если эмоциональный ИИ действительно работает так, как заявлено, и измеряет то, что он якобы измеряет, и даже если проблемы с предвзятостью будут решены в будущем, работники все равно будут испытывать вред, такой как дополнительный эмоциональный труд и потеря конфиденциальности. Если эти технологии не измеряют то, что они заявляют, или они предвзяты, то люди оказываются во власти алгоритмов, которые считаются действительными и надежными, когда это не так. Работникам все равно пришлось бы прилагать усилия, чтобы попытаться уменьшить вероятность того, что алгоритм неправильно прочтет их, или проявлять эмоции, которые были бы благоприятны для алгоритма. В любом случае, эти системы функционируют как технологии, подобные паноптикуму, создавая угрозу конфиденциальности и ощущение, что за ними наблюдают.
