ИИ может предсказывать расу людей по рентгеновским снимкам, и ученые обеспокоены

Полученные результаты вызывают несколько серьезных опасений относительно роли ИИ в медицинской диагностике, оценке и лечении: могут ли компьютерные алгоритмы ошибочно применять расовые предубеждения при анализе подобных фотографий?

Международная группа исследователей в области здравоохранения из США, Канады и Тайваня проверила свой ИИ на рентгеновских снимках, которые компьютерная программа никогда раньше не видела, после обучения на сотнях тысяч существующих рентгеновских изображений, аннотированных с учетом особенностей пациента. гонка.

Даже когда сканы были взяты у людей одного возраста и пола, ИИ смог с поразительной точностью предсказать заявленную расовую идентификацию пациента на этих фотографиях. С некоторыми группами фотографий система достигла точности 90%.

“Мы стремились провести всестороннюю оценку способности ИИ распознавать расовую принадлежность пациента по медицинским изображениям.— написали исследователи в опубликованном отчете.

“Мы показываем, что стандартные модели глубокого обучения ИИ могут быть обучены прогнозировать расу по медицинским изображениям с высокой производительностью в нескольких модальностях визуализации, что было подтверждено в условиях внешней проверки.”

Согласно более ранним исследованиям, сканирование рентгеновских снимков с помощью искусственного интеллекта с большей вероятностью пропускало признаки болезни среди чернокожих. Ученые должны сначала выяснить, почему это происходит.

Искусственный интеллект (ИИ) предназначен для воспроизведения человеческого мышления, чтобы быстро обнаруживать закономерности в данных. Однако это означает, что он непреднамеренно подвержен тем же предубеждениям. Хуже того, их сложность затрудняет отделение от них наших предубеждений.

Ученые теперь не уверены, почему система ИИ так хорошо определяет расу по фотографиям, которые, похоже, не содержат такой информации. Даже с минимальной информацией, такой как отсутствие подсказок о плотности костей или фокусировка на крошечной части тела, модели очень хорошо предсказывали расу, представленную в файле.

Вполне вероятно, что система обнаруживает меланин, пигмент, который придает коже ее цвет, способами, которые науке еще предстоит открыть.

“Наш вывод о том, что ИИ может точно предсказать расовую принадлежность, о которой сообщают сами, даже по искаженным, обрезанным и зашумленным медицинским изображениям, часто, когда клинические эксперты не могут этого сделать, создает огромный риск для всех развертываний моделей в медицинской визуализации.— пишут исследователи.

Исследование добавляет к растущему объему данных, что системы ИИ часто могут воспроизводить человеческие предубеждения и предубеждения, будь то расистские, сексистские или иные. Искаженные обучающие данные могут привести к искаженным выводам, что сделает их бесполезными.

Это должно быть сбалансировано с высокой способностью искусственного интеллекта обрабатывать гораздо больше данных намного быстрее, чем люди, во всем, от диагностики заболеваний до прогнозов изменения климата.

В исследовании осталось много нерешенных вопросов, но на данный момент крайне важно осознавать возможность расовой предвзятости в системах искусственного интеллекта, особенно если мы собираемся возложить на них больше ответственности в будущем.

“Нам нужно взять паузу,– заявил изданию Boston Globe научный сотрудник и врач Массачусетского технологического института Лео Энтони Чели.

“Мы не можем спешить с внедрением алгоритмов в больницы и клиники, пока не убедимся, что они не принимают расистских или сексистских решений.”