Как ученые вычисляют научные статьи, написанные ИИ

Ученые заметили, что чат-боты с искусственным интеллектом, как и некоторые писатели-люди, склонны слишком часто повторять определенные слова. Теперь эту особенность используют, чтобы выявлять случаи, когда исследователи тайно прибегают к помощи ИИ при написании научных работ.

Например, если в статье многократно встречаются слова вроде «приобретенный» (garnered) или «бурно развивающийся» (burgeoning), это может стать сигналом того, что к созданию текста причастен ИИ — примерно как студент, злоупотребляющий сложными словами, чтобы казаться умнее в своём эссе.

Согласно отчету The New York Times, исследование Университета Тюбингена (Германия) показало, что ИИ-чаты часто используют 454 специфических слова, такие как «охватывающий» (encompassing) или «сложный» (intricate).

Проанализировав эти данные, ученые пришли к выводу, что от 13,5% до 40% аннотаций в биомедицинских журналах (кратких описаний исследований) могли быть полностью или частично написаны ИИ.

Учитывая, что в базе данных медицинских исследований PubMed ежегодно публикуется около 1,5 миллиона статей, это означает, что как минимум 200 000 работ могут быть созданы с помощью ИИ. И эта цифра, вероятно, занижена, если авторы редактируют текст, чтобы скрыть его искусственное происхождение.

Некоторые исследователи даже не пытаются скрывать использование ИИ. Например, Суббарао Камбхампати из Университета Аризоны привел в X пример из низкокачественного радиологического журнала, где в примечании прямо указано, что статья написана чат-ботом.

Там даже было сказано:

«Мне очень жаль, но у меня нет доступа к актуальной информации или данным пациентов, так как я — языковая модель ИИ».

Другие случаи обнаружить сложнее. Например, если вы не знаете фразу «сгенерировать ответ» (regenerate response) — функцию ChatGPT, позволяющую переписать ответ, — вы можете не заметить её в текстах солидных журналов, как отмечал блог Retraction Watch ещё в 2013 году.

Ещё один курьёзный пример — статья о многоножках, в которой ИИ придумал фальшивые ссылки, словно школьник, выдумывающий источники для реферата. Работа была удалена из одной базы данных, но позже появилась в другой — с теми же вымышленными цитатами.

А в одном журнале статью отозвали после того, как читатели заметили абсурдный текст и сгенерированное ИИ изображение крысы с гротескно огромными гениталиями. Как если бы кто-то сдал научную работу с нелепой компьютерной картинкой, надеясь, что никто не обратит внимания.

Ситуация усложняется тем, что некоторые учёные теперь намеренно меняют стиль письма, избегая слов, которые часто использует ИИ, например, «углубляться» (delve), как отметил Камбхампати в NYT.

Исследователи из Тюбингена в своей работе (Science Advances) предполагают, что если их выводы подтвердятся, влияние ИИ на научные публикации окажется «беспрецедентным для биомедицинских исследований, превзойдя даже эффект таких глобальных событий, как пандемия COVID».

Дмитрий Кобак, соавтор исследования, признаётся, что эта тенденция его удивляет:

«Казалось бы, когда пишешь аннотацию к своей статье — дело слишком важное, чтобы доверять его машине».

Это всё равно что поручить калькулятору написать свадебные клятвы — в таких вещах ожидаешь больше осознанности.