Нейросеть Microsoft научилась создавать иллюстрации по текстовому описанию

Ежели искусственному интеллекту поручить задачу нарисовать, например, «красно-белую птичку с очень коротким клювом», он сгенерирует необычайное изображение из кусочков тыс. увиденных ранее.

Система искусственного интеллекта, созданная специалистами компании Microsoft, нарисовала птичку на основе текстового описания. Что получилось, можно посмотреть в заголовке статьи.

Так, система создала изображение с нуля, не выбирая подходящее из базы данных.

«Если вы пойдете на Bing, и поищете птицы, то получите большое количество сходных изображений с птицей, однако тут фотографии создаются при помощи компьютера с нуля, пиксель за пикселем. Эти птицы могут и не жить в реальном мире — они являются „воображением“ нашего компьютера», — разъяснил руководитель центра глубоких исследований в лаборатории Microsoft Сяодун Хэ. В Microsoft идут дальше и видят применение своего алгоритма в анимационных фильмах, созданных компьютером только по сценарию.

Кроме того, Drawing Bot может самостоятельно создавать портреты на основе набросков.

Такая система может использоваться, например, как помощник для создания набросков для живописцев и дизайнеров интерьеров либо как инструмент для обработки фотографий с голосовым управлением. Также в основе системы лежит нейросеть под названием SeeingAI, которая отвечает на вопросы, связанные с изображениями. «Внимание — это человеческое качество, мы же используем математику, чтобы сделать внимание вычисляемым», — говорит Хэ. CaptionBot обучался на парах изображений и подписей, которые подсказывают, как слова соотносятся с какими фотоснимками.