Google разрабатывает технологию обработки снимков в реальном времени

На текущей неделе на выставке SIGGRAPH профессионалы из Google и МТИ представят новейшую систему, которая сумеет автоматом ретушировать изображения в стиле профессионального фотографа. В процессе исследования нейронной сети было выбрано 5 фотографий, созданных Adobe и MIT. Всего для обучения системы было использовано около 5-ти тыс. снимков. Каждое изображение было отретушировано пятью разнообразными фотографами.

«Сырые» кадры, снятые современными камерами, перед публикацией в глобальной сети обрабатываются. Сам по себе он весит не больше цифровых снимков, говорится в блоге MIT. В ее основе лежит систем сверточной нейросети. Чтобы он работал скорее, редактирование происходит на уменьшенной версии фото, а уже потом нейронная сеть перенесет ретушь на настоящее изображение. Тестирование программы на телефоне показало, что она способна в реальном времени выводить на дисплей обработанное изображение с разрешением 1920*1080 пикселей и частотой обновления в 40-50 герц. Приложение даст возможность обработать фотокарточку в различных стилях, истратив на съемку любого фото не больше памяти, чем на обыденную цифровую фотосессию. Иными словами, нейронная сеть может быть натренирована на новом наборе изображений, чтобы имитировать стиль определённых фотографов. Приблизительно так работают художественные фильтры в приложениях от компаний Prisma и фейсбук, имитирующих стилистику тех либо иных живописцев.