Группа ученых из компании Adobe Systems и Корнеллского университета разработали новую технологию, которая переносит графический стиль с одного изображения на другое. В отличие от Prisma, которая берет в качестве образца "арт-фильтры" на основе картин именитых художников, программа Deep Photo Style Transfer накладывает на картинку цвета и освещение, "позаимствованные" у снимка-эталона. Ссылка на новость. Ссылка на github (исходники и примеры). PS. На Гитхабе код на Питоне: lua скрипты.
Никак. Это нейросеть. Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях Когда-нибудь в будущем мы сможем надеть очки — и ходить по городу, который рендерится в реальном времени в том стиле, какой нам нравится. Солнечный свет или лёгкая дымка, вечерний закат, что угодно. Независимо от того, насколько унылая архитектура — в очках она будет прекрасной. Такие возможности рендеринга с перенесением стилей открывает потрясающая программа Deep Photo Style Transfer, которая опубликована в открытом доступе, также как и научная работа, лежащая в её основе (arXiv:1703.07511). Перенос стиля с одного изображения на другое — старая проблема, которую относительно успешно пытались решить разработчики в прошлом. Правильно подобрав образец для переноса стиля, можно красиво трансформировать свою фотографию — как будто она сделана в другое время суток, под иным освещением, в другую погоду или специальным образом художественно обработана. До настоящего времени техники переноса стилей с помощью нейросетей были относительно ограниченными — или они могли работать только с определёнными сценами, или страдала правдоподобность переноса стилей. Авторы новой программы Deep Photo Style Transfer постарались решить все эти проблемы. Нейросеть Deep Photo Style Transfer построена в соответствии с техникой переноса стилей Neural Style, описанной в работе Гэтиса, но значительно переработана и улучшена. Главное улучшение заключается в фотореалистичности. У Гэтиса даже если исходное изображение и образец являются фотографиями, конечное изображение всё равно напоминает рисунок, где чёткие линии и границы становятся размытыми, а текстуры накладываются на соседние объекты. Выглядит красиво, но не очень реально. Только цветовое пространство Результат работы Deep Photo Style Transfer строго фотореалистичен. «Эффекты живописи» устранили за счёт запрета на пространственные искажения. Здесь перенос стилей ограничен только цветовым пространстве. Другими словами, формы объектов остаются точно такими же, как в оригинале. Именно по этой причине в будущем станут возможными «очки», о которых говорилось в начале статьи. Все объекты в окружающей реальности сохранят свои очертания, просто будут выглядеть в другом стиле. Поставленной задачи авторы добились, использовав специфичный слой нейросети в духе матрицы Кирхгофа (Laplacian matrix) — представления графа в виде матрицы. Как показала проверка на фотографиях с различными сюжетами, такой подход успешно подавляет искажения, в то же время оказывая минимальное влияние на достоверность фотографий. Наиболее наглядно описанный принцип проявляются в двух специально подобранных примерах. Как видим, границы объектов чётко сохраняются. Преобразование происходит только в цветовом пространстве. В первом случае стиль огня переносится на флакон с духами, а во втором случае меняется текстура яблок в соответствии с шаблоном. Семантическая сегментация Второе достижение авторов программы — решение проблемы с переносом стиля между неподходящими объектами на исходной фотографии и образце стиля. Это сделано за счёт семантической сегментации. Поэтому стили домов переносятся только между домами, и стиль неба влияет только на небо. Во многих случаях семантическая сегментация очень эффективно работает, если только на образце стиля есть те же семантические объекты, что на исходном изображении. Два вышеупомянутых подхода обеспечили исключительно реалистичное преобразование фотографий. Оригинал Образец стиля Итоговое изображение Вот ещё несколько примеров. Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Оригинал Образец стиля Итоговое изображение Качество работы такого алгоритма можно определить только по результатам опроса пользователей, которые оценивают фотореализм и достоверность передачи стиля. Такой опрос бы проведён. Он показал, что по уровню фотореализма Deep Photo Style Transfer значительно превосходит представленные ранее разработки Neural Style и CNNMRF, но уступает системе передаче цвета Пити. По достоверности передачи стиля Deep Photo Style Transfer намного лучше других методов. Авторы научной работы намерены продолжить исследования, чтобы преодолеть существующие ограничения сегментации изображений. Они также считают перспективным направление обработки фотографий в реальном времени с помощью предварительно обученной нейросети. источник Geektimes
Ну я рад безумно за ученных, а нам что с этого? Возможность его использования для нас простых смертных есть? Или остается только радоваться за других?))
Аналогично. Я тоже обрадовался вначале и стал программу примеривать на себя - как бы ею воспользоваться, но как только почитал о нейросетях, (ибо и знать не знал, что это такое ), то понял, что до практического применения простым пользователем подобной технологии и пользования этой программой - ой-как далеко... ps для любопытствующих: доступное описание принципа работы нейронных сетей.
Ни так страшен черт, как его малютка Нейросеть - это метод обработки данных, ничего более. Работает на обычных компах. Они пишут, что, на Убу́нту, этот исходный код написанный на Питоне, запущенный через Торч, прекрасно работает https://github.com/luanfujun/deep-photo-styletransfer http://torch.ch/docs/getting-started.html#_
Спасибо за уточнение, значит на любом дебиановском линуксе будет работать, стоит Mint , если разберусь с неизвестным мне Торчем (представления не имею, что это ) ,то попробую. ps вроде по ваше ссылке про Torch доступно объяснено...
В любой системе со средой исполнения скриптов Питон теоретически должен работать. Я не знаю этого языка и это слишком сложный проект для первого знакомства. Полагаю, выложили в исходниках что-то типа клиента нейросети, а не нейросеть. То есть, это нечто типа гибрида браузера, который определённым образом формирует поисковые запросы и анализирует ответы нейросети, совмещённый с графическим редактором.
Совсем скоро мы будем загружать в камеры пресеты, по которым фотоаппараты будут обрабатывать снимки в реальном времени: на карточку будут сохраняться картинки с уже наложенной обработкой. Что-то типа существующих «творческих стилей», только не зашитых производителем, а индивидуально выбранных и загружаемых фотографом. Со времён начала цифровой фотографии я думаю о 3-D программе Maya, где туман — атрибут камеры, а не всех элементов 3-D сцены. Захотелось картинку с туманом — повесил опцию на камеру и всё =)
Народ пишет, что программу надо собирать, что непросто для человека, обладающего минимум знаний в компьютерной сфере. А как готовый продукт нигде нет ссылки на закачку?
