2 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Apple — Разработчики поделились деталями Deep Fusion

Магия Deep Fusion от Apple: Что это на самом деле?

На прошлой неделе Apple выпустили бета-версию iOS 13.2 в которой стала доступна новая революционная технология Deep Fusion, улучшающая фото. Результаты первых тестов получились неоднозначными, вроде бы стало лучше, а вроде бы это совсем чуть-чуть заметно.

Поэтому мы решили разобраться, что это за зверь такой и вообще кому Deep Fusion нужен. Что на самом деле делает эта технология и есть ли в ней смысл?

Как работает?

Начнём с того зачем вообще понадобилась новая технология и что она делает? Если спросить большинство пользователей Apple, они ответят: делает красиво! На самом деле все это работает весьма интересно!

ЭТАП 1

Еще до того как вы нажали на кнопку затвора, в циклическом буфере вращается 8 фотографий: 4 с короткой выдержкой, чтобы заморозить движение и 4 с нормальной.

Плюс ко всему, после нажатия кнопки затвора, делается ещё один снимок, с длинной выдержкой и соответственно яркой экспозицией.

ЭТАП 2

Далее из снимков с короткой выдержкой выбирается наиболее удачный, он становится референтным кадром из которого будут браться контуры и информация о светлых участках. Пока это всё очень напоминает то как делает снимки Pixel со своим HDR+, но вот дальше Apple начинает удивлять.

ЭТАП 3

Дальше, из трех кадров с нормальной выдержкой и одного с длинной каким-то волшебным образом создаётся, так называемый, синтетический длинный снимок. В котором мало шума и есть информация в тенях.

ЭТАП 4

В завершение начинается какое-то вычислительное нейронное пиксельное соитие от Apple: склеиваются референсный и синтетический длинный снимок.

Но самое интересное вот что. Различным участкам этих кадров присваивается один из четырёх уровней детализации. Однотонные области, такие как небо, стены, и прочее — получают наименьший уровень, а, например, кожа, волосы, ткани — наивысший.

Потом оба снимка сливаются воедино, причём необычно: из одного одного снимка берутся только детали, а из другого — цвет, тон и яркость.

Начнём с натюрморта

На первый взгляд снимки одинаковые, но если присмотреться можно заметить, что ковер и нитки в нижнем правом углу выглядят заметно детальнее на фотографии справа.

С другой стороны, если посмотреть на синюю папку на обычной фотографии текстура однородная, а на фотографии с Deep Fusion видно, что какие-то участки детальные, а какие-то размытые. Тоже самое с чёрной тканью в центре кадра (посередине такая размазня).

Видимо, это как раз следствие разбивки фотографии на 4 уровня детализации. Какому-то участку кадра везет, а какому-то нет. Пока что алгоритм в бета-версии, тем более на этой фотографии чуть по разному сработал автофокус, поэтому не будем судить строго. Погнали дальше.

Следующее фото сделано с той же точки на телеобъектив.

Если не приближать снимок, полученный с помощью Deep Fusion фотография выглядит заметно детальнее, контрастнее, лучше видны текстуры. Но если увеличить видно что, всё не так однозначно.

Синяя папка всё также неравномерно размыта, тут явно проблема не в автофокусе, просто так работает алгоритм.

А если посмотреть на текст комикса видно, что разрешение на Deep Fusion фотографии существенно ниже чем на обычной.

Результат неоднозначный, с одной стороны разрешение упало, но с другой, если не увеличивать, фотография с Deep Fusion выглядит интереснее.

Вот ещё пара примеров с телеобъектива. В обоих случаев фотографии с Deep Fusion выглядят немного контрастнее, но в целом мало чем отличаются от Smart HDR.

Теперь перейдём к портретам.

И вот тут выясняется интересный момент. Несмотря на заявление Apple, что Deep Fusion должен работать при среднем освещении, на практике выяснилось, что при обычном комнатном освещении он не включается. Не говоря уже про уютный свет в любимом баре.

Deep Fusion начинает работать только при довольно ярком искусственном освещении или на улице в пасмурную погоду. В более темных сценариях начинает работать ночной режим.

В текущей бете не так легко понять, что Deep Fusion используется в конкретном снимке. Для этого надо сразу после съемки открыть фотку, и если она будет обрабатываться и чуть изменится, значит функция активировалась.

Читать еще:  Overwatch — В реестр персонажей добавили Эхо

Причем, чем ярче освещение тем больше заметен эффект. Вот пример портретов на телеобъектив.

Довольно тусклый свет, ISO 500:

Это нижняя граница, при которой Deep Fusion включается, но никаких преимуществ по сравнению со Smart HDR не даёт.

Но уже на ISO 400 Deep Fusion уже существенно вырывается вперед.

С увеличением количества света отрыв нарастает.
ISO 200:

ISO 125

ISO 100

ISO 80

Разница заметна ещё больше при съемке на основной широкоугольный модуль.

Становится видно текстуру кожи, каждую морщинку, каждый волосок. Начинаешь замечать, что стареешь, ценить каждый момент. Думать, как там у мамы дела, давно не звонил… А ещё собака лучше получается на фотографиях.

Для ярких дневных сцен в солнечной Калифорнии в iPhone есть Smart HDR. Для ночной фотографии — ночной режим. А вот для глубокой проработки деталей в условиях среднего освещения придумали Deep Fusion.

Идеально для нашей пасмурной осени, любви к свитерам и коврам. Спасибо Apple, что не забываете про Россию матушку!

Заключение

В итоге, технология Deep Fusion выглядит многообещающу, но очевидно пока она недоработанная. Apple позже всех игроков подключилась к гонке вычислительной фотографии и сейчас всеми силами показывает, что они настроены серьёзно. А это здорово для развития отрасли в целом! Будем надеяться, что к выходу Pixel 4 они допилят технологию, а мы сделаем эпичное сравнение.

Огромное спасибище за помощь в работе над материалом Антону Евстратенко.

Это снимки, сделанные на iPhone 11 с помощью Deep Fusion. Что это?

В последние годы Apple изменила подход к расширению функциональных возможностей своих устройств, предпочитая подавать их дозировано. Такой подход имеет массу преимуществ. Зачем, в конце концов, вываливать всё сразу, если можно растянуть удовольствие и, подержав целевую аудиторию какое-то время в ожидании, выпустить апдейт с долгожданным нововведением и убить тем самым двух зайцев? Так и времени на его проработку будет достаточно, и интерес пользователей к новой функции окажется выше, если её подать как главную фишку свежего обновления. Deep Fusion — не исключение.

Тройная камера iPhone 11 Pro Max может снимать ещё лучше

Apple представила технологию съёмки Deep Fusion на презентации iPhone 11. Её предназначение состоит в глубокой обработке кадра с использованием искусственного интеллекта и нейронных сетей для получения на выходе максимально качественной фотографии независимо от условий, в которых ведётся съёмка. В отличие от ночного режима, которым так или иначе можно управлять, Deep Fusion остаётся полностью незаметной для пользователя, работая полностью в автоматическом режиме.

Как Deep Fusion улучшает фото

Как работает Deep Fusion

Для повышения качества фотографии Deep Fusion задействует несколько методик. Во-первых, технология делает три снимка с короткой выдержкой до того как вы нажали на кнопку спуска затвора, а потом ещё четыре, одна из которых — на длинной выдержке. Таким образом после объединения кадров удаётся достичь более высокого уровня детализации кадра. Во-вторых, применяется попиксельная обработка кадра. Это значит, что технология анализирует каждый пиксель и улучшает его, получая на выходе максимально бесшумный и максимально чёткий снимок без засветов и тёмных зон.

Читайте также: Чем отличается камера iPhone 11 Pro от камеры iPhone XS

Вероятно, героев представленных фотографий специально нарядили в свитера тонкой вязки, чтобы продемонстрировать, насколько хорошо Deep Fusion справляется с обработкой мелких деталей. Дело в том, что при фотографировании рябых объектов камеры многих смартфонов впадают в ступор и превращают их в кашу. Однако благодаря продвинутым алгоритмам попиксельной обработки Deep Fusion с успехом справился с проработкой деталей свитеров и при этом сумел избежать пересветов там, где явно виднеется перепад освещения.

Когда выйдет iOS 13.2

Deep Fusion — замена кнопки «сделать хорошо»

Предполагалось, что Deep Fusion будет доступна на iPhone 11 и 11 Pro прямо из коробки, однако в Купертино решили отложить её воплощение до iOS 13.2. Скорее всего, первая бета-версия обновления, содержащего в себе технологию Deep Fusion, выйдет уже сегодня. Вообще-то, компания собиралась выпустить апдейт ещё вчера, однако за несколько часов до запуска столкнулась с непредвиденными трудностями и была вынуждена отложить распространение обновления на сутки. Поэтому, если вы хотите испытать Deep Fusion в числе первых, пора озаботиться поиском активного профиля разработчика.

Как работает технология сверхчетких фото Deep Fusion в iPhone 11. Примеры

Пользователи уже активно тестируют технологию Deep Fusion для автоматического улучшения фотографий, появившуюся в iOS 13.2 beta 1. Она комбинирует лучшие моменты с нескольких разных снимков в один, обрабатывая их нейросетью и выдавая лучший, наиболее детализированный результат.

В обычном режиме фотографирования вы не заметите, что функция включена. Она работает автономно.

Для работы Deep Fusion необходимо отключить опцию Захват фото вне кадра в меню Настройки -> Основные -> Камера.

Важно: снимки, полученные через эту технологию, прогружаются спустя 2-3 секунды. Если этого не произошло, просто приблизьте фото.

Читать еще:  Bloodlines 2: Добавили новый клан вампиров

Если вам не нравится результат, добавьте любой эффект в редакторе приложения Фото. Изображение станет мягче.

Примеры фото

Пример 1. Обратите внимание на надписи на линейке, с включённой технологией они получились очень чёткими, а с выключенной — размытыми.


Слева: Deep Fusion включён, справа: Deep Fusion выключен

Пример 2. Посмотрите на тумбу повнимательнее. На правой фотографии видно, как единственный на ней волосок хорошо выделяется, а не смешивается со всем фоном. Зелёная отделка стала более детализированной с iOS 13.2.


Слева: Deep Fusion включён, справа: Deep Fusion выключен

А вот снимки, сделанные Себастьяном Де Виттом. На ободе динамика с камеры iPhone 11 с iOS 13.2 видны более четкие текстуры, чем на iPhone 11 Pro с iOS 13.1.2.

Или другое фото с объективом при слабой освещённости. Видно, что надписи на объекте получились чётче, а шумов стало немного меньше.

Снимки сделаны на сверхширокоугольную камеру.


Слева: Deep Fusion включён, справа: Deep Fusion выключен


Слева: Deep Fusion включён, справа: Deep Fusion выключен

Пример от Тайлера Стейльмана. Deep Fusion отлично захватил бороду, лицо и некоторые элементы свитера.


Слева: Deep Fusion выключен, справа: Deep Fusion включен


Слева: Deep Fusion выключен, справа: Deep Fusion включен


Слева: Deep Fusion выключен, справа: Deep Fusion включен

Ниже очередной наглядный снимок от блогера с канала iPhonedo. Обратите внимание на линии.


Слева: Deep Fusion включен, справа: Deep Fusion выключен

А вот блогер с канала Mark’s Tech решил сравнить не фотографии с двух айфонов, а с Samsung Galaxy Note10+ и iPhone 11 с iOS 13.2. И знаете, «самсунг» сделал настоящую кашу, тогда как у айфона получился достаточно чёткий снимок.


Слева: iPhone 11 с Deep Fusion, справа: Samsung Galaxy Note10+

И напоследок. Фото листа кленового дерева от пользователя iMZ. На фотографии с Deep Fusion видны высокая детализация и текстура, тогда как без технологии перед нами размытый лист.


Слева: Deep Fusion включен, справа: Deep Fusion выключен

Что в итоге

Сейчас различия не всегда легко заметить, но уже видно, что технология работает. Фотографии, сделанные с помощью Deep Fusion, получаются более детализированными на обычной, сверхширокоугольной и телефото камерах. При приближении теряется меньше элементов, а шумы на снимках сглаживаются.

Пользователи отмечают, что полученные фотографии с Deep Fusion весят примерно в 2 раза больше, чем во время обычной съёмки. Тот же Стейльман говорит, что фото с iPhone XR занимает 1,4 МБ места, с iPhone 11 — 2,6 МБ.

Это только первая бета-версия iOS 13.2. Со временем Apple может улучшить работу технологии.

(4.78 из 5, оценили: 27)

Apple — Разработчики поделились деталями Deep Fusion

На сентябрьской презентации Apple показала технологию для камер iPhone, названную Deep Fusion. Тогда сообщалось, что технология все еще в работе и будет доступна с обновлением. На днях это случилось – Deep Fusion пришла с бета-версией iOS 13.2. Я ее протестировал и готов поделиться деталями, но для начала немного теории.

В чем суть Deep Fusion? Apple говорит, что эта технология позволяет запечатлеть невероятные детали в самых сложных условиях съемки (но не ночных, так как для ночи предусмотрен Ночной режим). Телефон делает 8 снимков с разной экспозицией, по аналогии со Smart HDR. Далее они помещаются в буфер, где из них создаются 2 референтных снимка. Следом Deep Fusion обрабатывает каждый пиксель у этих 2 снимков с помощью нейронных сетей на Neural Engine (всего изучаются 24 млн пикселей). В процессе нейронные сети анализируют оттенки, детали, а также шумовые характеристики каждого кадра для того, чтобы выбрать лучшие участки и определить, какой уровень шумоподавления применить к каждому пикселю. Затем камера попиксельно пересобирает новое фото с проработкой деталей, выдавая 1 кадр на 12 Мп (12 млн пикселей).

Из этого описания можно сделать несколько выводов. Во-первых, эта технология, по сути, является новым алгоритмом обработки снимков. То есть к ней надо относиться не как к функции, а как к алгоритму, на который вы никак не можете повлиять – он сам работает и не требует вашего вмешательства, и вообще имеет схожий с уже давно существующим Smart HDR подход. Поэтому не стоит настраивать себя на радикально иной результат, как в случае с ночным или портретным режимами. Во-вторых, эта технология основана на нейронке, то есть будет самообучаться и самосовершенствоваться, как было с портретным режимом. Так что во всей красе она должна раскрыться лишь с течением времени и не стоит выносить ей сейчас финальный вердикт.

Корректно ли сравнивать Deep Fusion от Apple с технологий HDR+ от Google (применяется в смартфонах Pixel и является основной портов Google Камера для других Android-девайсов)? Google описывает HDR+ таким образом: делается серия кадров с разной экспозицией, которая алгоритмически перераспределяет пиксели согласно среднему цвету по всей серии кадров. Данное описание скорее соотносится со Smart HDR, но не с Deep Fusion. У Deep Fusion иная цель – поднять детализацию, сохранив среднее экспонирование путем пересборки отдельных пикселей. Если хотите, то Deep Fusion стоит воспринимать как чуть более детализированный кадр, полученный через Smart HDR.

Читать еще:  Apex Legends: Создатели работают над новым персонажем

На практике так оно и выглядит: кадр с Deep Fusion очень похож на то, что выдает Smart HDR и если не приглядываться, то отличить их непросто. Но стоит посмотреть хотя бы в масштабе 100%, как детализацию замечаешь. Да, она не разительно выше, но она выше. И это именно проступившие детали (помните про пересобранные пиксели с разным уровнем шума?), а не поднятая резкость (перешарп).

«Но ведь Apple показывала свитер и обещала супердетализацию, а я чувствую себя обманутым!», — могут воскликнуть некоторые. И да, и нет. Это проблема завышенных ожиданий. Детализация выросла? Выросла. Сильно выросла? Тут уж как накрутили себя. Но лично я отношусь к ней как к новому алгоритму обработки снимков, на который я никак не могу повлиять – он просто есть и это нужно принять как факт, что с iOS 13.2 и выше (нейронка умеет учиться) новые iPhone 11 будут снимать с более высокой детализацией. И не заниматься перешарпом, а именно выявлять детали, которые ранее были замазаны шумодавом. После Deep Fusion предлагаю Apple переключить внимание на динамический диапазон ультраширокоугольного модуля – сейчас он является самым слабым местом тройного набора iPhone 11 Pro / 11 Pro Max.

И несколько нюансов. Deep Fusion работает только на телезуме и основной камере (широкоугольной; не путать с ультраширокоугольной). И нужно снимать в Наиболее совместимом формате (JPG), так как на HEIС оно пока не работает. На телезуме DF активируется почти всегда, а вот на основном модуле включается в условиях, когда не сильно темно, но и не сильно светло – в условиях между Ночным режимом и режимом, предпочтительным для Smart HDR. Проверить, сработал ли Deep Fusion, очень просто – после снятия кадра сразу переходите в Галерею и смотрите на фото. Если оно будет сначала мутным и потом станет четким, то Deep Fusion сработал, а если будет сразу резким, то включился Smart HDR и прежние алгоритмы. Посмотрим, что Google покажет с Pixel 4. Если недалеко уйдут от Pixel 3, то есть шанс, что смартфоном года с самой оптимизированной и всесторонне сильной камерой окажется iPhone 11 Pro Max.

Deep Fusion в камере iPhone 11 и 11 Pro: что это, как работает и как включить?

На презентации iPhone 11 и iPhone 11 Pro компания Apple поведала о появлении новой технологии Deep Fusion. Вице-президент по маркетингу, Фил Шиллер, назвал ее «безумной наукой вычислительной фотографии». Но оценить Deep Fusion в действии пользователи смогли только с выходом iOS 13.2.

Что делает Deep Fusion при съемке фото в iPhone?

Новшество предназначено для автоматического создания и улучшения снимков. Принцип действия этой технологии чем-то напоминает HDR. Камера iPhone создает несколько снимков с разной экспозицией и комбинирует их для обеспечения максимальной детализации. Участие в обработке принимает нейросеть. Но если HDR предназначена для расширения динамического диапазона и повышения детализации в тенях, то Deep Fusion позволяет улучшить общую детализацию снимков.

После нажатия и до срабатывания кнопки затвора камера самостоятельно делает три снимка, установив для них короткую выдержку. А уже после первого этапа съемки – еще 4 кадра, один из них с длинной выдержкой. Все эти 7 снимков обрабатываются попиксельно и объединяются на основе лучших вариантов. Такая работа позволяет увеличить детализацию, убрать шумы, засветы и перетемненные участки. На выходе получается максимально бесшумный и четкий снимок.

Как включить автоматическое улучшение фотографии Deep Fusion на iPhone?

Чтобы функция Deep Fusion работала, перейдите по пути Настройки → Основные → Камера и отключите опцию «Захват фото вне кадра». Впоследствии функция автоматически будет применяться аппаратом во время съемки в зависимости от условий.

Блогер Тайлер Стейльман одним из первых протестировал работу Deep Fusion на своем iPhone 11. Объектом для съемки он выбрал самого себя. Для сравнения блогер привел фото с включенной Smart HDR. На увеличенных фрагментах снимка нетрудно увидеть, что с помощью Deep Fusion намного лучше передана детализация бороды (видны даже волоски), структура кожи и узор рубашки.

Стейльман заметил, что вырос и размер файла. Если снятый на iPhone XR снимок Smart HDR занимает 1,4 МБ в формате HEIC, то на iPhone 11 аналогичный кадр, обработанный Deep Fusion, займет уже 2,6 МБ.

Какие iPhone поддерживают Deep Fusion?

Поддержка технологии Deep Fusion предусмотрена только в iPhone 11, 11 Pro и 11 Pro Max и более новых моделях смартфонов Apple. Это легко объяснить – обработкой снимкой занимается новый 8-ядерный нейронный движок, установленный в процессор A13. Он присутствует только в новых моделях iPhone.

Ссылка на основную публикацию
Статьи c упоминанием слов:
Adblock
detector