Камера. Портретный режим и ожидания блогеров

Веcной наткнулся на твит

Моё мнение такое, что инженерам Apple не стоит это читать, т.к. они уже как два года используют машинное обучение для отделения объектов в фокусе от фона, а рассказали об этом ещё на презентации iPhone 7 Plus.


Но я хочу затронуть следующую вещь.
После выхода Pixel 2\XL твиттерская «гиковская» тусовка стала нахвалить гугловский продукт по части камеры — замечательный HDR+, прекрасная ночная съёмка, достойные селфи, и божественный портретный режим даже с одной камерой.

Как уже писал, по совокупности результатам слепых тестирований фоточасть Pixel 2\XL оказалась далеко не топчик.

А если рассматривать портретный режим (лично я взял именно iPhone 7 Plus, а не обычный только из-за этого), то на Pixel 2 он такого качества, что умудряется «выделять» на портретах людей волосинки. Это действительно смотрится эффектно, и действительно на iPhone с этим проблемы — на смартфоне от Apple волосы «замыливаются».

Пример «плохих\замыленных кончиков» волос от iPhone

И хорошие, почти, волосы от Google Pixel 2, особенно прядь снизу слева.

Казалось бы, что iPhone в очередной раз посрамлён computational photography-ей от Google, твиттерские об этом твердят не переставая, но только они не учитывают того, что при реализации портретного режима, т.е. одной и той же фичи, у гигантов индустрии были разные цели.

Ещё раз повторю, т.к. это ключ понимания к тому, почему техноблоггеры вечно «ноют» на Apple.

Реализовывая какую либо функциональность, Apple преследует свои цели. И они не обязательно совпадают с техноблогеррскими и/или вашими.

Можно относится к такому эгоизму как угодно, но 1 триллион капитализации просто так не дают.

Говоря в контексте фичи «портретный режим», Apple сделала в своей реализации не только готовое фото с эффектом боке, но и возможность live предпросмотра эффекта. Об этом так же упоминали на презентации iPhone 7 Plus.

В жизни это выглядит так:

Можно заметить, что в live preview используется грубая маска, объекты, например, деревянные перила и кусок каменной стены справа, размазаны частично. На финальной фотографии с ними всё ок, и опять же снова пострадала прядь волос, но как с фотографией с мальчиком, результат вполне себе приемлем.

А тем временем, нахваливаемый Google поступает следующим образом.

Шаг номер 1) — делаете фото
для просмотра результат вы делаете шаг номер 2) — идете в галерею
и , почти шаг номер 3) —  киллер фича — надо подождать.


источник

Внизу слева прям так и пишут — Processing. Т.е. эффект «портретное фото» применяется offline.

Кто-то скажет, ну, что такого — подождать 1 раз и всё. Только о чем молчат твиттеры — это то, что эффект портрета у пикселя бывает и не срабатывает 🙂 , т.е. можно сделать 10 фото на сложном фоне, а нейроная сеть не сможет понять, что-где, а момент, особенно с детьми уже упущен.

Google сами заявили, что использовали миллионы фото для обучения нейронки, чтобы отделять зёрна от объект от фона.

Только сколько миллионов не бери всё равно этого мало, чтобы нормально вычленить объекты на сложном фоне. Примеры.

Ой, деревья на горе вылезли:

Ой, занавеска в фокусе

Ой, снова флора портит всё канву.

И самая забавная фича — игнорировать человека, но в данном случае, возможно оно и к лучшему 🙂

Некоторые блоггеры, особенно калининградские любители бокса лидеры мнений живут в выдуманном мире, что якобы нейроная сетка со временем обучается и делает фото лучше. Не хочу их расстраивать, но мы же понимаем, что этого не будет, т.к. чтобы обучить правильному результату, надо растолковать где не правильно и в чем ошибка. Такое проделывать смартфоны на Snapdragon в 2017 и 2018 ещё не способны.

При этом, хочу отметить, что Apple тоже двинулась от realtime эффекта к offline :(. Я удивился, когда увидел, что эффект студийного света из iOS 11 не виден сразу, а как на пикселе, приходится делать фото, а потом смотреть на результат, и нередко он плачевный.

 

Вывод простой — техно-блогеров читай, но сам проверяй. Как ни крути, 2 камеры будут лучше одной, результат стабильнее, а machine лёнинг для корректной обработки волос всегда можно улучшить, например, как это сделали в iOS 12

А с одной камерой, как у Pixel 3 XL , сколько нейроную сеть не обучай, всё равно мало будет. Но это я уже повторяюсь.


Pixel 3XL. Знаменитая точность обтравки объектов в фокусе куда-то растерялась.

P.S.

Если говорить об азиатских смартфонах, то на мой взгляд, всем им присуща неестественная форма размытия, слишком вычурная. Достаточно посмотреть на то, как «корректно» учитывается перспектива на фото и какое боке у источников света. Сказываются сжатые сроки, чтобы догнать грандов, слабая экспертиза в тренировке нейронок и отсутсвие вкуса.

А дальнейшим развитием мне видится, применение эффекта боке для видео съёмки, это отличная возможность продемонстрировать на что способны CPU от Apple.

via GIPHY