Что такое цифровая фотография?

Производители смартфонов полагаются на цифровую фотосъемку для улучшения изображений, полученных с помощью очень маленьких сенсоров. Вот краткое описание того, как это работает.

Аппаратное обеспечение камеры смартфона становится интересным. Начиная с 200-мегапиксельной основной камеры Samsung Galaxy S23 Ultra и заканчивая Xioami 13 Ultra с регулируемой апертурой и однодюймовым сенсором, настало захватывающее время для поклонников мобильной фотографии. Но даже в лучших телефонах Android вычислительная мощность и программное обеспечение играют не меньшую роль в получении отличных фотографий с наших карманных камер, чем аппаратное обеспечение. Смартфоны используют то, что называется вычислительной фотографией, чтобы компенсировать их сравнительно скудное оборудование. То, что большинству телефонных камер не хватает мощности по сравнению с аппаратным обеспечением лучших фотоаппаратов, они компенсируют интеллектуальными вычислениями.

Цифровая фотография: основы

Трудно определить точное значение такого широкого термина, но в двух словах цифровая фотография — это то, на что она похожа. Фотография улучшается за счет мощности компьютера. В то время как каждая цифровая камера технически использует программное обеспечение для создания изображений, на фотографиях, сделанных с использованием методов цифровой фотографии, программное обеспечение играет большую роль в том, как выглядит конечный продукт, прежде чем фотограф применит готовые фильтры или ручную постобработку постфактум.

Предполагая, что вы фотографируете на свой телефон, вы, вероятно, каким-то образом знакомы с вычислительной фотографией. Практически все, что делает камера вашего телефона (например, режимы слабого освещения, портретное размытие и распознавание сцен), зависит от вычислительной фотографии, которая автоматически формирует изображение, которое вы получаете, когда нажимаете кнопку спуска затвора.

Приложения вычислительной фотографии

Существуют разные варианты использования вычислительной фотографии: от камеры вашего телефона, которая распознает, что она направлена ​​на закат, до противоречивых фильтров красоты в приложениях для социальных сетей. Вот несколько распространенных:

HDR и режимы низкой освещенности

Использование серий для улучшения качества изображения. HDR+ начинается с серии необработанных изображений с полным разрешением, каждое из которых недоэкспонировано на одинаковую величину ( слева ). В зависимости от условий от 2 до 15 изображений выравниваются и объединяются в вычислительное необработанное изображение ( посередине ). Объединенное изображение имеет уменьшенный шум и увеличенный динамический диапазон, что приводит к более качественному конечному результату ( справа ).
Использование серий для улучшения качества изображения. HDR+ начинается с серии необработанных изображений с полным разрешением, каждое из которых недоэкспонировано на одинаковую величину ( слева ). В зависимости от условий от 2 до 15 изображений выравниваются и объединяются в вычислительное необработанное изображение ( посередине ). Объединенное изображение имеет уменьшенный шум и увеличенный динамический диапазон, что приводит к более качественному конечному результату ( справа ).

Вы, наверное, видели визуализацию, которую производители смартфонов используют для иллюстрации HDR-фотографии. Это стопки отдельных кадров, автоматически сливающихся в одно изображение, которое выглядит лучше, чем множество изображений, из которых оно сделано. Это обычное применение вычислительной фотографии. Хотя можно вручную делать фотографии с несколькими экспозициями и объединять их в одно изображение с высоким динамическим диапазоном, наши телефоны могут делать это нажатием одной кнопки благодаря постоянно растущей вычислительной мощности мобильных устройств и умному программному обеспечению.

Как объяснил Google в 2021 году, процесс создания HDR-снимка на смартфоне включает в себя быструю съемку нескольких недоэкспонированных кадров для сохранения ярких деталей, а затем объединение информации из этих кадров с более длительной экспозицией для сохранения динамического диапазона сцены. Это достигается за счет выделения деталей на недоэкспонированных снимках и затемнения деталей на более длительных выдержках. Режим при слабом освещении Night Sight в телефонах Pixel работает аналогично, но требует более длительного времени экспозиции для захвата деталей в темных сценах.

Дополненная реальность

POKEMON GO

Дополненная реальность (AR) — это наложение дополнительной графики в реальном времени на ваше физическое окружение. В контексте смартфонов это означает распознавание окружающей среды, видимой через датчики камеры, и реалистичное наложение объектов поверх этой среды на экране телефона.

Существует множество обычных приложений для AR: фильтры, накладывающие эффекты, которые реагируют на реальные объекты в кадре в приложениях для социальных сетей, таких как TikTok и Snapchat, персонажи и эффекты дополненной реальности в таких играх, как Pokémon Go, и имитация новых товаров для дома в вашем пространство с приложениями для покупок, такими как Маркет и Озон. Эти варианты использования основаны на способности вашего телефона интерпретировать то, что он видит через свои камеры, и реагировать на этот ввод в режиме реального времени с помощью довольно сложных вычислений.

Портретный режим

Сеть предсказывает высококачественную альфа-подложку из цветного изображения и исходную грубую альфа-подложку. Мы используем магистраль MobileNetV3 и неглубокий декодер, чтобы сначала предсказать усовершенствованную альфа-маску с низким разрешением. Затем мы используем неглубокий кодер-декодер и ряд остаточных блоков для дальнейшего уточнения первоначально оцененного альфа-матового слоя.
Сеть предсказывает высококачественную альфа-подложку из цветного изображения и исходную грубую альфа-подложку. Мы используем магистраль MobileNetV3 и неглубокий декодер, чтобы сначала предсказать усовершенствованную альфа-маску с низким разрешением. Затем мы используем неглубокий кодер-декодер и ряд остаточных блоков для дальнейшего уточнения первоначально оцененного альфа-матового слоя.

Искусственное размытие, вызванное портретными режимами, — еще один повседневный пример вычислительной фотографии. При съемке фотографии в портретном режиме ваше устройство рассчитывает, где и в какой степени применить эффект размытия в кадре, чтобы естественным образом имитировать глубину резкости, которую камеры с большими сенсорами и широкой диафрагмой создают в аналогичных условиях.

Реализации различаются, но Google очень подробно рассказал о том, как он оттачивал портретный режим в серии Pixel 6 в 2022 году. Программная модель, которая определяет, какие части фотографии в портретном режиме должны быть в фокусе, была обучена на фотографиях, сделанных разными людьми. Сферическим массивом из сотен отдельных камер и датчиков глубины в сочетании с фотографиями, сделанными в дикой природе на телефонах Pixel. Когда вы делаете снимок в портретном режиме на своем Pixel, телефон подает фотографию и быстро и грязно «маскирует» то, что, по его мнению, должно быть в фокусе через эту модель, что в идеале приводит к убедительной фотографии в портретном стиле, размытие фона.

Программное увеличение

Основная камера и телеобъектив работают вместе, чтобы вы могли получать четкие и детализированные фотографии.
Основная камера и телеобъектив работают вместе, чтобы вы могли получать четкие и детализированные фотографии.

Цифровой зум, по своей сути, обрезает изображение, чтобы часть, которую вы хотите увеличить, казалась больше в кадре. Если вы сделали это самостоятельно постфактум, то знаете, что результаты могут быть менее впечатляющими, особенно при работе с относительно небольшим изображением (например, 12-мегапиксельные фотографии, которые большинство телефонов делают по умолчанию). Но с помощью вычислительной фотографии программный зум может создавать более четкие и реалистичные изображения.

В Pixel 7 Pro алгоритм Google Fusion Zoom, показанный выше, «выравнивает и объединяет изображения с нескольких камер, гарантируя, что ваши фотографии по-прежнему будут выглядеть великолепно, когда они будут сняты между основной камерой и телеобъективом». Таким образом, при любом увеличении от 1x до 5x. При уровнях масштабирования 20-кратного или выше Pixel 7 Pro опирается на апскейлер машинного обучения, «который включает нейронную сеть для повышения детализации ваших фотографий», помогая понять детали на большом расстоянии.

Samsung недавно вызвала переполох, когда люди заметили тот факт, что супертелефотоснимки, сделанные на телефоны высокого класса компании, в значительной степени основаны на вычислительной фотографии для воссоздания деталей на поверхности Луны. Вопрос о том, являются ли получившиеся фотографии «настоящими», является предметом споров. Однако они не могли бы существовать без методов вычислительной фотографии. Телефонные камеры сами по себе не могут разглядеть детали за сотни тысяч километров.

Больше мобильной фотографии

Здесь мы только коснулись поверхности, но, надеюсь, это дало вам лучшее представление о том, что такое цифровая фотография. Хотите глубже погрузиться в мобильную фотографию? Ознакомьтесь с нашими руководствами о лучших приложениях для Android для фотографов и о том, как делать красивые фото на телефон .

Subscribe
Notify of
guest

0 комментариев
Inline Feedbacks
View all comments
gorban
gorbanhttps://xpcom.ru
Ведущий автор и создатель сайта xpcom.ru, я погрузился в мир высоких технологий и мобильных устройств с 2004 года. Начиная карьеру с должности интернет-маркетолога, я расширил свои горизонты и стал программистом, разработав несколько приложений для Android, программ для Windows и Mac. Мои знания и опыт охватывают широкий спектр современных технологий, и я стремлюсь делиться ими на страницах xpcom.ru. Владею тремя языками, что позволяет мне оставаться в курсе мировых тенденций и находить интересные темы для моих читателей. В свободное время я наслаждаюсь морем и ценю хороший юмор - эти два аспекта добавляют мне энергии для продолжения моей работы и вдохновения для новых идей.

Рекомендуемые статьи

Похожие посты