Аппаратное обеспечение камеры смартфона становится интересным. Начиная с 200-мегапиксельной основной камеры Samsung Galaxy S23 Ultra и заканчивая Xioami 13 Ultra с регулируемой апертурой и однодюймовым сенсором, настало захватывающее время для поклонников мобильной фотографии. Но даже в лучших телефонах Android вычислительная мощность и программное обеспечение играют не меньшую роль в получении отличных фотографий с наших карманных камер, чем аппаратное обеспечение. Смартфоны используют то, что называется вычислительной фотографией, чтобы компенсировать их сравнительно скудное оборудование. То, что большинству телефонных камер не хватает мощности по сравнению с аппаратным обеспечением лучших фотоаппаратов, они компенсируют интеллектуальными вычислениями.
Цифровая фотография: основы
Трудно определить точное значение такого широкого термина, но в двух словах цифровая фотография — это то, на что она похожа. Фотография улучшается за счет мощности компьютера. В то время как каждая цифровая камера технически использует программное обеспечение для создания изображений, на фотографиях, сделанных с использованием методов цифровой фотографии, программное обеспечение играет большую роль в том, как выглядит конечный продукт, прежде чем фотограф применит готовые фильтры или ручную постобработку постфактум.
Предполагая, что вы фотографируете на свой телефон, вы, вероятно, каким-то образом знакомы с вычислительной фотографией. Практически все, что делает камера вашего телефона (например, режимы слабого освещения, портретное размытие и распознавание сцен), зависит от вычислительной фотографии, которая автоматически формирует изображение, которое вы получаете, когда нажимаете кнопку спуска затвора.
Приложения вычислительной фотографии
Существуют разные варианты использования вычислительной фотографии: от камеры вашего телефона, которая распознает, что она направлена на закат, до противоречивых фильтров красоты в приложениях для социальных сетей. Вот несколько распространенных:
HDR и режимы низкой освещенности
Вы, наверное, видели визуализацию, которую производители смартфонов используют для иллюстрации HDR-фотографии. Это стопки отдельных кадров, автоматически сливающихся в одно изображение, которое выглядит лучше, чем множество изображений, из которых оно сделано. Это обычное применение вычислительной фотографии. Хотя можно вручную делать фотографии с несколькими экспозициями и объединять их в одно изображение с высоким динамическим диапазоном, наши телефоны могут делать это нажатием одной кнопки благодаря постоянно растущей вычислительной мощности мобильных устройств и умному программному обеспечению.
Как объяснил Google в 2021 году, процесс создания HDR-снимка на смартфоне включает в себя быструю съемку нескольких недоэкспонированных кадров для сохранения ярких деталей, а затем объединение информации из этих кадров с более длительной экспозицией для сохранения динамического диапазона сцены. Это достигается за счет выделения деталей на недоэкспонированных снимках и затемнения деталей на более длительных выдержках. Режим при слабом освещении Night Sight в телефонах Pixel работает аналогично, но требует более длительного времени экспозиции для захвата деталей в темных сценах.
Дополненная реальность
Дополненная реальность (AR) — это наложение дополнительной графики в реальном времени на ваше физическое окружение. В контексте смартфонов это означает распознавание окружающей среды, видимой через датчики камеры, и реалистичное наложение объектов поверх этой среды на экране телефона.
Существует множество обычных приложений для AR: фильтры, накладывающие эффекты, которые реагируют на реальные объекты в кадре в приложениях для социальных сетей, таких как TikTok и Snapchat, персонажи и эффекты дополненной реальности в таких играх, как Pokémon Go, и имитация новых товаров для дома в вашем пространство с приложениями для покупок, такими как Маркет и Озон. Эти варианты использования основаны на способности вашего телефона интерпретировать то, что он видит через свои камеры, и реагировать на этот ввод в режиме реального времени с помощью довольно сложных вычислений.
Портретный режим
Искусственное размытие, вызванное портретными режимами, — еще один повседневный пример вычислительной фотографии. При съемке фотографии в портретном режиме ваше устройство рассчитывает, где и в какой степени применить эффект размытия в кадре, чтобы естественным образом имитировать глубину резкости, которую камеры с большими сенсорами и широкой диафрагмой создают в аналогичных условиях.
Реализации различаются, но Google очень подробно рассказал о том, как он оттачивал портретный режим в серии Pixel 6 в 2022 году. Программная модель, которая определяет, какие части фотографии в портретном режиме должны быть в фокусе, была обучена на фотографиях, сделанных разными людьми. Сферическим массивом из сотен отдельных камер и датчиков глубины в сочетании с фотографиями, сделанными в дикой природе на телефонах Pixel. Когда вы делаете снимок в портретном режиме на своем Pixel, телефон подает фотографию и быстро и грязно «маскирует» то, что, по его мнению, должно быть в фокусе через эту модель, что в идеале приводит к убедительной фотографии в портретном стиле, размытие фона.
Программное увеличение
Цифровой зум, по своей сути, обрезает изображение, чтобы часть, которую вы хотите увеличить, казалась больше в кадре. Если вы сделали это самостоятельно постфактум, то знаете, что результаты могут быть менее впечатляющими, особенно при работе с относительно небольшим изображением (например, 12-мегапиксельные фотографии, которые большинство телефонов делают по умолчанию). Но с помощью вычислительной фотографии программный зум может создавать более четкие и реалистичные изображения.
В Pixel 7 Pro алгоритм Google Fusion Zoom, показанный выше, «выравнивает и объединяет изображения с нескольких камер, гарантируя, что ваши фотографии по-прежнему будут выглядеть великолепно, когда они будут сняты между основной камерой и телеобъективом». Таким образом, при любом увеличении от 1x до 5x. При уровнях масштабирования 20-кратного или выше Pixel 7 Pro опирается на апскейлер машинного обучения, «который включает нейронную сеть для повышения детализации ваших фотографий», помогая понять детали на большом расстоянии.
Samsung недавно вызвала переполох, когда люди заметили тот факт, что супертелефотоснимки, сделанные на телефоны высокого класса компании, в значительной степени основаны на вычислительной фотографии для воссоздания деталей на поверхности Луны. Вопрос о том, являются ли получившиеся фотографии «настоящими», является предметом споров. Однако они не могли бы существовать без методов вычислительной фотографии. Телефонные камеры сами по себе не могут разглядеть детали за сотни тысяч километров.
Больше мобильной фотографии
Здесь мы только коснулись поверхности, но, надеюсь, это дало вам лучшее представление о том, что такое цифровая фотография. Хотите глубже погрузиться в мобильную фотографию? Ознакомьтесь с нашими руководствами о лучших приложениях для Android для фотографов и о том, как делать красивые фото на телефон .