Эволюция мобильной фотографии: стекинг, live фото, алгоритмы и нейросети

Эволюция мобильной фотографии: стекинг, live фото, алгоритмы и нейросети

Я начал тему стекинга (сшивки изображений) в предметной съемке с обзора фокусировочных рельсов в статье Предметная фотосъемка: обзор фокусировочных рельсов, но само собой логическое продолжение — это собственно описание тех самых методов сшивки.

Итак, есть три основных инструмента на сегодняшний день.

1. Adobe Photoshop 2. Helicon Focus 3. Zerene Stacker 4. Combine ZP

Опишу все четыре варианта вкратце.

Что такое Mining

Майнинг — это процесс добавления новых блоков в реестр общедоступных цепочек после проверки криптографических транзакций. Алгоритмический процесс, используемый при майнинге, открывает путь к выпуску новых токенов. Новые крипто-активы выдаются успешным майнерам в качестве награды за их вычислительную мощность. Механизм консенсуса, лежащий в основе майнинга, называется Proof of Work (PoW) — доказательство работы.

Когда выполняются крипто-транзакции, они объединяются в «блок» и добавляются в реестр общедоступной цепочки. Затем используется узел (компьютер, подключенный к крипто-сети) для ведения поддающихся проверке записей этих блоков.

Теперь майнинг происходит, когда узел получает транзакцию, проверяет ее действительность и добавляет ее в блокчейн. Транзакция многократно хешируется и структурируется, пока не появится хеш блока. Майнеры продолжают хеширование, используя разные числа (nonce), пока не появится действительный хеш блока. Затем этот действительный хэш проверяется другими узлами и, наконец, добавляется в цепочку блоков.

Майнинг — это ресурсоемкий процесс, требующий больших вычислительных мощностей. Новые крипто-монеты создаются, чтобы вознаградить узел, которому удалось добыть действительный хэш блока.

Что такое Staking

Стекинг — это процесс блокировки определенного количества крипто-активов для поддержки работы и безопасности цепочки блоков. Он использует механизм консенсуса Proof of Stake (PoS) — доказательство доли, для проверки транзакций блокчейна и обеспечения безопасности сети.

Вместо решения сложных задач хеширования, механизм консенсуса стекинга случайным образом назначает альткоин для проверки следующего блока транзакций.

Человек может подтверждать только транзакции, равные количеству активов, которые он поставил. Следовательно, вероятность того, что ему назначат работу по проверке (валидатор) выше, когда у человека есть большое количество крипто-активов в сети. Например, вы поставили в стек 10% от общего количества монет в сети, что дает вам право проверять 10% транзакций для новых блоков.

Чтобы начать процесс стекинга, вам нужно просто положить определенное количество монет в кошелек. Проще говоря, стекинг включает в себя блокировку криптовалюты в вашем кошельке для получения вознаграждения.

В частности, стекинг — это процесс участия в блокчейн-операциях с целью получения вознаграждения. Крипто-активы, которые вы фиксируете, используются для проверки транзакций в цепочке блоков. Активность стекинга почти напоминает майнинг, однако алгоритм Proof of Stake используется вместо типичного Proof of Work, применяемого в блокчейнах майнинга.

Помещая крипто-активы в пул стекинга, вы будете получать вознаграждение после выбора вашего блока. Плата за вознаграждение зарабатывается в результате размещения ваших криптовалют. Вам необходимо делегировать монеты в стекинг и поддерживать минимальный баланс определенной криптовалюты, чтобы получить эти награды.

Стейкинг в криптовалютных кошельках

Криптоинвесторы могут держать свои монеты в специальных кошельках и при этом принимать активное участие в стейкинге. Есть как минимум несколько кошельков, которые позволяют вам получать пассивный доход, блокируя свои активы на определённый временной промежуток.

Аппаратный кошелёк Ledger

Когда дело доходит до долгосрочного хранения криптовалют, практически любой представитель криптосообщества порекомендуем вам обратить внимание на аппаратный кошелёк Ledger. Он позволяет не просто хранить монеты, но использовать их в стейкинге, причём двумя способами: с помощью Ledger Live или приложения сторонних кошельков.


Кошелёк Ledger. Источник: Bitcoinist

Первый вариант требует от пользователя установки криптовалютного приложения на устройство и создания учётной записи в Ledger Live. После этого инвестор просто переводит на него деньги и они автоматически блокируются.

Второй способ работает аналогично, однако после установки приложения Ledger Live пользователю необходимо выбрать соответствующий сторонний кошелёк для управления активами. После этого можно переводить на него средства и начать получать вознаграждение.


Кошелёк Ledger. Источник: Реддит

Также стоит отметить, что Ledger – это кошелёк для холодного хранения криптовалют. Как правило такое хранение считается более безопасным, потому что деньги лежат на физическом устройстве, отключенном от интернета.

Правда, один из главных минусов заключается в том, что пока для стейкинга в Ledger Live можно использовать только криптовалюту Tezos.

Кошелёк Exodus

Exodus – это популярный мультивалютный кошелёк, который представлен как в настольной, так и мобильной версиях. Приложение также легко интегрируется с аппаратный кошельком Trezor.


Криптовалютный кошелёк Exodus. Источник: Masterthecrypto

После недавнего заключения партнёрского соглашения с Switchain кошелёк Exodus также позволяет участвовать в стейкинге криптовалюты. Кошелёк от имени пользователя создаёт ордер — заявку — на обмен криптовалюты, отправляет её и принимает уже другой актив. Вся процедура длится буквально пару минут.

На данный момент можно получать вознаграждение за стейкинг криптовалют Ontology и Neo, а в ближайшее время планируется внедрение новых монет.

Atomic Wallet

Atomic Wallet — ещё один известный мультивалютный кошелёк, совместимый с операционными системами Windows, macOS, Ubuntu, Debian и Fedora. Он также доступен на мобильных устройствах Android и iOS.


Стейкинг монет в кошельке Atomic. Источник: Atomic

Чтобы поучаствовать в стейкинге, необходимо перевести монеты на специальный предоставленный кошельком адрес. После получения вознаграждения инвестор может конвертировать их в фиатные валюты или другие цифровые активы, а затем использовать деньги через встроенную криптобиржу.

Atomic Wallet позволяет участвовать в стейкинге Tezos, Cosmos, Neo, VeChain и Ontology.

Как работает стекинг

Вы делегируете определенное количество монет в стекинг. Затем протокол PoS случайным образом назначает задачу проверки следующего блока любой из этих монет. Чем больше монет вы поставите, тем выше шансы, что они будут выбраны протоколом для проверки транзакций блока. Однако, чтобы создать более демократичный подход, действуют 2 других варианта: рандомизация и возраст стека.

Представьте, что ваш блок — это кусок пирога, где начинка — это рандомизация, возраст стека и баланс узла. В зависимости от алгоритма консенсуса, вы сможете откусить кусок пирога. Итак, не имеет значения, сколько вишенок (баланс узла) содержится в вашем куске, так как вы были выбраны случайным образом, чтобы действительно иметь возможность откусить от него.

Вы кладете все ингредиенты для создания этого пирога, и каждый кусочек будет блоком. Затем платформы стимулируют вас, создавая и предоставляя вам вознаграждения за стекинг. Они бывают в виде комиссий за транзакции, или новых крипто-активов. Вознаграждения за стекинг часто сравнимы с получением процентов от денег, хранящихся в банке.

Основные различия между стекингом и майнингом

В чем основное различие между двумя видами деятельности блокчейна? Это вычислительная мощность (энергия), которую они оба используют для проверки транзакций и добычи новых криптовалют. Непрерывное хеширование майнинга требует много энергии и ресурсов. Между тем, для работы стекинга требуется меньше ресурсов.

Читайте также:
Как установить Gmail как почтовый клиент по умолчанию

Еще одним ключевым фактором является безопасность, поскольку полномочия по принятию решений распространяются на большее количество заинтересованных сторон, чем при майнинге.

Другие отличия включают следующее:

Для стекинга не требуется дорогостоящее оборудование, в отличие от PoW-майнинга, используемого при добыче новых монет. ASIC и другое оборудование, используемое в майнинге, может обесцениться, тогда как стоимость активов, поставленных через PoS, обычно не обесценивается со временем.

При майнинге награды назначаются случайным образом (только, если вы используете высокоуровневые вычислительные системы), а стекинг полагается на 3 варианта (возраст стекинга, рандомизация и количество монет узла) для выбора узла, и предлагает более предсказуемые награды, особенно если у вас большой стек на конкретную монету.

Что такое стекинг?

Как только вы увидели изображение на экране телефона, значит камера уже снимает, постоянно и непрерывно. Причем ничего «не выбрасыватся»: часто фото после нажатия кнопки затвора берется из буфера обмена, а часть еще доснимается до улучшения итогового качества картинки.

Улучшение снимка вы заметите, если быстро открыть галерею после фотографирования — изображение еще будет преображаться и «допиливаться».

А увидеть работу постоянно работающего буфера можно, делая live фотографии. Когда кроме главного снимка сохраняются фото до нажатия затвора и после. В итоге мы получаем ролик с небольшим фреймрейтом.

Технология склеивания огромного количества снимков называется стекингом. Это и есть та самая мобильная вычислительная фотография, за которой скрываются маркетинговые слова — нейросети и алгоритмы, которые часто многие не понимают. В этой статье попробуем разобраться в разных алгоритмах.

Стекинг — это наложение нескольких фото друг на друга.

И здесь главное понимать, все эти алгоритмы призваны решить одну фундаментальную проблему — размер сенсора камер смартфона, который физически не может быть большим, по сравнению с обычной зеркальной камерой.

Поэтому в работу вступают алгоритмы и софт.

Ограничения майнинга

Вот недостатки и ограничения майнинга:

  • Расходы на электроэнергию из-за потребности в мощных процессорах для решения хеш-задач возрастают колоссально, как и стоимость самого оборудования, и могут не компенсировать стоимость добытых вами крипто-активов.
  • Риск успешной атаки 51% не исчезает, даже если майнинг обеспечивает безопасность сети блокчейн (особенно это касается небольших альткоинов).
  • Майнинг может стать неприбыльной деятельностью, если стоимость криптовалюты упадет.

Стекинг по времени (HDR+ и Night Sight)

Здесь важно понимать, что «ночной режим» съемки — это не длинная выдержка, как мы привыкли думать из фотографирования на зеркалки. В таком случае мы бы получили вот такое изображение с 3 основными проблемами: размытие (невозможно стоять неподвижно долгое время), шум, отсутствие деталей в светах и тенях.

А с технологией HDR+ снимок получаем намного лучше. Всех описанных выше проблем там нет.

Технология HDR+ делает до 15 фотографий на короткой выдержке, собирая из в RAW файл, накладывая друг на друга. Тем самым появляется информация в тенях и ликвидируются пересветы, а из-за короткой выдержки не появляется смазывание.

При этом методе есть только один минус — баланс белого. Фотографии получаются или желтыми, или зелеными. Проблема решена через технологию Night Sight.

Нейросети скормили кучу фотографий, чтобы научить ее на получаемом фото накладывать нужный фильтр. По сути делать примитивную, но очень полезную цветокоррекцию.

Эволюция мобильной фотографии: стекинг, live фото, алгоритмы и нейросети

В какой момент в камере смартфона начинается мобильная фотография: после нажатия кнопки виртуального спуска затвора или после нажатия кнопки фокусировки? Правильный ответ: при запуске приложения Камера.

  1. Что такое стекинг?
  2. Стекинг по экспозиции (HDR)
  3. Стекинг по времени (HDR+ и Night Sight)
  4. Стекинг по движению (Super Res Zoom и Deep Fusion)
  5. Стекинг по фокусу (карты глубины и Lidar)
  6. RAW в смартфонах (Apple Pro RAW)
  7. Будущее мобильной фотографии

Что такое стекинг?

Как только вы видите изображение на экране телефона, это означает, что камера уже делает снимки, непрерывно и без перебоев. И ничего не «выкидывается»: часто фото после нажатия кнопки спуска затвора берется из буфера обмена, и часть его еще загружается до того, как будет исправлено финальное фото.

Вы заметите улучшение изображения, если быстро откроете галерею после того, как сделаете фотографию — изображение все равно будет преобразовано и исправлено.

Вы также можете увидеть, как постоянно работает буфер, сделав живые фотографии. Когда снимки записываются в дополнение к основному снимку до и после нажатия кнопки спуска затвора. В результате мы получаем клип с небольшим количеством кадров в секунду.

Технология совмещения большого количества изображений называется стекингом. Это та самая фотография мобильных компьютеров, за которой скрываются маркетинговые слова — нейронные сети и алгоритмы, которые часто непонятны многим. В этой статье давайте попробуем разобраться в различных алгоритмах.

Укладка — это наложение нескольких фотографий друг на друга.

И вот главное понимать, все эти алгоритмы призваны решить одну фундаментальную проблему — размер сенсора камеры смартфона, который физически не может быть большим по сравнению с обычной зеркалкой.

Итак, на карту поставлены алгоритмы и программное обеспечение.

Стекинг по экспозиции (HDR)

Наложение экспозиции — это технология HDR. Несколько снимков от самого темного до самого яркого делаются с разной выдержкой, а затем объединяются в один.

Таким образом, на фотографиях с комбинированной экспозицией оба источника света не пробиты, и в тенях есть информация.

И хотя HDR позволил получить широкий динамический диапазон, для ночных фотографий он не годился. Здесь пригодится HDR + (временное наложение).

Стекинг по времени (HDR+ и Night Sight)

На этом этапе важно понимать, что «ночной режим» в фотографии — это не длинная выдержка, как мы привыкли думать в цифровой зеркальной фотографии. В этом случае мы получим изображение с 3 основными проблемами: размытие (долго стоять на месте нельзя), шум, отсутствие деталей в светлых и темных участках.

Однако благодаря HDR + мы получаем гораздо лучшую картинку. Все проблемы, описанные выше, не существуют.

Камера делает до 15 фотографий с длинной выдержкой, сжимая их в файл RAW и накладывая их друг на друга. Таким образом, в тенях нет информации, а светлые участки устраняются, а из-за короткой выдержки не возникает размытия.

У этого метода есть только один недостаток — баланс белого. Снимки получаются желтыми или зелеными. Эту проблему решает технология Night Sight.

В нейронную сеть был загружен набор фотографий, чтобы научить применять нужный фильтр к полученной фотографии. По сути, это примитивная, но очень полезная цветокоррекция.

Стекинг по движению (Super Res Zoom и Deep Fusion)

При съемке панорамных фотографий используется технология наложения движения. Речь идет не о создании фильмов, а о том, чтобы объединить десятки фотографий в одну с более высоким разрешением.

Помимо наложения движений, есть микрошоковые движения рук.

Super Res Zoom от Google или Deep Fusion от Apple дают больше информации о цвете каждого пикселя за счет сдвигов, вызванных микрошоковыми ударами.

Читайте также:
Не могу выйти из Apple ID на iPhone

Это снижает шумы и увеличивает резкость и разрешение, при этом физические мегапиксели матрицы остаются неизменными.

То же самое и при съемке крупным планом.

Стекинг по фокусу (карты глубины и Lidar)

Это очень легко сделать с наложением фокуса. Смартфон делает снимок объекта, который вы увеличиваете, затем позади него, а затем перед ним. Скрепляет 3 фотографии вместе.

Это решает две проблемы. В макросъемке объект находится в фокусе, а в камерах вам нужно пожертвовать светом, закрыв диафрагму.

Когда вы делаете портретную фотографию, фон может стать более резким или более размытым путем регулировки фокуса. В случае портретов с эффектом боке никуда не денешься от обычного стекирования фокуса.

Используются карты глубины. Раньше они создавались на двух линзах, как в iPhone 7+, но теперь еще и на одной линзе из двух кадров, смещенных на 1 подпиксель.

С появлением LiDAR стало еще проще. Карта глубины строится путем отправки фотонов света и измерения точных расстояний до объектов в пределах 5 метров.

Технология более точная, но требует наличия дополнительного модуля на борту смартфона. Однако есть и другие области применения: дополненная реальность, более точное измерение расстояний, более быстрая и точная автофокусировка в условиях низкой освещенности (читайте обзор iPhone 12 Pro).

RAW в смартфонах (Apple Pro RAW)

Итак, смартфон отлично справляется со стекингом, в нем используются очень хитрые алгоритмы, которые значительно улучшают качество изображения. Но окончательная фотография упакована в сжатый файл jpeg, который нельзя редактировать в Photoshop.

В 2020 году iPhone научился создавать изображения RAW в формате dmg. Этот формат включает карту глубины, полезные маски и результаты различных трюковых режимов.

В результате использование файла RAW с iPhone намного приятнее, чем использование сжатого файла jpeg.

Вы можете узнать больше об Apple Pro RAW здесь.

Будущее мобильной фотографии

Создается впечатление, что мы приближаемся к пределам мобильной фотографии с точки зрения программного и аппаратного обеспечения. Что будет дальше, пока неизвестно.

Возможно, мобильное приложение обучат получению и наложению фрагментов качественных изображений из банков изображений с типичными фонами, зданиями, объектами на фото, исправлением недостатков небольшого сенсора. А может, появится дополненная реальность, и о зеркальных фотоаппаратах забудут.

Через Apple, Google, iFixit, ProTech, Keiichi Matsuda.

Эволюция мобильной фотографии: стекинг, live фото, алгоритмы и нейросети

Весной 19-го мы с Вастриком написали статью про вычислительную фотографию. В ней мы разобрали, как математика обманывает физику: я на пальцах [1] , он в деталях [2] .

Статья, которую сейчас вы читаете, что-то вроде DLC к тем трудам.

Для начала разберёмся хотя бы с тем, зачем RAW на смартфонах в принципе.

Ответ на этот вопрос зависит от года, в котором вы его задаёте.

Года так до в 2013-го поддержка RAW маскировала плохой JPEG. Обрабатывать там было нечего, зато можно было рассказывать бутербродникам на прессухах, какой невероятный камерофон им показывают.

Начиная с iPhone 6s, а на Андроидах чуть раньше, RAW стал по смыслу такой же опцией, какой он был на больших камерах. Хочешь запилить лифтолук – запускай камеру да снимай, хочешь красиво снять закатик – вот тебе Halide со всеми ништяками RAW-конвертации [3] :

Достаточно упоротые ребята (типа меня) даже клеили панорамы из равок [4] , чтобы получать сахаристую детализацию, шикарный динамический диапазон и цвет во всех подробностях.

Начиная с iPhone 11 Pro [5] , а на Андроидах чуть раньше, RAW по смыслу перестал быть такой же опцией, какой он был на больших камерах. Настала эпоха вычислительной фотографии.

Фотограф ставился перед выбором: или исходник фотографии или стопка вычислительных слоёв над ней. И выбор этот был не всегда очевидным, потому что в этих слоях была информация, которой в раве не было.

Так в iPhone 11 Pro давали 5 рублей и предлагали на них собрать фотку:

Съёмка в рав больше не была расширением возможностей. Она подменяла одни возможности другими.

Фотограф терял карту глубины, карту яркостей, умную детализацию и гениальный программный стабилизатор, имя которому «ночной режим». Взамен он получал высокобитный цвет и чувство собственного профессионализма.

Я подчёркиваю это: именно цвет, а не динамический диапазон – единственная причина, по которой съёмка в рав на iPhone 11 Pro имела смысл. Ну и отключённый шумодав, может быть.

Отказываться от всех плюшек вычислительной фотографии ради возни с динамическим диапазоном – это примерно как взять Ланос вместо Теслы, чтобы можно было скорости попереключать. Особенно если учесть, что грамотный HDR делается не четырьмя ползунками в Лайтруме [6] , а несколько сложнее. Смартфон с этим справится, скорее всего, лучше.

Но вот пришёл 2020-й год, и выбирать больше не надо. Причём инновации прут от компании, которая внедрила поддержку RAW последней.

В iPhone 12 Pro вместо 5 рублей дают сразу 14, и накидывают лидар впридачу. А в 12 Pro Max ещё и стабилизируют матрицу, что в теории в будущем может увеличить доступное разрешение вчетверо [7] .

Главные достижения мобильной фотографии в 2020-м слегка старомодные, да.

Чтобы как-то подчеркнуть, что теперь в равах с айфонов будут данные вычислительной фотографии, Эппл придумала новый бренд: ProRAW. Но ProRAW это не какой-то новый формат. Это всё тот же dng, который можно открыть в любой программе.

С одной стороны, хорошо, что Эппл не стала делать, как она обычно делает и придумывать новый формат. Могло получиться как с дополненной реальностью, где пока толком ни о чём не договорились [8] . Любой Лайтрум откроет ProRAW.

С другой – теперь перед загрузкой ProRAW в конвертёр надо смотреть, понимает ли он, что этот рав особенный. Чтобы было понятней, в чём его особенность, нарисую такую схемку:

Матрицы камер накрыты цветной мозаикой из красных, синих и зелёных ячеек, чтобы камера могла различать эти цвета. Но помимо них есть ещё много других цветов, и процесс, позволяющий отличить розовый от бирюзового, называется дебайеризацией [9] .

Все большие камеры отдают недебайеризованные равы и алгоритмов дебайеризации множество. Причём для каждой ситуации есть свой собственный лучший.

Apple отдаёт уже дебайеризованный рав, и в её случае это логично: во-первых, она не может накладывать вычислительные слои без дебайера, а, во-вторых – она лучше всех знает, как свои равы расшифровывать. Но не всем её методы расшифровки нравятся.

Читайте также:
Ремонт залипающих и заедающих кнопок MacBook Air своими руками

Алгоритм Apple называется AMaZE и даёт лабиринтоподобные артефакты, которые на посте уже никак не правятся.

Когда мы снимаем в обычном RAW, мы можем, меняя конвертёры, менять и методы дебайеризации. В случае с ProRAW поменять уже ничего не получится. Главное ограничение именно в этом.

Всем остальным же фотограф может управлять.

Фотографии, снятые в ночном режиме, в любом фоторедакторе откроются как обычные ночные фотки со штатива. Хотя на самом деле никакого штатива не было: смартфон непрерывно штамповал кадры, а потом склеил их воедино [10] .

Фотографии, снятые в «свитерном режиме» (он же deep fusion), в любом фоторедакторе откроются как фотки со своеобразной детализацией, но без шумов. Фотографии, снятые со Smart HDR будут выглядеть как обычные фотки из камеры с хорошим динамическим диапазоном [11] .

В фотокамерах от сторонних разработчиков эти режимы отключаются, но почему-то только совместно. Вместе с ними настраивается даже битность: от 8-и до 12-и [12] .

Постфактум на эти параметры уже никак не повлиять: они запекаются в рав.

Самая мякотка вычислительной фотографии – портретный режим. Я думаю, сам термин «вычислительная фотография» пришёл вместе с ним.

Три года назад я писал, что размытый фон – это не всегда круто [13] , но именно карту глубин ждал в ProRAW больше всего и в итоге обломался.

В портретном режиме ProRAW не включается.

2. Пока что ProRAW не работает с портретным режимом.

Я ожидал, что в фоторедакторах просто появятся новые инструменты наподобие тех, что уже есть в Focos или Appollo, но пока мы к этому ещё не пришли.

Значок RAW просто не появляется, когда пытаешься снять с малой ГРИП. pic.twitter.com/jnF1cqL9y5

Просто примите меня таким, какой я есть.

Тут внимательный читатель заметит, что на схеме данные глубины всё-таки есть. Добавил их туда, во-первых, авансом: абсолютно уверен, что они в прораве появятся, а, во-вторых, потому что эти данные при помощи костылей уже можно импортировать в любой фоторедактор:

Причём работает эта тема с любым смартфоном, который умеет снимать в портретном режиме. Лидар для этого не нужен. Это не очевидно, но отделять объект от фона он вообще никак не помогает [14] .

Эту фишку уже реализовали у себя разработчики Пиксельматора, с которыми я пообщался при написани этой статьи. Помимо этого я задал им пару вопросов, которые меня заботили:

Насколько в принципе много работы с тем, чтобы ProRAW начал поддерживаться фоторедактором?

Насколько я знаю, Адоуби пока не все теги в dng считывает, хотя и открывает эти файлы. Вам много усилий потребовалось для того, чтобы внедрить его поддержку?

Смотря что считать поддержкой и какие наработки уже имеются.

ProRAW сильно отличается от типичных DNG способом получения, но с точки зрения графического редактора отличия минимальны.

Основные отличия с точки зрения графического редактора, на мой взгляд, такие:

1) Не требуется делать дебайер, т.к. данные уже интерполированы.
2) Появляется новая сущность — локальный tone-mapping.
3) Глобальный tone-mapping сильно различается от фото к фото.
4) Появляются некие семантические маски (кожа, волосы), с которыми непонятно, что делать.

Если взять некоторый типичный RAW-конвертер (не поддерживающий ProRAW) и подсунуть ему ProRAW, то отсутствие дебайера обработается автоматически, а пункты 2)-4) будут просто проигнорированы. И от ProRAW останется только способ его получения — стекинг нескольких кадров в один.

Дальше разговор пойдёт о кривых, поэтому быстренько объясню что это такое, чтобы все всё поняли.

У вас есть 3 красных кубика, 7 зелёных и 4 синих. Если собрать их в стопки по цветам и поставить рядом, получится гистограмма распределения цветов. В фотографии вместо разноцветных кубиков – пиксели разной яркости.

Если над ними провести прямую линию под углом 45°, мы получим так называемую «кривую». Допустим, кубики могут менять цвет, когда мы переносим их из столбика в столбик. Тогда, когда мы переносим красный кубик в синий столбик прямая линия над красным столбцом просядет, а над синим – приподнимется.

С тоновыми кривыми очень интересный момент. Причём, я думаю, что Adobe с этой проблемой тоже столкнётся.

Так сложилось, что каждый Raw-конвертер имеет некоторые фиксированные тоновые кривые. Такие, при которых фотографии в среднем смотрятся хорошо. В итоге получается, что в разных raw-конвертерах тоновые кривые примерно одинаковы.

Старые версии Lightroom делали тоновую кривую через Brightness и Contrast. Открываешь raw-фото — и эти настройки по умолчанию выставлены в плюс. Cоответственно, глобальную тоновую кривую можно представлять себе, как глобальные ненулевые настройки яркости и контраста.

Сейчас тоновые кривые спрятали поглубже.

Редактирование тоновых кривых — это не то, что делается легко и просто. Если их настройка возможна, то обычно они спрятаны в далёком углу приложения, и снабжены каким-то непонятным интерфейсом. И тут появляется ProRAW с его переменной глобальной тоновой кривой и локальными тоновыми кривыми.

Интересный момент с локальными тоновыми кривыми в том, что они не попиксельные — это не маски. Там «маска» локальных тоновых кривых – это всего-то таблица примерно 5 на 8 гигантских ячеек. Я был удивлён, когда увидел такой подход. Упрощённо, локальные тоновые кривые — это яркость/контраст на сетке.

Обычно локальную настройку фотографии (тот же HDR) мы представляем себе, как локальную экспозицию. То есть какие-то участки фотографии искусственно осветляются, какие-то затемняются.

Проблема в том, что при таком искусственном затенении и осветлении нужно точно следовать границам объектов, иначе появятся ореолы — светлые полосы вокруг тёмных объектов и тёмные полосы вокруг светлых.

Apple же пошли другим путём — у них локально меняется не экспозиция, а тоновая кривая. Такой подход позволяет делать локальные настройки очень грубо (например, на сетке 5 на 8), и при этом не получать ореолов потому, что в каждой ячейке этой гигантской сетки хранится не экспозиция, а сразу целая кривая, задающая коррекции для всех цветов, от чёрных до белых.

Это вручную не подкорректируешь — совершенно «нечеловеческий» формат представления локальных коррекций.

Что такое машинное обучение и как оно работает

Что такое машинное обучение?

Единого определения для machine learning (машинного обучения) пока нет. Но большинство исследователей формулируют его примерно так:

Машинное обучение — это наука о том, как заставить ИИ учиться и действовать как человек, а также сделать так, чтобы он сам постоянно улучшал свое обучение и способности на основе предоставленных нами данных о реальном мире.

Вот как определяют машинное обучение представители ведущих ИТ-компаний и исследовательских центров:

Nvidia: «Это практика использования алгоритмов для анализа данных, изучения их и последующего определения или предсказания чего-либо».

Университет Стэнфорда: «Это наука о том, как заставить компьютеры работать без явного программирования».

Читайте также:
В настройках моего iPhone чужой Apple ID! Что делать?

McKinsey & Co: «Машинное обучение основано на алгоритмах, которые могут учиться на данных, не полагаясь на программирование на основе базовых правил».

Вашингтонский университет: «Алгоритмы машинного обучения могут сами понять, как выполнять важные задачи, обобщая примеры, которые у них есть».

Университет Карнеги Меллон: «Сфера машинного обучения пытается ответить на вопрос: «Как мы можем создавать компьютерные системы, которые автоматически улучшаются по мере накопления опыта и каковы фундаментальные законы, которые управляют всеми процессами обучения?»

История машинного обучения

Дмитрий Ветров, профессор-исследователь, заведующий Центром глубинного обучения и байесовских методов Факультета компьютерных наук ВШЭ, отмечает: изначально компьютеры использовались для задач, алгоритм решения которых был известен человеку. И только в последние годы пришло понимание, что они могут находить способ решать задачи, для которых алгоритма решения нет или он не известен человеку. Так появился искусственный интеллект в широком смысле и технологии машинного обучения в частности.

  • Первый компьютер с прототипом ИИ появился в 1946 году — в рамках ЭНИАК, сверхсекретного проекта армии США. Его можно было использовать для электронных вычислений и многих других задач;
  • В 1950 году появился тест Алана Тьюринга для оценки интеллекта компьютера. С его помощью ученый предлагал определить, способен ли компьютер мыслить как человек;
  • В 1958 году американский нейрофизиолог Фрэнк Розенблатт придумал Персептрон — первую искусственную нейронную сеть, а также первый нейрокомпьютер «Марк-1»;
  • В 1959 году американский исследователь ИИ Марвин Минский создал SNARC — первую вычислительную машину на базе нейросети;
  • В том же году его коллега Артур Самуэль изобрел первую программу по игре в шашки, которая обучалась самостоятельно. Он впервые ввел термин «машинное обучение», описав его как процесс, в результате которого машина показывает поведение, на которое не была изначально запрограммирована;
  • В 1967 году был создан первый метрический алгоритм для классификации данных, который позволял ИИ использовать шаблоны для распознавания и обучения;
  • В 1997 году программа Deep Blue впервые обыграла чемпиона мира по шахматам Гарри Каспарова;
  • В 2006 году исследователь нейросетей Джеффри Хинтон ввел термин «глубокое обучение» (deep learning);
  • В 2011 году была основана Google Brain — подразделение Google, которое занимается проектами в области ИИ;
  • В 2012 году в рамках другого подразделения — Google X Lab — разработали нейросетевой алгоритм для распознавания котов на фото и видео. Тогда же Google запустила облачный сервис Google Prediction API для машинного обучения, который анализирует неструктурированные данные;
  • В 2014 году Facebook разработала нейросеть DeepFace для распознавания лиц на фото и видео. Ее алгоритм работает с точностью 97%;
  • В 2015 году Amazon запустила Amazon Machine Learning — платформу машинного обучения, несколько месяцев спустя аналогичная появилась и у Microsoft: Distributed Learning Machine Toolkit.

Как связаны машинное и глубокое обучение, ИИ и нейросети

Нейросети — один из видов машинного обучения.

Глубокое обучение — это один из видов архитектуры нейросетей.

Глубокое обучение также включает в себя исследование и разработку алгоритмов для машинного обучения. В частности — обучения правильному представлению данных на нескольких уровнях абстракции. Системы глубокого обучения за последние десять лет добились особенных успехов в таких областях как обнаружение и распознавание объектов, преобразование текста в речь, поиск информации.

Какие задачи решает машинное обучение?

С помощью машинного обучения ИИ может анализировать данные, запоминать информацию, строить прогнозы, воспроизводить готовые модели и выбирать наиболее подходящий вариант из предложенных.

Особенно полезны такие системы там, где необходимо выполнять огромные объемы вычислений: например, банковский скоринг (расчет кредитного рейтинга), аналитика в области маркетинговых и статистических исследований, бизнес-планирование, демографические исследования, инвестиции, поиск фейковых новостей и мошеннических сайтов.

В Леруа Мерлен используют Big Data и Machine Learning, чтобы находить остатки товара на складах.

В маркетинге и электронной коммерции машинное обучение помогает настроить сервисы и приложения так, чтобы они выдавали персональные рекомендации.

Стриминговый сервис Spotify с помощью машинного обучения составляет для каждого пользователя персональные подборки треков на основе того, какую музыку он слушает.

Сегодня ключевые исследования сфокусированы на разработке машинного обучения с эффективным использованием данных — то есть систем глубокого обучения, которые могут обучаться более эффективно, с той же производительностью, за меньшее время и с меньшими объемами данных. Такие системы востребованы в персонализированном здравоохранении, обучении роботов с подкреплением, анализе эмоций.

Китайский производитель «умных» пылесосов Ecovacs Robotics обучил свои пылесосы распознавать носки, провода и другие посторонние предметы на полу с помощью множества фотографий и машинного обучения.

«Умная» камера на базе микрокомпьютера Raspberry Pi 3B+ с помощью фреймворка TensorFlow Light научилась распознавать улыбку и делать снимок ровно в этот момент, а также — выполнять голосовые команды.

В сфере инвестиций алгоритмы на базе машинного обучения анализируют рынок, отслеживают новости и подбирают активы, которые выгоднее всего покупать именно сейчас. При этом с помощью предикативной аналитики система может предсказать, как будет меняться стоимость тех или иных акций за конкретный период и корректирует свои данные после каждого важного события в отрасли.

Согласно исследованию BarclayHedge, более 50% хедж-фондов используют ИИ и машинное обучение для принятия инвестиционных решений, а две трети — для генерации торговых идей и оптимизации портфелей.

Наконец, машинное обучение способствует настоящим прорывам в науке.

Нейросеть AlphaFold от DeepMind в 2020 году смогла расшифровать механизм сворачивания белка. Над этой задачей ученые-биологи бились больше 50 лет.

Как устроено машинное обучение

По словам Дмитрия Ветрова, процесс машинного обучения выглядит следующим образом.

Есть большое число однотипных задач, в которых известны условие и правильный ответ или один из возможных ответов. Например, машинный перевод, где условие — фраза на одном языке, а правильный ответ — ее перевод на другой язык.

Модель машинного обучения, например, глубинная нейронная сеть, работает по принципу «черного ящика», который принимает на вход условие задачи, а на выходе выдает произвольный ответ. Например, какой-либо текст на втором языке.

У «черного ящика» есть дополнительные параметры, которые влияют на то, как будет обрабатываться входной сигнал. Процесс обучения нейросети заключается в поиске таких значений параметров, при которых она будет выдавать ответ, максимально близкий к правильному. Когда мы настроим параметры нужным образом, нейросеть сможет правильно (или максимально близко к этому) решать и другие задачи того же типа — даже если никогда не знала ответов к ним.

  • Данные — примеры решений и всё, что может помочь в процессе обучения: статистика, примеры текстов, расчеты, показатели, исторические события. Данные собирают годами и объединяют в огромные массивы — датасеты, которые есть у всех ИТ-корпораций. Примером сбора является капча, которая просит вас выбрать все фото с автомобилями и запоминает правильные ответы;
  • Признаки — они же свойства или характеристики. Это то, на что должна обратить внимание машина в процессе обучения. Например, цена акций, изображение животного, частотность слов или пол человека. Чем меньше признаков и чем четче они обозначены и оформлены, тем проще обучаться. Однако для сложных задач современным моделям приходится учитывать десятки миллионов параметров, определяющих, как входы преобразуются в выходы;
  • Алгоритмы — это способ решения задачи. Для одной и той же задачи их может быть множество и важно выбрать самый точный и эффективный.
Читайте также:
Крутые фишки в часах Apple Watch

Основные виды машинного обучения

1. Классическое обучение

Это простейшие алгоритмы, которые являются прямыми наследниками вычислительных машин 1950-х годов. Они изначально решали формальные задачи — такие, как поиск закономерностей в расчетах и вычисление траектории объектов. Сегодня алгоритмы на базе классического обучения — самые распространенные. Именно они формируют блок рекомендаций на многих платформах.

Но классическое обучение тоже бывает разным:

Обучение с учителем — когда у машины есть некий учитель, который знает, какой ответ правильный. Это значит, что исходные данные уже размечены (отсортированы) нужным образом, и машине остается лишь определить объект с нужным признаком или вычислить результат.

Такие модели используют в спам-фильтрах, распознавании языков и рукописного текста, выявлении мошеннических операций, расчете финансовых показателей, скоринге при выдаче кредита. В медицинской диагностике классификация помогает выявлять аномалии — то есть возможные признаки заболеваний на снимках пациентов.

Обучение без учителя — когда машина сама должна найти среди хаотичных данных верное решение и отсортировать объекты по неизвестным признакам. Например, определить, где на фото собака.

Эта модель возникла в 1990-х годах и на практике используется гораздо реже. Ее применяют для данных, которые просто невозможно разметить из-за их колоссального объема. Такие алгоритмы применяют для риск-менеджмента, сжатия изображений, объединения близких точек на карте, сегментации рынка, прогноза акций и распродаж в ретейле, мерчендайзинга. По такому принципу работает алгоритм iPhoto, который находит на фотографиях лица (не зная, чьи они) и объединяет их в альбомы.

2. Обучение с подкреплением

Это более сложный вид обучения, где ИИ нужно не просто анализировать данные, а действовать самостоятельно в реальной среде — будь то улица, дом или видеоигра. Задача робота — свести ошибки к минимуму, за что он получает возможность продолжать работу без препятствий и сбоев.

Обучение с подкреплением инженеры используют для беспилотников, роботов-пылесосов, торговли на фондовом рынке, управления ресурсами компании. Именно так алгоритму AlphaGo удалось обыграть чемпиона по игре Го: просчитать все возможные комбинации, как в шахматах, здесь было невозможно.

3. Ансамбли

Это группы алгоритмов, которые используют сразу несколько методов машинного обучения и исправляют ошибки друг друга. Их получают тремя способами:

  • Стекинг — когда разные алгоритмы обучают по отдельности, а потом передают их результаты на вход последнему, который и принимает решение;
  • Беггинг — когда один алгоритм многократно обучают на случайных выборках, а потом усредняют ответы;
  • Бустинг — когда алгоритмы обучают последовательно, при этом каждый обращает особое внимание на ошибки предыдущего.

Ансамбли работают в поисковых системах, компьютерном зрении, распознавании лиц и других объектов.

4. Нейросети и глубокое обучение

Самый сложный уровень обучения ИИ. Нейросети моделируют работу человеческого мозга, который состоит из нейронов, постоянно формирующих между собой новые связи. Очень условно можно определить их как сеть со множеством входов и одним выходом. Нейроны образуют слои, через которые последовательно проходит сигнал. Все это соединено нейронными связями — каналами, по которым передаются данные. У каждого канала свой «вес» — параметр, который влияет на данные, которые он передает.

ИИ собирает данные со всех входов, оценивая их вес по заданным параметрами, затем выполняет нужное действие и выдает результат. Сначала он получается случайным, но затем через множество циклов становится все более точным. Хорошо обученная нейросеть работает, как обычный алгоритм или точнее.

Настоящим прорывом в этой области стало глубокое обучение, которое обучает нейросети на нескольких уровнях абстракций.

Здесь используют две главных архитектуры:

  • Сверточные нейросети первыми научились распознавать неразмеченные изображения — самые сложные объекты для ИИ. Для этого они разбивают их на блоки, определяют в каждом доминирующие линии и сравнивают с другими изображениями нужного объекта;
  • Рекуррентные нейросети отвечают за распознавание текста и речи. Они выявляют в них последовательности и связывают каждую единицу — букву или звук — с остальными.

Нейросети с глубоким обучением требуют огромных массивов данных и технических ресурсов. Именно они лежат в основе машинного перевода, чат-ботов и голосовых помощников, создают музыку и дипфейки, обрабатывают фото и видео.

Проблемы машинного обучения

  • Для того чтобы эффективно обучать нейросети и любые сложные алгоритмы, нужны огромные массивы данных и технические ресурсы: серверы, специальные помещения для них, высокоскоростной интернет без сбоев, много электроэнергии. На получение нужных данных уходят годы работы и миллионы долларов. Такие затраты может позволить себе только крупная ИТ-корпорация. Открытых датасетов совсем не много, некоторые можно купить, но стоят они очень дорого;
  • С ростом мощностей для сбора и обработки датасетов растут и вредные выбросы, которые производят крупнейшие датацентры;
  • Данные нужно не только собрать, но и разметить — так, чтобы машина точно определила, где какой объект и какие у него признаки. Это касается числовых данных, текстов, изображений. Опять же, чтобы сделать это вручную, нужны миллионные вложения. Например, у «Яндекса» есть «Яндекс.Толока» — сервис, где неразмеченные данные вручную обрабатывают миллионы фрилансеров. Такое тоже может себе позволить далеко не каждый разработчик;
  • Даже если данных много и они регулярно обновляются, в процессе обучения может выясниться, что алгоритм не работает. Проблема может быть и в данных, и в самом подходе: когда машина успешно решила задачу с одними данными, но не в состоянии масштабировать решение с новыми условиями;
  • Несмотря на все прорывы в глубоком обучении нейросетей, ИИ пока что не может создавать что-то абсолютно новое, выходить за рамки предложенных условий и превзойти заложенные в него способности. Другими словами, он пока что не в состоянии превзойти человека.

Перспективы машинного обучения: не начнет ли ИИ думать за нас?

Вопрос о том, не сделает ли машинное обучение ИИ умнее человека, изначально не совсем корректный. Дело в том, что в природе нет универсальной иерархии в плане интеллекта. Мы по умолчанию считаем себя умнее остальных существ, но, к примеру, белка способна запоминать местонахождения тысячи тайников с запасами, что не под силу даже очень умному человеку. А у осьминогов каждое щупальце способно мыслить и действовать самостоятельно.

Читайте также:
Полное руководство по iCloud [Часть 2]: управление фото

Так же и с ИИ: он уже превосходит нас во всем, что касается сложных вычислений, но по-прежнему не способен сам ставить себе новые задачи и решать их, подбирая нужные данные и условия. Это ограничение в последние годы пытаются преодолеть в рамках сильного ИИ, но пока безуспешно. Надежду на решение этой проблемы внушают квантовые компьютеры, которые выходят за пределы обычных вычислений.

Зато мы в ближайшем будущем сможем заметно расширить свои возможности с помощью ИИ, передавая ему рутинные и затратные операции, общаясь и управляя техникой при помощи нейроинтерфейсов.

За счет чего смартфоны фотографируют все лучше и лучше

«Профиль» продолжает рассказ о том, как устроена вычислительная фотография в мобильных устройствах и к чему приведет дальнейшая эволюция фототехнологий.

Займемся стекингом

Сенсор айфона меньше «полного кадра» примерно в 70 раз, и для начала мобильным вендорам предстояло отыграть это гигантское отставание. Оно напрямую влияет на динамический диапазон (ДД) фотоснимка – спектр яркостей между белым и черным цветами, который в состоянии зафиксировать камера. Для ее прототипа – человеческого глаза – это понятие неактуально: «обегая» взглядом окружающее пространство, мы считываем визуальную информацию по крупицам, которые «склеивает» мозг. Из-за того, что глаз одновременно смотрит лишь в одну точку, мгновенно адаптируясь при перепадах освещенности (расширяя и сужая зрачок), каждую деталь человек видит с максимальной яркостью и контрастом.

Камера же вынуждена одновременно охватить всю сцену, настраивая экспозицию (свой «зрачок») относительно референтной точки, поэтому априори не может уловить все оттенки. Чем меньше ДД, тем хуже она передает светотеневые градации: каждый сталкивался с этим, пытаясь запечатлеть ярким днем затемненный объект, – получится либо черный передний план и красочное небо, либо искомый объект на «выжженном» белом фоне. В полнокадровых фотоаппаратах последних лет эта проблема во многом решена: динамический диапазон достаточен для большинства сцен, а в сложных случаях фотографу остается грамотно работать со светом. К тому же стремление к снимкам, на которых «все видно», характеризует любителей: известные фотографы чаще строят кадр на контрасте, выделяя главное с помощью светотеневого рисунка.

Но у смартфонов исходный ДД настолько мал, что его расширение выглядело объективно необходимым. Исходным шагом стала функция съемки в RAW-файлы – цифровые негативы, при компьютерной проявке восстанавливающие максимум информации на снимке. Первыми ее внедрили HTC и Nokia в начале 2010-х. Но этого было мало. Куда эффективнее, чем «вытягивать» темные и светлые участки в RAW-конвертере, можно расширить динамический диапазон путем добавления информации из другого кадра. Этот прием называется «эпсилон-фотография», или, как прижилось в обиходе, стекинг: создается несколько дублей с вилкой (изменением одного из параметров на заданное число ступеней), а затем они накладываются друг на друга. Тем самым имитируется способность человеческого глаза к многократному «проходу» сцены с переадаптацией. Продвинутые фотографы пользуются стекингом с 2000-х годов для самых разных задач: увеличения глубины резкости (вилка по фокусу), создания таймлапсов (вилка по времени съемки) и панорам (вилка со смещением камеры).

Применительно к ДД стекинг позволяет снять затемненные и осветленные версии сцены (эксповилка), сложить полученную информацию и в мультикадре выдать HDR-картинку (high dynamic range – высокий динамический диапазон). Попытки автоматического создания HDR были уже в iPhone 4 (2010) и Samsung Galaxy S3 (2012), но склейка требовала времени и грешила ненатуральными оттенками. Другое дело сегодня: смартфоны объединяют уже не классическую тройную вилку («нормальный» кадр, «светлый» и «темный»), а до десятка изображений, полученных с различными настройками.

Это удалось реализовать благодаря небывалой скорострельности. Быстрое считывание данных процессором, отсутствие механических деталей, моментальная автофокусировка благодаря простейшей оптической схеме – все это позволяет смартфону делать десятки кадров в секунду. В профессиональных камерах скорость серийной съемки лишь недавно приблизилась к такому уровню – до этого проблемой фотографов было снять вовремя даже один кадр, поскольку между нажатием кнопки и срабатыванием затвора оставался лаг в 0,1–0,2 секунды.

В мобильной фотографии лаг равен даже не нулю, а отрицательной величине: как только пользователь откроет приложение «Камера», сенсор начинает «сыпать» снимками, сохраняя их во временном буфере, ведь это единственный способ транслировать изображение на экран. На момент нажатия кнопки затвора буфер уже наполнен фотомгновениями ближайшего прошлого: телефон выбирает среди них наиболее резкие и начинает обработку.

Сегодня HDR-режим во многих смартфонах включен по умолчанию. И потолок в его развитии явно не достигнут. Так, в айфонах появился «умный» стекинг, побаловавший пользователей необычными способами склейки кадров: например, симуляцией длинной выдержки с помощью множества коротких в режиме LivePhoto (подойдет для «сглаживания» бегущей воды). А в телефонах Google Pixel нейросетевой стекинг (HDR+) моментально проявляет и склеивает несколько RAW-файлов, чем редко занимаются даже профессиональные фотографы.

Нашествие многоглазых

Но, компенсировав размер матрицы стекингом, разработчики смартфонов мало продвинулись бы в улучшении фотографий, не придумай они решение проблемы с оптикой. Ведь от нее зависят художественные свойства картинки: передача объема, микроконтраст, рисунок в зоне нерезкости. Сенсоры лишь регистрируют пропущенный через линзу пучок света, причем если они, как положено микроэлектронике, совершенствуются с каждым годом, то оптическое приборостроение – куда более консервативная отрасль. Светосила и «воздушность» картинки прямо зависят от количества используемого стекла, а увеличение максимальной диафрагмы с f/2,0 до f/1,4 дает двукратную прибавку к весу и габаритам.

Поэтому телефонные линзы априори не выдерживают сравнения с полноценными объективами (даже если производитель нанес на корпус слова Leica и Zeiss, обладающие для многих магическим эффектом). Что же делать? Здесь смартфонам и потребовалась многокамерность (для стекинга хватило бы одного фотомодуля). Надо заметить, что попытки «клонировать» тыльную камеру предпринимались еще в 2007 году (первая подобная модель – Samsung SCH-B710), тогда покупателей пытались соблазнить съемкой 3D-фото. Но функция оказалась бесполезной, и полноценное наступление «многоглазых» девайсов началось лишь спустя 10 лет: как это часто случается, рынок заразился идеей второй камеры после того, как она появилась в айфоне.

При этом назначение нескольких камер изменилось. Сегодня они, во-первых, обеспечивают съемку с разным углом обзора. Стандартная «триада» объективов – штатный с фокусным расстоянием (ФР) 20–25 мм в пересчете на полнокадровую матрицу, широкоугольный (12–15 мм) и «дальнобойный» (50 мм).

Есть и вариации. Так, Apple остановилась на двух камерах, лишь поменяв в iPhone 11 дополнительный модуль с телеобъектива на «ширик». Китайские же компании все чаще практикуют расширенный набор: в новом Xiaomi MiNote 10 это главная линза (25 мм), портретная (50 мм), «ширик» (13 мм) плюс специальные модули для зума и макросъемки. С таким богатством необходимости во внешних накладных объективах («прищепках») больше нет: популярный в середине 2010-х аксессуар остался на обочине прогресса.

Читайте также:
Как удалить аккаунт Instagram [Пошаговое руководство]

Но главная ценность «многоглазых» устройств в том, что их камеры могут захватывать изображение одновременно, как бы помогая друг другу. Сообща мини-линзы пропускают больше света, чем каждая по отдельности, симулируя дорогую оптику с широкой диафрагмой. По сравнению с первым вариантом реализации этого принципа (в HTC One, 2014 год) сегодняшние аппараты продвинулись далеко вперед.

К примеру, у Huawei картинка запечатлевается двумя матрицами – цветной и черно-белой. Дело в том, что фотодатчики могут уловить только интенсивность потока фотонов, но не информацию о цвете (длину световой волны). Поэтому во всех фотоаппаратах матрица накрыта разноцветным фильтром, где каждому пикселю соответствует один из трех основных цветов – зеленый, красный или синий (по аналогии с тремя видами колбочек в человеческом глазу, воспринимающих определенную часть цветового спектра). Таким образом, пиксели изначально окрашиваются только в три цвета (затем путем усреднения данных соседних пикселей они смешиваются, восстанавливая весь цветовой спектр), а часть фотонов, не соответствующих заданной длине волны, отсекается. Итог – потеря света. Поэтому у Huawei один сенсор отвечает за цвет, а черно-белый, не имеющий над собой фильтра, ловит максимум фотонов: после склейки получается более яркая и четкая картинка.

Столь же элегантно мобильные бренды решили вопрос с оптическим зумом. Больше никаких выдвижных объективов, как в «Самсунгах» начала 2010-х: только «умное» объединение изображений. Одновременная съемка с двух фикс-объективов – скажем, 25 мм и 50 мм – покрывает фокусные расстояния между ними, обеспечивая двукратный зум без потери качества: прием, также немыслимый в профессиональной фототехнике. Более радикальный вариант представлен в Huawei P30 Pro: телеобъектив на 125 мм и пятикратный оптический зум. По всем законам оптики такое приближение требует выезжающей из корпуса «трубки», однако китайцы ухитрились спрятать все в тонкий корпус за счет перископической конструкции линзы.

Личный портретист

Но для многих покупателей главным символом прогресса мобильных камер стала возможность съемки портретов с малой ГРИП (глубиной резко изображаемого пространства). В профессиональной среде к снимкам с размытым фоном (боке) отношение двоякое: он полезен как инструмент кадрирования по глубине (для скрытия нежелательных предметов на заднем плане), хотя классики фотографии предпочитали как раз большую ГРИП, стремясь к смысловому обыгрыванию фона в композиции. Постепенно из палочки-выручалочки «ленивых» фотографов размытый фон превратился в своеобразный фетиш: в глазах неискушенного зрителя боке – обязательный элемент «дорогой», «профессиональной» фотографии. Это объясняется физиологически: такие изображения напоминают работу глаза, который, фокусируясь на конкретной точке, также размывает второстепенные предметы в поле зрения.

Производители смартфонов потакают вкусам публики. В середине 2010-х начались эксперименты с программным боке: гаджет выделял в кадре лицо и размывал все остальное. Результат был далек от идеала – алгоритмы неточно очерчивали человеческую фигуру, то уводя в боке часть прически и оправу очков, то, наоборот, окружая портретируемого «нимбом» из резких деталей на заднем плане. Да и само размытие, математически имитирующее рисунок оптики, выглядело ненатурально, напоминая любимый ретушерами-новичками инструмент «блюр» в Adobe Photoshop.

Стремясь улучшить портретный режим, разработчики внедрили в камерофоны технологию ToF (time of flight – время полета): специальный датчик на задней панели запускает к попавшим в кадр объектам световые импульсы, замеряя количество миллисекунд, затраченных фотонами в пути. Это упрощенный вариант лидара (LiDAR – Light Detection and Ranging) – лазерного дальномера в беспилотных автомобилях, вычисляющего расстояния до объектов в 3D-пространстве.

Сегодня ToF присутствует во флагманах Samsung и Huawei: при съемке портретов их камеры составляют карту глубины пространства, регулируя степень размытия предметов. Apple обходится без ToF, но использует в качестве дальномера вторую камеру (пока первая снимает), а также экспериментирует с технологией Dotprojector – проецированием сетки лучей на 3D-объекты (применяется в распознавании лиц фронтальной камерой).

Любопытно, что в истории фотографии уже были «многоглазые» устройства: в конце XIX века пользовались популярностью стереоскопы, а затем несколько десятилетий на рынок поступали двухобъективные «зеркалки». Но затем они сдались под напором более простых и доступных однообъективных. Теперь же смартфоны воскрешают полузабытую ветвь фототехнологий.

Детализацию заказывали?

Справившись с расширением ДД и симулировав светосильную оптику, смартфонам оставалось овладеть третьим китом качественной фотографии – высокой детализацией. Для этого был использован пиксель-шифтинг – прием, основанный на технологии внутрикамерной стабилизации (in-body image stabilization, IBIS), когда сенсор установлен на подвижной платформе, смещающейся при колебаниях рук фотографа, чтобы избежать «смаза». Она известна в фотоиндустрии с середины 2000-х, но до пиксель-шифтинга – развития идеи IBIS в стекинг по движению – производители мобильников дошли быстрее, чем большинство фотобрендов.

Суть приема в том, что камера по умолчанию сдвигает сенсор на 0,5–1 пиксель. Сделав до десятка фотографий со смещенной во все стороны картинкой, гаджет собирает их в одну, получая многократно более высокое разрешение. Фактически это то же самое, что стекинг при создании панорамы из серии кадров, только с микроскопическим смещением камеры.

Главное назначение пиксель-шифтинга – цифровой зум без потери качества. В этой фразе как будто скрыто противоречие, ведь кажется привычным, что при сильном приближении картинка распадается на отдельные пиксели (глитч-эффект). Но выяснилось, что решение поблизости: несколько дефектных фотографий превращаются в одну приличную.

Это позволило вендорам реализовать гибридный зум: линза с оптическим приближением плюс цифровой зум со стекингом дают увеличение оригинальной картинки в 20–30 раз – по сути, смартфон превращается в подзорную трубу. Как показали недавние анонсы, это не предел: в Xiaomi Mi 10 пользователи обнаружат 50-кратный зум, в Samsung S20 Ultra – 100-кратный. Сам по себе гибридный подход, когда свойства оптики, матрицы и алгоритмов дают мультипликационный эффект, – явная находка вычислительной фотографии. Между отдельными узлами фотоаппаратов такой синергии не наблюдается, а иногда стабилизация в объективе и на матрице вообще не работает одновременно.

Известно, что над усовершенствованием пиксель-шифтинга трудится Google (технология Super Resolution): по слухам, в перспективе результат будет сравним с популярным приемом из фантастических фильмов, когда изображение можно увеличивать без конца, восстанавливая лицо преступника по отражению в зрачках жертвы. Похожие разработки ведутся в «Яндексе» (DeepHD). А в Apple научились повышать детализацию снимков без пиксель-шифтинга, за счет склейки дублей, снятых с разной выдержкой (DeepFusion). Есть и другие способы восстановления изображения (деблюра): кодированный затвор, кодированная диафрагма, фазовое кодирование… До применения в смартфонах они пока не созрели, но изучаются IT-компаниями.

Ночь превратилась в день

Вершиной вычислительной фотографии, пожалуй, можно считать ночную съемку. Считается, что уж где-где, а при слабом освещении фотоаппарат даст фору мобильнику. Но если фотобренды всегда делали ставку на повышение светочувствительности (пластин, пленки, а теперь цифрового сенсора), то мобильная индустрия подошла к проблеме куда изобретательнее. Примером может послужить режим Night Sight в смартфонах Google Pixel.

Читайте также:
Как отменить покупку в App Store или iTunes Store: эксперимент

В нем IT-гиганту пришлось задействовать съемку в RAW, HDR-стекинг, компенсацию «смазов», распознавание сцен нейросетями (они, к примеру, отвечают за приведение к единой цветовой гамме картинки, освещаемой «теплыми» и «холодными» лампами). А появление второй камеры в прошлогоднем Pixel 4 сделало Night Sight пригодным даже для съемки звезд. В сумме это создает ощущение волшебства: глаза видят кромешную тьму, а на фотографии – легкие сумерки. Как шутят на форумах, скоро на смартфон можно будет снять черную кошку в темной комнате и она будет четкой.

19 отличных бесплатных нейросетей

К 2019 году искусственные нейронные сети стали чем-то большим, чем просто забавная технология, о которой слышали только гики. Да, среди обычных людей мало кто понимает что из себя представляют нейросети и как они работают, но проверить действие подобных систем на практике может каждый – и для этого не нужно становиться сотрудником Google или Facebook. Сегодня в Интернете существуют десятки бесплатных проектов, иллюстрирующих те или иные возможности современных ИНС, о самых интересных из них мы и поговорим.

Из 2D в 3D

На этом сервисе вы сможете вдохнуть новую жизнь в свои старые фотографии, сделав их объемными. Весь процесс занимает меньше минуты, необходимо загрузить изображение и через несколько секунд получить 3D-модель, которую можно покрутить и рассмотреть во всех деталях. Впрочем, есть два нюанса — во-первых, фотография, должна быть портретной (для лучшего понимания требований на главной странице сайта представлены наиболее удачные образцы снимков, которые ранее загружали другие пользователи; во-вторых, детализация получаемой модельки зачастую оставляет желать лучшего, особенно, если фотография в низком разрешении. Однако авторы разрешают не только ознакомиться с результатом в окне браузера, но и скачать получившийся файл в формате obj к себе на компьютер, чтобы затем самостоятельно его доработать.

Нейминг брендов

Придумали крутую идею для стартапа, но не можете определиться с именем для будущей компании? Достаточно вбить несколько ключевых слов, задать длину названия в символах и готово! В общем, больше не нужно искать на фрилансе людей, которые будут решать такой личный вопрос, как наименование дела всей вашей жизни.

Выбор досуга

Пересмотрели все интересные вам фильмы, прочли все достойные книги и не знаете чем занять вечер? Система рекомендаций от специалиста по искусственному интеллекту Марека Грибни расскажет как увлекательно и с пользой провести свободное время. Для корректной работы сервиса вас сперва попросят указать ваши любимые произведения в кинематографе, литературе, музыке или живописи.

Рай для искусствоведа

Google специально для поклонников современного (и не только) искусства запустила проект Google Arts & Culture, в котором можно подобрать произведения по вашему вкусу как от малоизвестных, так и от малоизвестных авторов. Большая часть контента здесь на английском, но если вы не дружите с языками, можно воспользоваться встроенным переводчиком.

Озвучивание картинок

Японская студия Qosmo разработала очень необычную нейросеть Imaginary Soundscape, которая воспроизводит звук, соответствующий тому или иному изображению. В качестве источника информации вы можете указать ссылку на любую картинку в Интернете, загрузить свой файл либо выбрать случайную локацию на Google Maps.

Не умеешь рисовать – тогда тебе к нам!

Если вы пробовали использовать рукописный ввод на своем смартфоне, эта нейросеть покажется вам до боли знакомой: она превращает любые каракули в аккуратные 2D-рисунки.

Генерация людей

Thispersondoesnotexist – это один самых известных AI-проектов. Нейросеть, созданная сотрудником Uber Филиппом Ваном, выдает случайное изображение несуществующего человека при каждом обновлении страницы.

Генерация… котов

Тот же автор разработал аналогичный сайт, генерирующий изображения несуществующих котов.

Быстрое удаление фона

Часто ли вам приходится тратить драгоценное время на удаление бэкграунда с фотографий? Даже если регулярно такой необходимости не возникает, следует на всякий случай знать о возможности быстрого удаления фона с помощью удобного онлайн-инструмента.

Написать стихотворение

Компания ‘Яндекс’, известная своей любовью к запуску необычных русскоязычных сервисов, имеет в своем портфолио сайт, где искусственный интеллект составляет рандомные стихотворения из заголовков новостей и поисковых запросов.

Окрашивание черно-белых фотографий

Colorize – это также российская нейросеть, возвращающая цвета старым черно-белым снимкам. В бесплатной версии доступно 50 фотографий, если вам нужно больше, можете приобрести платный аккаунт с лимитом в десять тысяч изображений.

Апскейлинг фото

Лет 10-15 назад камеры мобильных устройств не отличались высоким разрешением, и слабый сенсор в телефоне никак не мог справиться с детализированной картиной окружающего мира. Теперь же, если вы захотите повысить разрешение своих старых фотографий, это можно сделать на сервисах вроде Bigjpg и Let’s Enhance, которые позволяют увеличить размер изображения без потери в качестве.

Чтение текста голосом знаменитостей

Благодаря высоким технологиям, сегодня у вас есть возможность озвучить любую фразу голосом самых известных в мире людей. Все просто: пишите текст и выбираете человека (среди последних — Дональд Трамп, Тейлор Свифт, Марк Цукерберг, Канье Уэст, Морган Фриман, Сэмюель Л Джексон и другие).

Описание фотографий

Казалось бы, искусственный интеллект должен быть способен без труда описать любую, даже самую сложную картинку. Но это вовсе не так, обучить ИИ распознавать отдельные образы действительно относительно просто, а вот заставить компьютер понимать общую картину происходящего на изображении, очень сложная задача. У Microsoft получилось с ней справиться, и ее CaptionBot без труда скажет, что вы ему показываете.

Музыкальная шкатулка

Напоследок расскажем о целой пачке нейросетей от Google, первая из них – Infinite Drum Machine. Открыв страницу приложения, вы увидите своеобразную карту, на которой находятся самые разнообразные звуки. С помощью круглых манипуляторов можно изменять сочетание элементов, если получившийся набор покажется вам бессмысленным, нажмите кнопку Play в нижней части экрана и звуковая картина сложится сама собой.

Птичий хор

Если предыдущий сервис может оказаться полезным для, например, диджеев или обычных музыкантов, то польза от управления голосами десятков тысяч певчих птиц довольно сомнительна. Кстати, коллекция звуков для Bird Sounds собиралась орнитологами со всего мира на протяжении нескольких десятилетий.

Виртуальный пианист

В A. I. Duet пользователю предлагается сыграть какую-нибудь мелодию на пианино, а искусственный интеллект попробует самостоятельно закончить композицию, подобрав наиболее логичное и гармоничное продолжение.

Распознавание рисунков

Еще во время первых экспериментов с нейросетями в середине прошлого века основной задачей машинного обучения было распознавание визуальных образов. Спустя десятки лет эта технология выбралась из лабораторий и доступна всем желающим: на сайте quickdraw.withgoogle.com/ вам предложат быстро рисовать простые наброски определенных предметов, при этом ИИ будет все время комментировать происходящее на экране синтезированной речью.

Читайте также:
Наушники AirPods

Объяснение логики машинного обучения

Проект Visualizing High-Dimensional Space (“Визуализация многомерного пространства”) создавался для того, чтобы объяснить простым людям и начинающим разработчикам, как работают нейросети. Когда ИИ, оперируя большими базами данных, получает информацию (например, вашу фотографию, введенную фразу или только что нарисованное изображение), он сравнивает входящие данные с теми, что у него уже есть. VHDS наглядно демонстрирует корреляцию одного лишь выбранного вами слова с миллионами аналогичных понятий.

17 нейросетей для создания и обработки изображений

Маркетинг не обходится без изображений – они нужны для иллюстрирования статей, рекламных креативов и так далее. А нейросети могут значительно облегчить процесс работы с визуальным контентом.

Я собрала подборку из 17 сервисов на нейросетях для создания и обработки изображений. Все они бесплатны, но некоторые предлагают за деньги дополнительные возможности.

Инструменты расположены в случайном порядке.

This Person Does Not Exist

Сотрудник Uber Филипп Ван создал сервис, генерирующий человеческие лица. Он работает на основе генеративной нейросети StyleGAN от Nvidia.

Фото человеческих лиц генерируются автоматически на основе миллионов обработанных изображений. Система анализирует их и создает собирательный образ. Каждый раз, когда обновляете страницу, появляется новое лицо. Вы можете подумать, что где-то видели этого человека, но его на самом деле нет. Этот сервис – раздолье для тех, кому нужны фейковые фото для отзывов, или тех, кто боится нарушить авторские права при использовании фотографий людей.

В большинстве случаев нейросеть выдает действительно качественные фото. Но случаются и ошибки – например, размытие одной области или добавление постороннего объекта на фото, приводящее к искажению. По моим наблюдениям, ошибки содержит примерно один результат из 5–6.

Nvidia InPainting

Корпорация Nvidia, разрабатывающая графические процессоры, создала свой сервис для ретуширования изображений. В него можно загрузить любую картинку и исправить ее с помощью «умной» кисти.

Нейросеть умеет незаметно удалять разные объекты с фото. Обработка изображения занимает несколько секунд: нужно просто загрузить выбранное фото, «закрасить» детали, которые вам не нужны, и нажать на «Apply Model».

AutoDraw

Графический редактор от Google помогает создавать хорошие иллюстрации тем, кто не умеет рисовать. Сервис был представлен в рамках проекта AI Experiments, открытого осенью 2016 года.

Внешне нейросеть похожа на простой графический редактор. В сервисе можно:

  • выбрать три формата изображения – одно горизонтальное и два вертикальных;
  • просто рисовать, как карандашом в Paint;
  • создавать фигуры – круги, треугольники и четырехугольники;
  • писать текст любым из 14 шрифтов, выбирать размер букв от 8 до 96;
  • заливать цветом фигуры, изображения, фон, менять цвета любых элементов;
  • перемещать и масштабировать объекты на рисунке.

Самая главная функция сервиса – создание опрятных и красивых рисунков на основе каракулей. Достаточно приблизительно нарисовать объект, и сеть покажет сверху небольшие иконки изображений. Кликните на любую, чтобы каракули превратились в осмысленный рисунок.

С помощью нейросети легко создавать простейшие рисунки. Идеально для тех, кто выбрал минимализм в оформлении, например, социальных сетей – за 1-2 секунды можно создать уникальную простую иллюстрацию к посту.

Если будете работать с AutoDraw, учтите, что у нейросети своеобразное восприятие каракулей. Иногда она не может определить, что изображено, и предлагает неподходящие иллюстрации.

Looka

Сервис генерирует логотипы, исходя из информации о вашей компании. В работе он использует алгоритмы Tensor Flow от Google.

Чтобы получить несколько вариантов логотипов, нужно рассказать нейросети о том, чем вы занимаетесь и какие решения вам нравятся. А именно:

  • указать сферу деятельности;
  • выбрать 5 или более логотипов, которые вам нравятся, из предложенных;
  • выбрать 2 набора цветов;
  • выбрать 3 конкретных цвета для логотипа;
  • указать название компании и слоган или УТП;
  • выбрать до 5 символов, характеризующих вашу компанию.

После этого нейросеть сгенерирует 12 вариантов, основываясь на анализе реально существующих логотипов и информации, которую вы ей предоставили.

Poem Portraits

Этот сервис – результат сотрудничества Google Arts и Culture Lab. Он создает из фотографий портреты со стихотворениями.

Чтобы получить уникальный портрет, нужно сначала ввести любое слово, которое должно присутствовать в стихе. А потом разрешить доступ к камере. Через несколько секунд получите готовый «стихотворный» портрет.

Есть два нюанса:

  • указывать слово нужно на английском, нейросеть пока не умеет распознавать другие языки;
  • загрузить чье-то фото не получится, нейросеть работает только с камерой вашего устройства.

Возможно, нейросеть будет развиваться дальше и сможет обрабатывать не только фото, сделанные здесь и сейчас. А пока ее можно использовать, чтобы генерировать контент для личного аккаунта: например, удивлять подписчиков в Instagram.

DeepArt

Сервис меняет стиль изображения на выбранный вами. Можно, например, создать абстракцию из нормального фото или превратить портрет в нечто футуристическое, сделать крутой контент для соцсетей или получить уникальные иллюстрации на сайт.

Чтобы нейросеть заработала, загрузите изображение, которое хотите изменить, и выберите стиль, который вам нужен. Потом укажите e-mail. Из-за длинной очереди обработка изображения может длиться от 2-3 минут до часа.

Я прождала больше часа, чтобы получить результат. Он появился в личном кабинете сервиса – рядом с двумя изображениями возникло третье.

RemoveBg

Эта нейросеть от компании Product Hunt удаляет фон с изображений за 5 секунд. В компании рассказали, что используют искусственный интеллект и несколько дополнительных алгоритмов, но не раскрыли, какие именно технологии помогают обрабатывать иллюстрации.

Раньше сервис работал только с фотографиями, на которых есть люди. Сейчас автоматически распознает любые объекты на переднем плане и убирает фон сзади них. Просто загрузите изображение и получите готовую иллюстрацию без фона: обработка занимает 3-4 секунды.

В этом же сервисе полученное изображение можно редактировать. Например, стереть его часть, выбрать цвет фона или загрузить свой, восстановить определенную область фона.

Эта нейросеть подходит для создания сайтов со сложной графикой, иллюстраций к статьям и постам в социальных сетях, креативов для рекламы. Ее возможности не безграничны, но достаточны, чтобы генерировать нормальный визуальный контент.

Colorize

Сервис создан российской компанией G-Core Labs на основе проекта DeOldify с открытым исходным кодом. Нейросеть умеет раскрашивать черно-белые фотографии в реалистичные цвета.

Чтобы получить готовое изображение, просто загрузите черно-белую иллюстрацию и оставьте адрес электронной почты. Обработка займет от 10 секунд до 30 минут, в моем случае письмо было на почте через 15 секунд.

Это условно бесплатный сервис. На каждой иллюстрации будет видна надпись «Created by colorize.cc», а всего можно загрузить до 50 картинок. Чтобы убрать надпись и увеличить лимит загрузок до 10 000, нужно заплатить 10 $.

Reflect

Сервис создан на основе генеративно-состязательной сети. Он умеет заменять лица на фотографиях.

Читайте также:
Кредитка Apple Card: что это и как работает

Нейросеть не просто заменяет лица на фото, но и сохраняет выражение лица, его цвет и другие характеристики. В ней можно заменять лица и на статуях, картинах, в кадрах из мультфильмов и скриншотах из видеоигр.

Чтобы обработать изображение, просто загрузите его или выберите подходящее из галереи сервиса. Там есть даже мемы и образы героев видеоигр, популярных мультфильмов. Потом выберите лица, которые хотите изменить, и выберите для каждого подходящее лицо из предложенных или загрузите свое изображение. Снимки получаются очень реалистичными.

В планах сервиса научить нейросеть не только заменять лица на фото, но и тела вместе с лицами на видео. А пока что он генерирует изображения с водяным знаком. Чтобы убрать его, зарегистрируйтесь и пригласите 5 друзей по реферальной ссылке. Тогда сможете скачивать готовые иллюстрации без вотермарок.

Let’s Enhance

Сервис работает на основе нейронных сетей, которые учатся восстанавливать детали, опираясь на данные о часто встречающихся текстурах и объектах. Он позволяет увеличить разрешение изображения в 4 раза без потери качества.

Недавно разработчики добавили возможность увеличения разрешения до 16 раз. Но это не единственная функция сервиса. Он может добавлять текстуры, улучшать цвета, делать иллюстрации более четкими и красивыми. Просто загрузите файл и выберите, что нужно с ним сделать.

Этот сервис можно использовать, чтобы запускать кампании в рекламных сетях, имеющих жесткие ограничения. Например, если сеть не позволяет загружать креативы размером менее 1000 px по ширине, можно использовать сервис для увеличения разрешения.

Ostagram

Нейросеть, судя по коду на GitHub, создана жителем Нижнего Новгорода Сергеем Моругиным. Она умеет раскрашивать изображения в цвета других иллюстраций.

Ostagram очень похожа на DeepArt и Instapainting, но у нее немного другой принцип работы. Она оформляет исходное изображение не в стиле выбранной картины, а в ее цветах. Чтобы начать обработку, нужно просто загрузить или выбрать исходник и изображение, откуда нужно взять цветовую гамму.

Основная версия сервиса бесплатна, в остальном он условно бесплатный. Без денег можно получать готовые иллюстрации в разрешении максимум 600 пикселей по длинной стороне. Но, во-первых, у нас есть Let’s Enhance, а во-вторых, можно оплатить услуги сервиса. Размер изображения в версии Premium – до 700 пикселей, в версии HD – до 1 200 пикселей.

Convolutional Network

Этот сервис создан учеными из Ноттингемского университета. В качестве основы они использовали сверхточную нейросеть, использующуюся для распознавания объектов. Сервис умеет делать 3D-модели лица на примере одного фото.

Чтобы начать обработку фото, достаточно сфотографироваться или загрузить нужное изображение и подтвердить, что вы не робот. Чтобы результат был нормальным, создатели нейросети рекомендуют выбирать фото крупным планом без лишних деталей.

Обработка занимает 3-4 секунды, а сам результат можно «потрогать» мышкой или скачать в формате .obj.

Prisma

Это – приложение для смартфонов Android, работающее на основе нейронных сетей. Его создала студия Prisma Labs, руководит которой бывший сотрудник Mail.ru.

Приложение работает как обычный фоторедактор: позволяет применить к сделанным фотографиям разные стили. Нужно просто выбрать, в каком стиле хотите оформить изображение. Полученное фото можно скачать или поделиться им в социальных сетях.

Приложение условно бесплатное. Можно пользоваться им как обычным фоторедактором, но самые лучшие фильтры закрыты. Чтобы открыть доступ к ним, нужно купить подписку стоимостью 119 р./месяц. Помимо закрытых фильтров, она дает доступ к новым коллекциям стилей, обработке в HD и отключает рекламу в приложении.

FaceHero

Еще одно приложение, на этот раз для устройств Apple. Оно умеет делать анимированные 3D-аватары и многое другое на основе одной фотографии. Разработка и поддержка работы приложения лежит на плечах компании itSeez3D.

  • превращать обычные фотографии в трехмерные бюсты для аватара;
  • анимировать трехмерные бюсты: например, делать так, чтобы человек подмигивал или посылал воздушный поцелуй;
  • ставить ваш аватар на стол, пол или другую основу в режиме AR (дополненной реальности);
  • делать стикеры из аватаров и импортировать их в разные приложения и мессенджеры.

Чтобы начать обрабатывать снимок, достаточно загрузить его или сделать фото на камеру. Создатели сервиса рекомендуют делать фотографии в условиях хорошего освещения – так аватары и стикеры выглядят лучше. Когда выберете снимок, сможете сделать аватар, поделиться им с другом или создать свой набор стикеров.

Movavi

Программа для Windows от одноименной компании Movavi работает как обычный редактор и может восстанавливать старые фото. В ее основе тоже лежат алгоритмы нейронных сетей.

Программа может скрывать царапины, восстанавливать поврежденные временем фрагменты, удалять «шумы» и даже раскрашивать черно-белые фото. Достаточно установить ее на ПК и загрузить скан-копию фото, чтобы создать, например, приятные и правдоподобные иллюстрации к заметкам об исторических событиях.

Помимо восстановления фото, программа может:

  • убирать лишние объекты со снимков;
  • делать иллюстрации более яркими;
  • менять цвет глаз и волос, применять макияж, удалять дефекты кожи на фото;
  • возвращать снимкам естественные цвета;
  • применять фильтры;
  • делать коллажи и многое другое.

Например, с помощью редактора можно готовить контент для Instagram или обрабатывать фото для сайта, чтобы они выглядели яркими и привлекали внимание пользователей.

Face App

Это десктопная программа и приложение для обработки фото. Ее создала компания Wireless Lab, руководителем которой выступает Ян Гончаров.

Face App стало очень популярным из-за возможности сделать человека на фото старым. Кроме того, приложение на основе нейросетей может:

  • добавить улыбку;
  • сделать человека на фото молодым;
  • добавить очки или бороду;
  • нанести макияж на фото;
  • поменять прическу;
  • наложить фильтры и многое другое.

По сути, это обычный фоторедактор, но с расширенным функционалом. В нем тоже есть возможность добавлять фильтры и эффекты, делать снимки размытыми и сразу публиковать их в социальных сетях или сохранять на телефон.

Приложение условно бесплатно – фото сохраняются с вотермаркой, есть PRO-функции и PRO-фильтры, недоступные сразу после скачивания. Подписка стоит 1 490 р. в год.

Может, вы тоже встречали интересные сервисы на основе нейросетей, которые могут создавать или обрабатывать изображения? Если да, поделитесь ссылками в комментариях.

А если вы не особо доверяете искусственному интеллекту, любите делать своими руками, и пока только учитесь дизайну и графике – обратите внимание на наш курс по Adobe Photoshop. За 6 занятий мы дадим основы работы с этим мощным и функциональным инструментом.

В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров

Рейтинг
( Пока оценок нет )
Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: