Редактирование 3D объектов в очках Apple Glasses

Умными очками Apple Glasses можно будет управлять взглядом. Как это работает?

Apple Glasses — это неуловимый проект AR-линз от Apple. Многие ждут появления на рынке нового гаджета с нетерпением, появляются первые предположения, как может выглядеть футуристическое устройство первого поколения. Появилась новая информация о возможных функциях очков: Apple подала заявку на новый патент. Похоже, что умные очки будут подчиняться движениям глаз их хозяина. Также можно ждать управления жестами и голосом. Рассказываем, как могут работать новые функции, и все, что известно об умных очках от Apple прямо сейчас — возможная цена, дизайн, технические характеристики, потенциальная дата выпуска.

Читайте «Хайтек» в

Самые последние функции. Управление глазами — это возможно?

Управление по патентам и товарным знакам США опубликовало патентную заявку от Apple, в которой раскрываются пользовательские интерфейсы для взаимодействия с их будущим HMD (Head Mounted Device, головное устройство). В умных очках Apple будет использоваться сочетание управления взглядом и сенсорного управления, а также жесты рук и тела. Подключат даже Siri.

Были признаки того, что Apple добилась заметного прогресса в своем давно известном и ожидаемом продукте Apple Glasses, и в новой патентной заявке описывается, как можно контролировать умные очки своими глазами.

Apple не впервые описывает использование глаз в качестве механизма ввода. В более ранней патентной заявке описывалось, как отслеживание направления, в котором вы смотрите, может быть использовано для видеосъемки дополненной реальности. Однако новый патент описывает более сложную технологию с контролем глаз.

В заявке на патент говорится, что контроль умных очков от Apple может быть достигнут путем сочетания движений глаз, морганий и взглядов.

Патент описывает способы взаимодействия пользователя и электронного устройства с помощью взгляда. Согласно некоторым вариантам технологии, пользователь использует свои глаза для взаимодействия с объектами пользовательского интерфейса, отображаемыми на электронном устройстве. Технологии обеспечивают более естественный и эффективный интерфейс, в некоторых примерных вариантах осуществления позволяя пользователю управлять устройством, используя в основном жесты глаз (например, движение, моргание и взгляды).

Также описываются способы использования взгляда для быстрого определения начальной позиции (например, для выбора или размещения объекта) и последующего перемещения назначенного положения без использования взгляда, поскольку точное определение назначенного положения может быть затруднено при использовании взгляда из-за неопределенности и нестабильность положения глаз пользователя.

Конечно, будут и более традиционные способы работы. Патент включает в себя различные сенсорные поверхности, с которыми вы можете взаимодействовать с помощью прикосновений и касаний, в то время как голосовая команда также поддерживается через Siri.

Apple Glasses может быть чувствительным к прикосновению и принимать входные данные, такие как касания и пролистывание. Будет задействован и помощник Siri. Пользователь может увеличить объект, который видит, с помощью голосовых команд, говорится в патенте.

Интересно, что судя по тексту патента, этот подход, возможно, поддерживается на любом другом устройстве с камерой, хотя это было бы более «выгодно» для гаджетов AR, таких как Apple Glasses.

Текст патента очень объемный, он предоставляет бесчисленные примеры того, как этот подход может работать. Например, если вам нужно присмотреться к чему-либо, то, если вы посмотрите на это несколько секунд, сможете автоматически активировать увеличенное изображение.

В некоторых вариантах осуществления стоимость 502 и стоимость 504 увеличиваются в соответствии с определением того, что взгляд пользователя 200 удовлетворяет заранее определенным критериям (например, направление взгляда 508 соответствует как стоимости 502, так и стоимости 504 непрерывно в течение предварительно определенного периода времени или в течение предварительно определенного количества времени в предварительно определенном окне времени (например, 3 секунды в течение 4-секундного окна)).

Часть описания нового патента от Apple

Также в патенте Apple отмечает, что система HMD включает в себя датчик изображения, опционально один или несколько датчиков изображения в видимом свете, таких как датчики с зарядовой связью (CCD), и/или дополнительные датчики металл-оксид-полупроводник (CMOS). Это позволяет получать изображения физических объектов из реальной среды.

Датчик изображения также может включать один или несколько инфракрасных (ИК) датчиков — пассивный ИК-датчик или активный ИК-датчик — для обнаружения инфракрасного света.

Дата выпуска умных очков Apple Glasses

Согласно сообщению Bloomberg , очки выйдут не раньше 2023 года. Гарнитура Apple VR , способная конкурировать с Oculus Rift 2, уже близка к запуску.

Но, по мнению аналитика TF International Securities Минг-Чи Куо — возможно, самого авторитетного и надежного эксперта Apple , гарнитура не будет готова к поставке до 2022 года «в самое ближайшее время». Тем не менее, если верить Bloomberg , презентация, показанная внутри Apple и просочившаяся в The Information , указывает на дату запуска в 2023 году.

И все же можно ждать очков и раньше — Джон Проссер, авторитетный лидер Apple, заявил, что Apple Glasses могут появиться на рынке раньше, чем мы думали. Проссер считает, что запуск намечен на «март-июнь 2021 года».

Проссер также заявил, что компания анонсирует гарнитуру до того, как она будет готова к выпуску. Точно также публика несколько месяцев ждала выхода на рынок Apple Watch первого поколения после своего дебюта. Apple якобы хочет, чтобы представители СМИ присутствовали на открытии, поэтому она может подождать, пока не ослабят карантинные меры.

По словам Проссера, компания может планировать представить объективы как «еще одну вещь» на своем ежегодном осеннем выступлении.

Сейчас инсайдеры утверждают , что линзы прошли стадию прототипа и вступили в опытную эксплуатацию, что является важной вехой в выводе на рынок носимых устройств Apple .

Читайте также:
Apple One - все сервисы Apple в одной подписке

Гарнитура Apple VR против Apple Glasses

В дополнение к разработке компания работает над VR -гарнитурой, которая может быть менее сложной в разработке и более близкой к запуску.

Сообщается, что гарнитура Apple VR оснащена экранами сверхвысокого разрешения и кинематографической акустической системой, которая должна обеспечивать реалистичный визуальный опыт. Информацией поделились люди, которые видели прототипы.

Эти источники также сообщили, что гарнитура выглядит как более тонкая, покрытая тканью модель Oculus Quest , но ее дизайн не окончательный. Компания продолжает тестировать модели, чтобы определить идеальную посадку для большинства форм головы.

Сообщается, что гарнитура Apple VR , как и ее конкуренты, получит выгоду от собственного App Store , где пользователи могут получить доступ к игровому, потоковому видео и программному обеспечению для связи. Голосовому помощнику Siri будет поручено управлять гарнитурой, хотя, по сообщениям, тестируется и физический пульт.

Что касается потенциальной даты выпуска, VR -гарнитура находится в шаге к дебюту в следующем году и будет выпущена в 2022 году.

Стоимость Apple Glasses: на какую цену можно рассчитывать и почему?

По словам Проссера, в настоящее время очки Apple Glasses стоят $499. Сейчас эта цена может показаться низкой, особенно по сравнению с конкурирующими гарнитурами дополненной реальности, такими как Microsoft Hololens 2.

Цена Hololens 2 составляет $3 500, но большая часть стоимости обусловлена ​​наличием всей электроники, необходимой для работы AR , встроенной в саму гарнитуру.

Apple Glasses , скорее, будет полагаться на iPhone для обработки данных, поэтому в модели будет значительно меньше деталей и сложности, чем Hololens . Они будут работать как интеллектуальные очки Vuzix Blade со встроенной камерой и интеграцией с Alexa .

Особенности Apple Glasses : что они на самом деле будут делать

Согласно отчету Bloomberg , очки Apple AR будут передавать информацию с вашего телефона. В частности, очки «должны синхронизироваться с iPhone владельца, чтобы отображать тексты, электронные письма, карты и игры в поле зрения пользователя».

Также Apple рассматривает возможность создания специализированного магазина приложений аналогично тому, как вы получаете приложения для Apple TV и Apple Watch .

Кроме того, патент , ранее выданный Apple , еще больше подпитывает слух о том, что Apple Glasses не понадобятся рецептурные линзы, так как смарт-очки автоматически подстраиваются для людей с плохим зрением с помощью «оптической подсборки». Этот патент выдан на систему коррекции зрения в гарнитуре, которая устраняет необходимость носить рецептурные линзы под устройством дополненной реальности. Патент предлагает встроенную оптику, которая устраняет астигматизм и близорукость. Однако этот патент может быть предназначен для автономной виртуальной гарнитуры с питанием от смартфона или пары смарт-очков Apple второго поколения.

Дизайн Apple Glasses : очки как у Кларка Кента вместо «двух стаканов» на лице

По имеющимся сведениям, самый последний прототип Apple Glasses выглядит как «не пугающая» пара пластиковых стаканов. Маркетинговые материалы предлагают «дизайн Кларка Кента» .

У модели есть сканер LiDAR в правом виске, но других камер по соображениям конфиденциальности нет (хотя это может измениться). Очки также поставляются с пластиковой подставкой с беспроводными зарядными устройствами.

Принадлежность к iPhone определенно повлияет на дизайн Apple Glasses . Хотя очки не будут легкими, как авиаторы от Ray — Ban , они могут быть достаточно удобными, чтобы ощущаться как обычные очки.

Не планируется выпуск Apple Glasses первого поколения в тонированном ассортименте. Пока пользователям придется использовать обычные солнцезащитные очки. Но если устройство взлетит, возможно, компания рассмотрит вопрос о расширении линейки продукции.

Характеристики Apple Glasses: что ждать от новых умных очков

Об устройстве пока нет стопроцентных данных, но можно делать предположения, основываясь на знании текущей технологии. Например, умные очки от Apple будут по крайней мере иметь то же поле зрения (52 градуса) и разрешение (47 пикселей на дюйм), что и Hololens 2.

Если Apple стремится создать настоящее решение дополненной реальности — в отличие от экранного дисплея с отображением 2D плавающих уведомлений или карт, таких как Google Glasses, разумно ожидать, что Apple Glasses подключится напрямую к iPhone по выделенному Wi-Fi-подключению.

Если iPhone должен обрабатывать все видео, снятые камерами очков, и отправлять 3D-изображения на очки с очень высокой частотой кадров в секунду (минимум 60 Гц с оптимальным обновлением 120 Гц), это потребует гораздо более высокой пропускной способности, чем у Bluetooth.

Что касается времени автономной работы, можно рассчитывать минимум на три часа, если Apple захочет быть конкурентоспособным. Хотя можно предположить, что компания предоставит какой-нибудь чехол для очков с беспроводной зарядкой, который может продлить срок его службы в течение дня, как с Apple AirPods.

5 примеров, зачем каждому понадобятся Apple Glass. Ждём с нетерпением

В 2007 году Apple представила первый iPhone и перевернула смартфоны с ног на голову. В 2010-м в продажу поступил iPad и создал новый сегмент пользовательской электроники. Apple Watch вышли в 2015-м и стали самыми популярными часами в мире.

В конце 2016-го очередной революцией оказались полностью беспроводные наушники AirPods. Они освободили нас от «шнурков», сковывающих движения, и показали самое простое переключение между источниками звука. Оно впечатляет и сегодня.

За окном 2021-й. Ничего действительно нового Apple не показывала миру практически 5 лет. Очередным большим откровением компании должны стать очки Apple Glass.

Обсудим основные фишки, ради которых их захочется купить, возможные нюансы в работе, а также слухи по поводу анонса и начала продаж.

Читайте также:
Apple представила новый iPhone SE с Touch ID за 39990 рублей

Какие возможности Apple Glass мы ждём больше всего

❶ AR для навигации и информации


Навигация в дополненной реальности подошла бы для Apple Glass идеально

Когда речь заходит про умные очки, в голове сразу же появляются картинки с аксессуаром, который показывает массу полезной информации прямо перед глазами владельца.

Важные уведомления, данные про объекты вокруг — всё это в режиме AR.

Нечто подобное уже делали очки Google Glass. Сначала они были массовым и даже модным продуктом, но потом свалились в девайс только для разработчиков и пока таким и остались. С Apple Glass должна быть абсолютно другая история.

Представьте, как надеваете умные очки и выходите из дома. Пока идёте на парковку, перед глазами появляется погода в текущей геолокации, данные о пробках по дороге в офис, курсы валют, котировки акций и так далее.


Главное, навигация не должна перекрывать обзор

Садитесь за руль, и получаете информацию, которая нужна водителю. Маршрут движения в режиме дополненной реальности, указание скорости и запас хода авто.

Если разобраться с безопасностью, можно показывать имена треков из мультимедии.

Пешие прогулки по городу также будет здорово дополнить навигацией и другой сопутствующей информацией. Не так уж здорово, рассматривать маршрут на экране смартфона, когда он может демонстрироваться стрелками прямо в режиме AR.

Что касается уведомлений и других сообщений, очки будут частично дублировать возможности Apple Watch. Впрочем, умные часы всё больше становятся не столько информером, сколько трекером здоровья и тренером, поэтому это простительно.

❷ Море софта в дополненной реальности


Под дополненную реальность получится переработать массу софта

Конечно, в режиме дополненной реальности также должен работать встроенный и сторонний софт. Это, к примеру, касается приложения «Рулетка» с iPhone, которое предназначено для определения размеров окружающих объектов.

Чтобы работа с AR-приложениями была максимально точной, умные очки Apple должны быть оснащены LiDAR, который используется в iPhone 12 Pro и актуальных iPad Pro. Он определяет глубину пространства и расстояние до конкретных объектов.

Он поможет быстро и точно запускать в режиме AR самый разнообразный софт: от сканирования окружения до игр в дополненной реальности.

Представьте, как здорово было бы смотреть YouTube во время мытья посуды!


Умные очки Apple станут частичной заменой для её же часов

Конечно, будет неплохо, если очки научат решать какие-либо профессиональные задачи. К примеру, сам не отказался бы от дополнительного виртуального монитора рядом со своим MacBook. Такой получилось бы «поставить» даже на стол в кафе.

В macOS 12 Monterey и iPadOS 15 как раз реализовали функцию Universal Control, которая даёт возможность быстро перемещать курсор между пространствами разных гаджетов. Он отлично подойдёт и для Apple Glass с виртуальным экраном.

В конце концов, с помощью очков получится удобно общаться через интернет с сотрудниками, партнёрами и близкими. Они фактически смогут появляться перед глазами, создавая ощущение, что находятся где-то рядом.

Думаю, это не потеряет в актуальности и через пару лет.

❸ Оптическая подборка для дефектов зрения


Apple Glass с коррекцией зрения пригодились бы и Тиму Куку

Во время каждого обсуждения Apple Glass неизбежно появляется вопрос использования подобного гаджета людьми с нарушениями зрения. Таким очкарикам, как я сам, стёкла в подобном устройстве неизбежно нужны с диоптриями. Возможно ли такое?

К примеру, в Google Glass использовалась отдельная выносная призматическая панель, которая выступала в роли экрана. Смотреть на неё и окружающий мир можно было сквозь линзы, которые можно было установить отдельно. Кажется, выход.

Впрочем, обычно Apple использует более элегантные решения как с точки зрения внешнего вида, так и в вопросе технологий.

Вот если бы стёкла в очках компании смогли самостоятельно подстраиваться под зрение пользователя


Линзы для очков должны автоматически подстраиваться под дефекты зрения пользователя

Нет, это не фантазия. У Apple даже патенты соответствующие имеются. Судя по ним, её очки смогут автоматически определять проблемы со зрением (близорукость, дальнозоркость, астигматизм) и корректировать их без действий со стороны пользователя.

Специальные линзы будут менять свою форму для того, чтобы сфокусировать изображение на сетчатке глаза владельца очков необходимым образом.

Общий принцип будет таким же, как в обычных очках, но с возможностью регулировки.

Согласно данным Vision Council of America, около 75% взрослых американцев используют разные формы коррекции зрения. Поэтому очевидно, что очки Apple каким-либо инновационным образом должны будут решать эту проблему.

❹ Приближение объектов и ночное видение


Некоторые объекты в очках логично было бы приближать

Продолжением истории с коррекцией зрения также может быть увеличение отдельных объектов по аналогии с приложением «Лупа» на iPhone. Скорее всего, для этого Apple Glass придётся укомплектовать системой из пары камер: ширик, телевик.

Приближение объектов — не только вопрос дефектов зрения. Оно будет очень кстати и в профессиональной деятельности. При работе с маленькими объектами (например, в ювелирной отрасли) будет неплохо отказаться от традиционной оптики.

Подобный зум получится также использовать для концентрации внимания. Представьте, что сможете приблизить экран ноутбука, на который смотрите, чтобы скрыть от бокового зрения всё то, что происходит вокруг, и не отвлекаться на это.

Вот это вот — что-то вроде ANC, но для зрения.


Вот так LiDAR видит окружающий мир без внешнего освещения

Читайте также:
Релиз iOS 14.2: что нового

Отдельного внимания также заслуживает и возможность улучшить восприятие мира вокруг в тёмное время суток. С помощью специального софта у Apple может получиться создать что-то вроде системы ночного видения.

Для этого получится использовать LiDAR, который может сканировать пространство, определяя расстояние до объектов вокруг, даже без света. Спасательные работы и другие узкие профессиональные задачи будут обходиться без дополнительного оборудования.

Собственно, у Apple также есть патент на особенное устройство для головы, которое улучшит восприятие мира в темноте как раз с таким принципом работы.

Быть может, не в первой модели, но со временем такая функция в Apple Glass точно появится.

❺ Взаимодействие с другими гаджетами Apple


Очки должны стать реальной частью экосистемы компании

Конечно, Apple Glass в полной мере раскроются именно при взаимодействии с другими гаджетами компании. Про виртуальный монитор для Mac вместе с технологией Universal Control уже говорили, но это же может касаться и iPhone.

К примеру, при взгляде на дисплей смартфона умные очки могут автоматически расширять его экран, как вариант, показывая информацию из бокового меню с виджетами. Также можно просто приближать интерфейс для чтения или навигации.

Отдельного внимания заслуживает и автоматическое определение аксессуаров, которые вы собираетесь использовать.

К примеру, взяли в руки Apple Pencil, и на планшете тут же открылось приложение для заметок или рисования.


Кольца могли бы стать отличным аксессуаром не только для очков

В начале 2021-го в сети также ходили очередные слухи про специальные кольца Apple, которые, по идее, как раз можно использовать с очками дополненной реальности. Они понадобятся для точного определения рук в пространстве.

С помощью подобных аксессуаров получится контролировать происходящее в дополненной реальности, размахивая руками: переключать плашки городов в погодном информере, выбирать видеозаписи в стриминговых сервисах и так далее.

Дужки Apple Glass также можно было бы использовать для передачи аудио средствами костной проводимости. Умные очки получилось бы превратить в беспроводную гарнитуру для голосовых вызовов.

Единственное, это место уже занято AirPods.

С какими нюансами точно столкнёмся в первых моделях


У очков вряд ли будет выдающееся время автономной работы

◉ Тесная интеграция с iPhone. Как и первые модели Apple Watch, на старте Apple Glass точно будут очень сильно зависеть от смартфона. Фактически они станут аксессуаром для него, который будет выводить необходимые данные в режиме AR.

Ситуация изменится лишь спустя несколько поколений, когда инженеры Apple сумеют увеличить их производительность.

◉ Небольшое время автономной работы. Учитывая размер, первые модели вряд ли продержатся больше 3–4 часов использования.

◉ Вопросы по дизайну и удобству. Создать универсальный дизайн для очков ещё сложнее, чем для наушников.

К примеру, у меня, как и у многих других, есть проблема с перегородкой носа. На неё правильно садятся далеко не все очки для зрения. Пока не представляю, смогу ли вообще носить целый гаджет, который точно будет более тяжёлым.


Попробовать умные очки вместо обычных было бы очень интересно

◉ Высокая стоимость и дефицит. Очки Vuzix Blade в подобном форм-факторе сегодня стоят около 800 долларов. Говорят, что цена Apple Glass будет находиться в районе от 500 до 1000 долларов, в зависимости от финального функционала.

◉ Привязка к рынку США. Очевидно, что навигационные возможности через «Карты» Apple будут более актуальны для рынка США. Многие другие возможности также традиционно не будут в полной мере работать у нас на старте.

Когда Apple может представить свои первые умные очки

Ждать Apple Glass раньше 2023 года точно не стоит. Вполне вероятно, что до умных очков компания выпустит что-то вроде шлема виртуальной реальности, на котором обкатает часть необходимых для пользовательских глаз технологий.

Надеюсь, Apple не откажется от проекта умных очков


Именно умные очки от Apple лично я жду больше всего

В сети регулярно появляются слухи по поводу того, что Apple отказалась от умных очков. Но потом их опровергают.

Сегодня сложно сказать, насколько технологии готовы к подобному носимому гаджету. Впрочем, когда пользуюсь Apple Watch или AirPods Pro с массой возможностей в сверхкомпактном формате, надежда на скорый выход Apple Glass вновь просыпается.

Не могу представить, каких ещё инновационных устройств в экосистеме Apple не хватает сегодня. Есть идеи?

  • Твитнуть
  • Поделиться
  • Рассказать
  • Apple,
  • Apple Glass,
  • Это интересно

Николай Грицаенко

Кандидат наук в рваных джинсах. Пишу докторскую на Mac, не выпускаю из рук iPhone, рассказываю про технологии и жизнь.

Что известно об умных очках Apple

Apple много лет разрабатывает умные очки, на что указывает целый ряд слухов, но компания не торопится их показывать публике. Вероятно, это произойдёт на ближайшей осенней презентации, а вот какими эти очки будут и что смогут предложить пользователю — никто не знает.

Именно поэтому мы перевели очень интересную статью, немного проливающую свет на таинственный новый продукт компании и историю его разработки.

Apple собирается ворваться в совершенно новую категорию продуктов чтобы вернуть статус одного из ведущих инноваторов.

В 2013 году Google представила умные очки, моментально собравшие хайп. Очки с дополненной реальностью, Google Glass, принадлежали к совершенно новой продуктовой категории и вновь закрепили за Google звание инновационной компании, не боящейся идти на риск.

Продукт быстро развивался и инженерам удалось прийти от прототипа весом 3,6 кг к устройству, весом меньше обычных солнечных очков. Тем не менее, проект был заморожен в 2015 году, а Google потребовалось несколько лет, чтобы представить очки Google Glass Enterprise Edition 2 за 999 долларов — всё ещё не доступные для простых покупателей.

Читайте также:
Apple продала почти 2 млрд iPhone за 13 лет

Не только Google была заинтересована в создании подобных очков. Многие компании начинали разработки в этом направлении, но как показывает практика Google, создать доступную потребительскую версию такого сложного продукта очень тяжело. На рынке вы можете найти умные очки от разных малоизвестных производителей, которые пытаются построить свой успех на том, что крупные компании пока ещё не выпустили ничего подобного.

Эту ситуацию очень скоро может исправить Apple.

Как вы можете себе представить, Apple всё это время была занята изучением новых продуктовых категорий. За последние 10 лет компания увеличила траты на исследования и разработки с 1 до 13 млрд долларов в год. Разные слухи ходят о том, куда компания потратила эти деньги, но можно быть уверенным, что разработка умных очков входит в эти траты.

Сейчас это уже не спекуляция — 2019 год принёс ощутимые результаты исследований в области очков с дополненной реальностью. Давайте посмотрим на их процесс разработки и попробуем сделать некоторые выводы.

Поиск и экспертов в области AR/VR

Последние пару лет компания из Купертино занималась наймом экспертов по AR/VR. Один из первых видных деятелей в этой области присоединился к Apple в 2016 году. До перехода в Apple Дуг Боуман возглавлял Центр взаимодействия человека с компьютером в Virginia Tech. Кроме того, он был консультантом Walt Disney Imagineering и обладателем многочисленных наград в области виртуальной реальности.

Зею Ли и Юрий Петров присоединились к Apple в 2016 году. Ли был главным инженером по компьютерному зрению в Magic Leap, а Петров был инженером в Oculus (сейчас принадлежит Facebook). В 2017 году Джефф Норрис присоединился к команде Apple по AR/VR, после того как основал Офис инновационных операций в Лаборатории реактивного движения НАСА.

Среди других известных людей есть Стерлинг Криспин (создал Cyber ​​Paint), Эндрю Ким (работал в Tesla и Microsoft над проектом HoloLens), а также Артур ван Хофф (основатель Jaunt), и Нэт Браун (бывший инженер Valve VR).

Как вы можете догадаться, список на этом не заканчивается. Тем не менее, он иллюстрирует одну вещь — Apple делает сильный акцент на развитие технологий, связанных с дополненной и виртуальной реальностью. Ранее упомянутые лица являются экспертами и настоящими новаторами в этой области. Это говорит нам о том, что Apple стремится к чему-то совершенно новому, а не просто заново изобретает велосипед.

Поиск технологий для AR/VR

Производитель iPhone потратил миллиарды долларов на приобретение как стартапов, так и широко известных компаний. Некоторые из главных приобретений Apple включают Beats Electronics, Dialog Semiconductor, Anobit Technologies и Shazam. Только на эти четыре компании Apple потратила 4,5 млрд долларов. С учётом сказанного было бы интересно взглянуть на некоторые приобретения, связанные с AR/VR, и на технологии, которые эти компании позволили использовать и развивать.

PrimeSense была одним из первых приобретений Apple в области 3D/VR. Это была израильская компания, специализирующаяся на 3D-сканировании тела, которая стала широко известной благодаря разработке технологии для работы с Microsoft Kinect первого поколения. Ко времени, когда PrimeSense присоединилась к Apple, сенсоры этой компании использовались в более чем 20 миллионах устройств.

Немецкая компания Metaio, специализирующаяся на дополненной реальности, присоединилась к Apple в 2015 году. До этого приобретения Metaio была известна производством интуитивно понятных инструментов, используемых для создания впечатлений от AR. Точнее, эта компания была известна тем, что разрабатывала шоу-румы в формате AR для Ferrari и IKEA.

В том же году Apple приобрела в Цюрихе фирму Faceshift — компанию, специализирующуюся на захвате выражений лица с помощью 3D-датчиков, превращая отсканированные лица в анимированные в режиме реального времени.

В 2016 году к Apple присоединились две новые компании. Emotient была известна тем, что использовала искусственный интеллект и машинное обучение для чтения человеческих эмоций. Затем Flyby Media стала второй AR-компанией, присоединившейся к Apple в 2016 году, специализирующейся на объединении виртуальных объектов с реальными средами. До передачи этой технологии в Apple, Flyby Media была сосредоточена на создании 3D-пространств для смартфона Google Project Tango.

Если взять наиболее свежие приобретения, то к Apple присоединились RealFace (специализируется на распознавании лиц), Vrvana (пытались создать AR-гарнитуру Totem), and Akonia Holographics (стартап, создающий оптику для AR-продуктов).

Текущее состояние AR/VR разработок Apple

В течение последних двух основных докладов WWDC компания медленно раскрывала свои достижения и планы относительно технологий, связанных с AR и VR. Тем не менее, основной доклад WWDC в этом году был немного другим, если вы обратили внимание на то, что Apple показала на полях этого выступления.

Компания анонсировала три основных AR-инструмента, называемых ARKit 3, RealityKit и Reality Composer. Каждая из этих трех технологий представляет большой шаг вперед для Apple и остального сообщества AR/VR. Однако интересно то, что Apple не тратила много времени на демонстрацию своих последних достижений в области AR/VR — и это, скорее всего, потому, что у компании более амбициозные планы. И что ещё более интересно — все три из этих технологий могут стать ядром умных очков Apple.

Итак, давайте подробнее рассмотрим, что может делать каждая из этих технологий.

ARKit 3

Анонсировав iOS 11, Apple также представила первую версию ARKit. Это платформа разработки дополненной реальности (AR), созданная исключительно для устройств iOS. Она работает с использованием камеры, акселерометров, гироскопа и так называемой контент-осведомленности. Другими словами, платформа ARKit была разработана как инструмент для картографирования окружения, что и является её основной функцией.

Читайте также:
Контроллер Razer Kishi делает из iPhone игровую консоль

Как следует из названия, ARKit 3 — это третья итерация AR-инфраструктуры Apple. Тем не менее, интересно отметить, что эта версия является значительным шагом вперёд почти во всех мыслимых аспектах. Во-первых, ARKit от Apple теперь способен показывать контент перед людьми и за их спинами с помощью так называемой «окклюзии людей».

Кроме того, эта технология теперь способна захватывать движения человека в режиме реального времени с помощью одной камеры. ARKit 3 может также отслеживать до трёх лиц одновременно, использовать как переднюю, так и заднюю камеры для взаимодействия с AR-контентом. Новейший ARKit может обнаруживать до 100 изображений одновременно и распознавать трёхмерные объекты даже в очень сложных средах.

RealityKit

Удивительно, но Apple по-прежнему не хочет раскрывать подробности RealityKit, даже несмотря на то, что эта AR-платформа приносит значительный прорыв в области AR. RealityKit зависит от платформы ARKit для интеграции виртуальных объектов в реальный мир. Однако важно отметить, что RealityKit уже выглядит более продвинутым, чем то, что предлагают конкуренты Apple.

Среда RealityKit позволяет разработчикам (и пользователям iOS) размещать виртуальные объекты в реальном мире. Эти объекты могут затем взаимодействовать с физическими объектами и быть довольно сложными с точки зрения их геометрии. Затем виртуальные объекты можно анимировать как вручную, так и с помощью физических моделей. И, наконец, они могут реагировать на пользовательский ввод даных и изменения в пространстве.

Reality Composer

Reality Composer — это новое приложение, которое объединяет различные AR-технологии и позволяет как разработчикам, так и пользователям вводить AR/VR поля. Используя это приложение, разработчики могут импортировать, а затем редактировать 3D-модели, создавать анимацию, вводить различные виды реакций на физическую среду и многое другое.

Также интересно отметить, что это приложение может интегрироваться с Xcode. Это означает, что Reality Composer уже обладает способностью создавать сложные AR-приложения для текущего поколения устройств c macOS и iOS.

AR-технологии от Apple в действии

Важно понимать, что AR-технологии от Apple уже присутствуют на устройствах iOS через сторонние приложения. Это означает, что вы уже можете получить представление о том, как Apple представляет AR, и каково это — смешивать виртуальный и физический миры.

Приложение IKEA Place позволяет увидеть, как предметы мебели производства IKEA вписываются в вашу гостиную. Приложение Google Maps поставляется с наложением AR, которое позволяет вам перемещаться к месту назначения с помощью виртуальных знаков и стрелок направления. Приложение Civilizations AR переносит мобильный музей в вашу гостиную, позволяя вам просматривать реалистичные трёхмерные изображения, с которыми вы можете взаимодействовать. Затем приложение Froggipedia позволяет вам препарировать лягушку с помощью Apple Pencil. А приложение Monster Park переносит Парк Юрского периода в вашу физическую среду.

Все вышеупомянутые приложения полностью совместимы с ARKit от Apple, и их можно использовать на iPhone или iPad. Следовательно, необходимая AR-технология уже существует — и это также означает, что Apple создала прочную основу для своих умных очков. После того, как они будут готовы к публичной демонстрации, появится целая армия AR-приложений для укрепления пользовательского опыта в дополненной реальности нового поколения.

Взглянем на патенты Apple

Пару месяцев назад Apple получила несколько патентов, напрямую связанных с её неуловимыми и давно известными по слухам умными очками. В одном из этих патентов компания описывает устройство с прозрачным оптическим дисплеем.

Пользователь будет видеть реальный мир через этот дисплей, а также объекты дополненной реальности, отправленные с его iOS-устройства. Кроме того, в патенте описаны датчики вращения, а также камера для оптического слежения.

Интересно отметить, что этот патент был подан ещё в четвёртом квартале 2015 года, но Бюро по патентам и товарным знакам США опубликовало его только в марте 2019 года.

Другой патент, опубликованный в апреле 2019 года, описывает носимое на голове электронное устройство с целым рядом современных датчиков. Центральная роль этих датчиков заключается в предоставлении биомедицинских данных, объём которых ошеломляет. Это устройство сможет фиксировать различные жесты и движения, такие как жевание, мигание, подмигивание, улыбка, движение челюсти, открытие рта и так далее.

Инженеры Apple также описали захватывающий пример использования этого устройства, которое могло бы обнаружить и зарегистрировать ваше сердцебиение.

Предположим, вы на каком-то игровом мероприятии. Устройство регистрирует колебания вашего сердцебиения и определяет моменты возбуждения (например, когда происходит какое-то действие). Затем встроенная в это устройство камера автоматически начнет фотографировать, зная, что сейчас происходит что-то значимое.

Как вы можете видеть, Apple думала об умных очках некоторое время, поскольку сейчас мы говорим об очень инновационных функциях, которых нет ни в одном подобном продукте.

Так будут ли очки?

После всего сказанного ответ очевиден — Apple, безусловно, заинтересована в создании умных очков. Однако, как и раньше, эта компания не спешит предлагать что-то действительно инновационное. Фактически, аспект предложения инновационного продукта заставляет Apple не торопиться и совершенствовать свои умные очки, прежде чем представлять их публике.

В конце концов, Apple уже не та, как многие считают. Недавно она потеряла первое место в списке 50 самых инновационных компаний от Fast Company. Кроме того, продажи iPhone упали во всех частях света, и многие предсказывают, что в Apple наступают тёмные дни. Тем не менее, помните, что эта компания стоит более 1 триллиона долларов, и нам ещё предстоит увидеть совершенно новые и интересные продукты.

Читайте также:
Новинки от Apple 2021 года [Обновляется]

Инструкция для новичка: как программировать дополненную реальность для Smart Glass

Обзор

В этом туториале я поделюсь основной информацией об умных очках. Затем, используя пример проекта с хакатона, проведу вас через весь процесс. А начнем мы с настройки умных очков и дойдём до отображения экрана дисплея по беспроводной сети, а также установки любого приложения на них.

Примечание: эта статья ознакомит вас с процессом работы с умными очками. Я пользуюсь Mad Gaze в качестве рабочего устройства. Их было проще всего взять в лаборатории. Никакого желания продвигать какой-либо продукт здесь нет.

Мотивация

Я не смогла найти в сети такой туториал, чтобы он объяснил все о разработке умных очков. А после того, как я опубликовала описание своего хакатон-проекта, им заинтересовались и многие мои знакомые.

Мой опыт в сфере создания приложения для умных очков достаточно легко повторить, и поэтому я решила написать данное руководство. Надеюсь, что вам понравится, и удачи в разработке!

Основы

Итак, что же такое “умные очки”? В нашем случае “умные очки” — это просто очки с облегченной портабельной версией Android, встроенной в правую дужку. Здесь же находится еще один небольшой кусочек очков для проецирования на экран монитора.

Основные контроллеры
  • Навигация по экрану с помощью мышки (как на компьютере): двигайте палец по тачпаду.
  • Ввод/Выбор: нажмите кнопку тачпада.
  • Возврат к предыдущей странице: двойное нажатие по тачпаду.
  • Прокрутить экран: двойной клик (не зажимая) по тачпаду и затем прокрутка.
  • Включить или выключить питание: кнопка питания находится на внутренней стороне правой дужки. Зажмите и удерживайте кнопку вкл/выкл питания на устройстве.

Вот так выглядит экран. Я отображаю дисплей экрана очков на компьютер (покажу, как это сделать, в следующем разделе). Экран ниже показывает список доступных приложений.

Это как пользоваться своим телефоном через виртуальный интерфейс прямо перед собой. Точно так же, как в обычных смартфонах, вы можете копаться в Интернете, делать фотографии и так далее. Приложения для устройства будут скачиваться через официальный магазин, но сейчас я научу вас, как загружать абсолютно любые приложения.

Инструменты

Вы можете использовать и другие инструменты, если хотите

Аппаратные средства
  • Компьютер с ОС Windows или любой другой компьютер, на котором можно запустить подобные программы.
  • Умные очки с ОС Android (Mad Gaze, Ares)
  • Кабель USB для подключения умных очков к компьютеру
Программы
  • Android Studio.
  • [email protected] для отображения экрана Android.
  • Wifi / 3G / 4G / связь, которую можно расширить для нескольких устройств.

Начинаем

Шаги с 1 по 11 описывают, как отобразить экран ваших умных очков на компьютер. Шаги 12 и 13 описывают, как запускать приложения на очках.

  1. Следуйте всем инструкциямздесь, чтобы установить [email protected]

ПО попросит вас также установить Java и Android SDK. Также нужно правильно настроить переменные окружения. Например, ANDROID_HOME и PATH . После запуска файла jar [email protected], вам предложат ввести полный путь к вашему экзешнику ADB.

Что такое ADB (Android Debugging Bridge)? Это программа командной строки, которая нужна для коммуникации с вашим устройством Android. Обычно находится здесь: android_sdk/platform-tools/adb.exe

2. Настройка переменных окружения

(Можете пропустить этот шаг, если с ним нет проблем)

Что здесь делают переменные окружения? Они сообщают вашему компьютеру, где найти файлы во время выполнения определенной команды. Например, перед тем, как настроить переменную окружения, вам нужно ввести весь путь к исполняемому файлу java C:Userstina2Downloadsjdk-13.0.1_windows-x64_binjdk-13.0.1binjava , а не просто java для вызова команды.

На панели управления компьютера с ОС Windows поищите “Редактировать системные переменные окружения” или что-то подобное. Кликните, чтобы открыть вкладку “Переменные окружения”. Нажмите, чтобы создать новую “New…” внизу справа и затем введите ANDROID_HOME в поле имени переменной и C:Users AppDataLocalAndroidSdk в поле значения переменной.

Чтобы выполнить команду java прямо в терминале, вам нужно добавить путь к вашей папке с Java в PATH . В моем случае он выглядит так C:Userstina2Downloadsjdk-13.0.1_windows-x64_binjdk-13.0.1bin

Аналогично, чтобы вызвать команду adb прямо в терминале, вам нужно добавить путь к экзешнику adb . Для удобства исполнения других команд, вы можете добавить все следующие адреса:

  • %ANDROID_HOME%platform-tools
  • %ANDROID_HOME%tools
  • %ANDROID_HOME%toolsbin

Ниже вы увидите экран, он появляется после двойного клика на строчку с PATH переменной (4-я строчка, как показано выше). Дальше нужно нажать кнопку “New” справа, чтобы добавить новую строчку к PATH переменной. Всего здесь мы добавили 4 строчки.

3. Подключите ваши умные очки и компьютер к одному wifi / сотовой сети.

4. Подключите ваши умные очки к компьютеру при помощи кабеля USB.

Этот шаг для двух целей. Одна — отображение экрана при помощи кабеля. А вторая — выяснить IP умных очков и сделать, так, чтобы они слушали порт TCP/IP в следующих шагах.

5. Проверьте, успешно ли подключились умные очки. Откройте терминал и напишите команду:

В случае успешного выполнения вы увидите следующий экран:

6. Выведите экран ваших умных очков на компьютер при помощи [email protected]

Если все будет хорошо, вы увидите следующий экран:

Чтобы отобразить экран ваших умных очков, выполните следующую команду. Она поможет получить IP-адрес ваших умных очков. У меня это 172.20.10.12 .

Почему IP-адрес умных очков именно 172.20.10.12?
Строчка 172.20.10.0/28 dev wlan0 photo kernel scope link src 172.20.10.12 metric 310 обозначает, что пакеты, отправляемые на любой IP-адрес через подсеть 172.20.10.0/28, должны проходить через сетевой интерфейс wlan0 с адресом 172.20.10.12, как исходный адрес источника. С момента, как умные очки посылают пакет, мы идентифицируем их этим IP-адресом.

7. Сделайте так, чтобы ADB слушал TCP/IP с порта 5555 (можете пользоваться любым другим незанятым портом)

Читайте также:
Microsoft выпустит антивирус для iOS и Android

8. Отключите ваш кабель USB от умных очков и компьютера

Вы должны увидеть, что “Список подсоединенных устройств” пустой при выполнении adb devices

9. Подключите умные очки без помощи кабеля (замените IP-адрес на свой собственный)

Вы снова увидите свои умные очки в “Списке подсоединенных устройств” при выполнении команды adb devices

10. Поздравляю! Теперь вы увидите экран своих умных очков на компьютере.

11. Настройте размер вашего экрана — нажмите на кнопку увеличения внизу:

12. Откройте проект приложения в Android Studio

Как я уже описывала выше, умные очки действительно работают на ОС Android. Любое приложение Android может быть скомпилировано и установлено на умные очкипри условии, что версия операционной системы совместима с приложением. После подключения ваших очков к компьютеру (любым способом: с проводом или без), вы можете выбрать устройство и запустить приложение в Android studio:

13. Запуск приложения на умных очках

После успешной установки вы увидите, что ваше приложение появилось среди иконок установленных программ. Нажмите на приложение и пользуйтесь им, как другими обычными.

Как загрузить любые приложения на Android?

  1. Пройдите по адресу https://apkpure.com.
  2. Найдите apk, который вам нужен и скачайте его.
  3. После подключения ADB к вашему устройству установите apk:

Подведем итог

После дня экспериментов с умными очками для проекта на хакатоне я собрала свой опыт с MadGaze Ares в следующие тезисы:

  • Короткое время жизни батареи: за 3 часа показа моего демо на хакатоне батарея разряжалась 4 раза.
  • Долгое время зарядки: когда устройство включено и подключено к wifi, нужно 4 минуты для зарядки на 1%.
  • Недостаточно крутая кривая обучения для управления очками: есть только две кнопки (питание/тачпад) и два типа жестов (нажатие/двойное нажатие).
  • Ввод текста можно улучшить: теперь вам нужно поместить курсор мышки в точное положение элемента на вашей клавиатуре. Размер клавиатуры может быть больше. К счастью, в большинстве приложений ввод текста требуется очень редко.
  • Вес умных очков сопоставим с весом обычных очков: это большой плюс для меня. Всеми остальными VR/AR гарнитурами тяжело пользоваться весь день.
  • Глаза не устают, когда смотрят в экран: хоть экран и маленький, мне комфортно пользоваться им на протяжении долгого времени.
  • Нет слишком сильного перегревания: это приравнивается к другим устройствам похожего веса, как Google Glass. Я только почувствовала немного больше тепла при запуске некоторых приложений.
  • Общая производительность похожа на телефоны на Android: скорость и время ответа не второстепенное дело для обычных телефонов на Android.
  • Точное распознавание и управление голосом: если вы произносите название приложения, умные очки автоматически открывают его для вас. Точность распознавания высокая и время ответа достаточно короткое.
  • Особенно восхитительно фотографировать при помощи очков. Это прекрасное ощущение, когда вы делаете снимок сцены, которую только что видели в своих очках.
  • Мода в дизайне: я думаю эти очки хорошо смотрятся и, кроме того, вы привлечете внимание окружающих. Они как минимум, остановятся и посмотрят на вас с любопытством.

И в заключение

Теперь у вас есть представление о том, как выглядят умные очки, как отобразить изображение с очков без провода, создать билд и установить любое приложение на них. Технология умных очков имеет свои ограничения, но определенно стоит того, чтобы ее попробовали!

Умные очки Apple Glasses сделают из любой поверхности сенсорный экран

Сенсорное управление оказывается не таким и практичным, когда речь идёт об управлении устройством вроде Apple Glass. Поэтому компания из Купертино занялась разработкой и изучением способов комфортного взаимодействия с очками дополненной реальности.

Недавно опубликованная патентная заявка Apple рассказывает о способе управления устройством, когда в качестве элементов для взаимодействия можно использовать любые поверхности, видимые сквозь стёкла очков. Заявка на патент под названием «Способ и устройство для обнаружения касания между двумя объектами» была подана ещё в 2016 году, однако опубликована только на этой неделе. В ней утверждается, что наложение элементов управления на объекты реального мира будет необходимо для взаимодействия с умными очками.

Компания акцентирует внимание на том, что по мере того, как дисплеи AR-устройств становятся компактнее и приближаются к глазам пользователя, представая в виде очков, привычное сенсорное управление становится неудобным. В некоторых случаях применение обычных ёмкостных сенсорных экранов является крайне нецелесообразным или даже невозможным. К примеру, AR-очки, которые для взаимодействия придётся каждый раз снимать и касаться линзы пальцем, уж никак не назовёшь устройством, облегчающим жизнь.

Выход из данной ситуации видится Apple следующим образом. Компания планирует реализовать функцию, при которой элементы управления будут проецироваться на объекты окружающего мира, а специальные датчики, встроенные в очки, будут считывать касания пользователя к ним. Таким образом, глаза пользователя будут видеть виртуальный объект, для взаимодействия с которым пользователю будет нужно коснуться того, что находится в этом месте в реальном мире.

К сожалению, реализация данной функции на практике является гораздо более сложной, чем может показаться на первый взгляд. На данном этапе подобное взаимодействие возможно только с реальным устройством, напоминающим iPad, дисплей которого ничего не отображает, но сенсор считывает касания. Apple работает над тем, чтобы предоставить пользователям возможность использовать для взаимодействия абсолютно любую поверхность.

Читайте также:
Игра Asphalt 9: Легенды вышла на Mac благодаря Catalyst

В патенте говорится, что наиболее реалистичным способом достижения цели является оснащение объекта или части человеческого тела (например, кончика пальца) датчиком, способным распознавать прикосновение. Однако Apple хочет реализовать технологию, которая не требует внедрения человеческого тела в схему. Компания планирует наделить камеру, встроенную в очки, возможностью отслеживать положение пальцев пользователя и фиксировать касания к поверхности, на которую проецируется системный интерфейс.

Проблема заключается в том, что при отображении массива смежных кнопок, пытаясь дотянуться до одной из них, пользователь нажмёт все клавиши, расположенные по пути. Это можно решить путём использования в интерфейсе очень больших кнопок или малого их количество, однако это может отрицательно сказаться на эргономике.

Apple планирует использовать для решения проблемы тепло. В патенте говорится, что если два объекта с разными температурами соприкасаются, область, в которой происходит прикосновение, изменяет свою температуру, а затем медленно возвращается к исходной. Таким образом, Apple Glass предложат взаимодействие с проецируемыми элементами управления путём фиксации изменения температуры. В приложении к заявке перечисляются различные методы обнаружения тепловых изменений, в том числе и тепловидение, но в основном речь идёт о точности, которая может быть достигнута. Конечное устройство должно получить возможность отличать преднамеренные касания пользователя, от касаний посторонних объектов и точно их локализовать.

Стоит заметить, что эта технология предназначается не исключительно для Apple Glass, а является частью широкомасштабной работы Apple в сфере AR. Это демонстрирует дальновидность компании, поскольку патентная заявка была подана ещё четыре года назад, когда технологии дополненной реальности ещё только начинали свой путь.

Apple Glass: Разбираемся, что умного в очках от Apple?

Открываем сайт Apple. Заходим на вакансии. Пишем AR. 84 вакансии прямо сейчас! Похоже, ребята там чем-то заняты…

Мы все устали от постоянных слухов про якобы будущие гаджеты Apple, которые никогда не выходят. И честно говоря, я также не верил в AR-очки от Apple. Кому интересен этот унылый AR? Да?

Так я думал до этой недели. Но утекла информация об AR-очках, к которой реально стоит прислушаться. И действительно похоже, что в этом году компания покажет One More Thing.

Мы знаем цену! Знаем, как примерно они будут выглядеть! Знаем, когда представят. И еще кучу всего.

И поэтому возникает резонный вопрос: Неужели Apple серьезно выпускает очки? Тогда давайте разберемся что это и зачем надо.

Посмотрим, что будут уметь. Почему они не провалятся в отличие от Google Glass? И конечно, причем здесь LiDAR, которые Apple вставляет в iPad и в iPhone 12?

Это многогранный проект, который компания готовит вот уже несколько лет. И кажется, нам удалось собрать все воедино.

Нечасто мы делаем видео по слухам, но сегодня у нас есть о чем поговорить.

Когда мы думаем о том, почему AR до сих пор не взлетел, мне кажется есть три основные пролемы:

  1. Нужно сделать удобный гаджет
  2. Настроить технологию, чтобы она не глючила
  3. Придумать полезные применения. То есть зачем это людям?

Сегодня пройдемся по всем трем. И начнем с устройства. Но сперва рзаграничим две вещи, которые у многих смешаны.

Виртуальная реальность, то есть VR, это когда вы видите в шлеме только виртуальный мир и объекты. Например, игра Half Life: Alyx.

Дополненная реальость или AR — это когда вы видите все, что и в обычной жизни, но добавляются какие-то виртуальные штуки. Типичный пример — маски в Instagram.

Есть еще смешанная реальность Mixed Reality — это когда шлем умеет и то, и другое. По этой теме особенно угорает Microsoft.

Так вот Apple Glass — это устройство именно для дополненной реальности — AR, по крайней мере в первом поколении.

На днях кучу информации об очках сообщил блогер Джон Проссер. Почему мы ему верим?

Потому что в этом году он уже предсказал выход iPhone SE с точностью до дня. И Apple MacBook 13. И кучу информации о Pixel 4a. Также он выдал последние сливы про iPhone 12 и наушники AirPods Studio. У парня явно хорошие источники.

Но если этого парня мало, выход очков подтверждает ликер Минг Чин Куо, который редко ошибается в предсказаниях Apple.

Вообще утечек про Apple Glass было много: и презентация для сотрудников на 1000 человек, и куча патентов.

Что мы знаем?

  • Официальное название — Apple Glass. Как Apple Watch — параллелей с ними будет еще много.
  • Цена — 499 долларов США + стоимость линз с диоптриями, если такие нужны.
  • Прототип с пластиковой рамкой, но наверняка будет кастомизация.
  • Выглядят как обычные очки, а не дичь из фантастических фильмов.
  • В первом поколении не будет версии с солнцезащитными стёклами, поскольку Apple пока не может решить проблему с проекцией на тёмные стёкла.

Это важно. Ведь главная проблема всех умных очков — они либо тяжелые, либо уродливые. И это Apple должна решить. Компания преодолевает страх пользователей перед неведомой новой штукой, плюс заботится о тех, кто носит очки сейчас.

Время жизни очков неизвестно, но кажется будет специальный стенд для беспроводной зарядки.

В каждой линзе — дисплей. В нём отображается интерфейс под названием Starboard — это название утекало давно. Если что интерфейсом iOS называется Springboard. Управление осуществляется жестами рук в воздухе и на рамке очков.

Читайте также:
Apple Final Cut Pro X и Logic Pro X можно использовать бесплатно 90 дней

Также они будут сканировать QR-коды от Apple. Они утекли недавно.

Обработка данных будет на iPhone, а не в очках. Точно также как в первых Apple Watch. И это логично за такую цену, плюс надо жалеть батарейку — это важно.

Когда представят?

План анонса — осень 2020 года, вместе с iPhone 12, но возможно что анонс очков переедет на мартовское мероприятие. Тут уже Apple зависит от пандемии коронавируса.

При это до старта продаж устройства пройдет еще несколько месяцев — то есть ждать реальные очки можно лишь осенью 2021 или весной 2022 года. И эот снова похоже на то, что было с первыми Apple Watch. Чуть позже объясню, почему так.

И самое главное — там будет LiDAR. Зачем? Разберемся дальше.

Кроме этого Джон Проссер утверждает, что у него есть видео прототипа. Может быть мы его тоже увидим. Но уже достаточно.

Почему это важно?

Прозвучит банально, но как говорят по-английски: This is a gamechanger. Или если переводить на русский — это поменяет правила игры!

Если Apple впрягается, продукт скорее всего окажется успешным. У компании и правда маленькое кладбище продуктов. В отличие от… вспомните Google Glass. Впрочем все помнят коврик для беспроводной зарядки, который был официально отменён, но это скорее исключение из правил.

Судя же по вакансиям, бильным сливам и развитию AR — все серьезно.

Ну и главное — Apple делает гаджет для масс. В отличие от Google Glass и Microsoft с их Hololens, которые ушли в корпоративные заказы. Впрочем, даже Apple осторожничает…

Технология

Переходим к технологии. Она не должна глючить.

Как устроен примерно любой AR движок AR Kit от Apple или AR Core от Google? Он делает две вещи: отслеживает движение устройства (причем не только по акселерометру, но и объектам в камере) и строит свою модель мира.

Вроде бы все просто, но есть куча проблем. Например, надо чтобы виртуальные объекты были освещены также, как и ваше пространство. Или они не должны перекрывать объекты, которые находятся ближе к зрителю.

И знаете, что? AR Kit уже умеет это делать с версии 3.0. Он умеет делать обтекание людей на лету, причём делает это хитро, добавляя дополнительный слой. Также есть функция Motion Capture (которая используется чаще всего в кино и играх) и распознавание нескольких лиц.

AR Core же от Google отлично справляется с отслеживанием света. Мы еще посмотрим, что представят на онлайн WWDC и на трансляции Google. Но это уже очень мощные инструменты для разработчиков. Причем все это делается при помощи камер и нейронки. А в Apple Glass будет LiDAR, но об этом позже. И давайте перейдем к третьему пункту: зачем всё это нужно нам, пользователям?

Что умеет AR?

На самом деле, крутых примеров дополненной реальности уже сейчас полно. Например, запустите на смартфоне приложение Google Lens или Объектив.

  • Переводит текст
  • Показывает рестораны, их меню и достопримечательности вокруг
  • Узнает модель тачки по торчащему краю
  • Распознает рукописный текст (правда, с русским пока не очень)

Это реально очень крутая технология. Попробуйте.

Но есть проблема — пользоваться этим неудобно. Приложения запускается долго. И не будешь же ты ходить с телефоном перед лицом всегда. Собственно очки решат эту проблему.

Я спросил у себя в Instagram: какие AR-применения вы бы хотели?

Самый популярный ответ — это навигация. Рабочий вариант уже есть в Google Картах. И такой кейс наверняка будет.

Второй по популярности ответ — видеть профили людей в соцсетях. Этого конечно не будет.

Интерфейс Apple Glass называться Starboard. Про него пока мало что известно. Управление скорее всего будет голосом, жестами головы, рукв воздухе и движениями по сенсорной панели. Но Apple справится. За интерфейсы там умеют.

Но кроме уже описанных применений, можно придумать кучу:

  • Вывод уведомлений по аналогии с Apple Watch
  • Суфлер на презентациях
  • Видеозвонки
  • Расширять изображение телевизора
  • Путеводители
  • Руководства по сборке
  • Или, например — посмотрел на окно — увидел прогноз погоды.
  • Да и Apple Pay как-нибудь прикрутят.

Всё это в зачаточном состоянии есть сейчас, но не популярно из-за неудобства.

В игры я верю чуть меньше. Даже у раскрученной Minecraft Earth скачиваний в 10 раз меньше, чем у обычной версии. Правда может выстрелить что-то специфическое вроде Pokemon и обучалок! Но как это все будет работать на таком компактном устройстве?

Мощности и батареи очков будет недостаточно для того, чтобы постоянно мониторить окружающее пространство. Даже с обработкой на айфоне. Что же делать? Скорее всего именно для этого и будут те самые QR-коды от Apple. Очки натренируют узнавать определённый шаблон. И как только ты видишь такой код, запускается соответствующее приложение или сервис.

Например, печатаешь такой на банковской карте и видишь в очках состояние счета. Или информация о товарах в магазине.

То есть QR-коды, по сути, будут пусковым крючком для функций очков.

LiDAR

И тут мы возвращаемся к LiDAR. Зачем он нужен? И почему его встроили в iPad и вставят в iPhone 12?

LiDAR — это такая штука, которая которая отправляет пучки невидимого света и смотрит через какое время они вернутся. Тем самым выстраивая 3D-карты пространства.
То есть, по сравнению с камерой, он позволяет точнее и главное с меньшими энергозатратами сориентироваться устройству в пространстве. А это очень важно для дополненной реальности, чтобы она не глючила, как мы помним.

Читайте также:
Последние слухи перед Apple Event: iPhone 13, Apple Watch 7, AirPods 3, iPad 9, iPad Mini 6

Обычная камера различает в основном плоские поверхности: пол, стены. Что же уже сейчас умеет делать LiDAR на iPad Pro. Это подробная 3D-карта из треугольных полигонов. Хотя над точностью еще надо поработать. Зато она размечает типы объектов. По сути, это компьютерное зрение, которое может работать в фоновом режиме.

Но зачем же нам все это добро в смартфонах и планшетах? Это хитрая стратегия Apple. Помните предполагаемую дату анонса очков и выхода? Между ними около полугода. Может и больше. Все это время миллионы людей будут ходить с LiDAR в руках и отправлять данные в Apple, а нейронки будут учиться их обрабатывать. По сути, покупатели iPhone 12 — это в одном флаконе бета-тестеры и инвесторы для компании.

Кроме этого есть вероятность, что Apple запретят встраивать в очки камеру из соображений безопасности. И тогда придется всё делать с лидаром.

Итоги

Apple Glass станет таким же аксессуаром или дополнением iPhone как часы. Причем более функциональным. А заодно перенесет часть функций телефона на себя. И есть вероятность, скажу банальность, но шаг может быть таким же мощным, как с первым iPhone.

Ну а цена в полайфона. Вполне адекватная. Для необычной штуки. Попробовать такое можно.

3D-печать линз для очков и шлемов виртуальной реальности

В последнее время огромной популярностью пользуются гаджеты для погружения в виртуальную реальность, такие как Google Cardboard, Oculus Rift и прочие. В случае с Google Cardboard и его аналогами конструкция вообще предельно проста, её можно собрать буквально из подручных материалов. Нужен только смартфон с соответствующим приложением. Всё остальное — это картонная «коробка» на голове с закреплёнными линзами. Экран смартфона делится на две части, каждый глаз смотрит через линзу на свою половинку экрана.

Картон, смартфон, резинка, магнит и пара липучек — всё это можно найти дома. Проблема только с линзами, их вряд ли найдёшь в квартире. Американский инженер Флориан Маурер (Florian Maurer) решил исправить этот недостаток — и попытался напечатать такие линзы для iPhone 6 Plus самостоятельно на 3D-принтере.

Сначала Флориан напечатал рамку для очков, изменив CAD-модель в редакторе Onshape.com. После печати мастер-модели форму для литья сформовали из прозрачной резины, затем отлили линзы из прозрачной смолы. В последующих опытах линзы сразу напечатали. Поверхность шлифовали наждачной бумагой зернистостью P220-7000 и дополнительно полировалась. Автор признаёт, что процесс довольно утомительный и кропотливый. Получить ясную прозрачную оптику невероятно трудно. Тем не менее, для первой попытки 3D-печати линз на коммерчески доступном принтере получилось весьма неплохо.

Флориан Маурер сравнил свою работу (самодельные линзы + iPhone) с качеством картинки в шлеме виртуальной реальности Oculus Dev Kit — и остался доволен результатом.

Итак, всё начинается с печати крепления для линз. Выбранная поначалу модель позволяет независимо регулировать каждую линзу, подстраивая её положение относительно глаза. Это значит, что крепление получается довольно универсальным.

Крепление на голову пока не предусмотрено, но для тестирования можно обойтись и так, удерживая смартфон двумя руками.

Для защиты от шумовой засветки окуляры слегка прижимаются к лицу. Правда, активно крутить головой в таком случае не очень удобно.

Линзы

Самое интересное — как сделать линзы. Например, для Google Cardboard рекомендуются такие линзы за восемь долларов диаметром 25 мм с фокусным расстоянием 40 мм. Их берём за образец для начала.

Создать CAD-модель опять помог редактор OnShape.com, вот результат.

Для изготовления формы для литья использовалась специальная резина OOMOO 30.

Затем бесконечная шлифовка и полировка вручную. Даже по сравнению с самыми плохонькими линзами массового производства самоделка не очень хорошо фокусируется, а картинка размытая. Но ведь это первый опыт. Автор говорит, что эффект присутствия в виртуальной реальности всё равно сохраняется. Хотя фокусироваться на отдельных объектах тяжело, но в VR это не слишком важно, особенно во время движения. Было очевидно, что единственная проблема — в более качественной шлифовке.

Флориан извлёк уроки из своих ошибок на первом прототипе — и буквально за 30 минут сделал вторую версию крепления гораздо лучшего качества. Оно простое и легковесное, а линзы придвигаются ближе друг к другу или отодвигаются дальше.

Вот уже здесь Флориан использовал 3D-печать линз и попытался шлифовать их не вручную, а с использованием сверлильного станка с наждачной бумагой. К сожалению, он так и не нашёл способ, как избежать неприемлемой воронки по центру линзы. Автор говорит, что изучил эпизод передачи «Как это сделано» на канале Discovery, посвящённый производству обычных очков для улучшения зрения (видео ниже), — и подозревает, что в процессе изготовления нужно как-то вращать одновременно и саму линзу, и абразивный материал, чтобы избежать центральной воронки.

Судя по всему, 3D-печать в будущем позволит самостоятельно производить линзы для очков виртуальной реальности и для обычных очков, улучшающих зрение. Дужки для таких очков и оправы индивидуальной формы, в принципе, можно печатать уже сейчас.

Рейтинг
( Пока оценок нет )
Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: