LiDAR or not? ARKit 4 + iOS 14
Earlier this year, Apple launched the 2020 iPad Pro with a transformative technology: LiDAR. They simultaneously released ARKit 3.5, which added LiDAR support to iOS. Just 3 months later, alongside the reveal of iOS 14, they unveiled ARKit 4, which showed a massive leap forward in LiDAR capabilities throughout ARKit and cemented Apple’s commitment to the technology. Now, with rumors of a new LiDAR-enabled iPhone 12 around the corner, you may be wondering: should I care?
This article will answer that exact question by evaluating the use cases of LiDAR and comparing its effectiveness to the deep learning/computer vision models ever-present in our portable devices today.
Background
Hardware Used
- iPad Pro 12.9 4th gen [LiDAR, A12Z CPU with Neural Engine][1]
- iPad Mini 5th gen [No LiDAR, A12 CPU with Neural Engine][2]
These two devices were great comparison devices because they both have the same CPU architecture and neural engine, which should result in machine learning models running nearly identically on the two devices. The only difference for non-CPU-demanding AR applications should be the LiDAR sensor.
LiDAR Data Available
In ARKit 3.5, Apple augmented existing AR features like Raycasting, Motion Capture, and People Occlusion with LiDAR data to improve their effectiveness. They also provided a couple of brand new use cases of LiDAR such as illuminating real-world surfaces with virtual lighting and allowing virtual objects to collide with real-world surfaces [3].
ARKit 4, in addition to some more improvements on those features, Apple introduced the Scene geometry API, which returns a mesh of the surrounding environment, and the Depth API, which provides the depth, in meters from the camera, of each pixel on each frame at 60 fps, along with confidences for each of these values [4].
What Is Lidar Scanner And How Does It Work
What is LiDAR Scanner?How Does LiDAR Scanning Work on iPhone 12 and iPad Pro?
What is LiDAR Scanner?#
LiDAR stands for Light Detection and Ranging. The ToF, aka Time of Flight scanner, uses light to determine the distance between two objects. It measures the time taken by a light source to reach an object and reflect. This is not a new technology per se; NASA is using it for space missions. And meteorologists are using LiDAR for better weather predictions. Recently, this technology is being employed to build 3D maps of the surrounding. Wherein it physically sweeps the area and calculates distances quite like a radar dish. Remarkably, Apple has managed to fix it into the iPhone 12 Pro series and iPad Pro.
How Does LiDAR Scanning Work on iPhone 12 and iPad Pro? #
The smartly engineered scanner sends multiple pulses of invisible green spectrum lasers and measures their reflection time. It works at a photon level and operates at nanosecond speeds, thousands of times per minute. When employed, it can measure the distance between the camera bump and other objects up to five meters away, both indoors and outside. With this info, the scanner can sense and make a picture of everything the light touches. It enables the scanner a perception of depth that is quite like our human eyes. Thanks to which the LiDAR scanner opens up tremendous possibilities for augmented reality and beyond. As per Apple, it will help users in three ways:
Is It Similar to the TrueDepth Sensor?#
In a way, LiDAR works quite similar to the front-facing TrueDepth sensor sported by the iPhone X and above and iPad. The major difference is the amount of pulses. The TrueDepth sensor shoots out a single pulse of infra-red light to create 3D maps. Whereas, LiDAR fires multiple laser pulses in different directions, covering an area with more precision and faster.
What Does It Mean for iPhone 12?#
Until now, technology such as LiDAR wasn’t that readily available for everyday users. With the inclusion in iPad Pro and iPhone 12 Pro series, the equation is changing. See how embracing the depth-sensing technology has already provided us with amazing features like Animojis, Selfie Portrait mode, and Portrait Lighting AR effects. Imagine the possibilities and paths that an iPhone 12 with LiDAR Scanner can entail. From having several useful and real-world features to amazing entertainment perks.
Will The LiDAR Scanner Improve Photography?#
Apple’s secret to amazing photography is its advanced computational photography & machine learning. And LiDAR will add additional data into the mix. It will map the environment and accordingly relay the information to the GPU. And since the sensor can work in the dark by shooting lasers, it could greatly improve autofocus. According to the tech giant, iPhone 12 Pro phones boast 6x faster focus in low light for both photos & videos. This will enable amazing night portraits with a beautiful low-light bokeh effect. LiDAR will definitely aid in better, sharper, and more contrasting images.
The Use Cases of LiDAR#
Whether you are a fan of AR apps and use cases or not, you cannot deny that it is an exciting technology. It is something that has the potential to shape our future. Combining the new LiDAR Scanner, depth-sensing system, and ARKit 3.5 makes AR experiences more realistic on the 2020 iPad Pro & iPhone 12 Pro models.
Scene Geometry API – You can capture a 3D topological map of your space. Thanks to object occlusion, it can identify floors, walls, ceilings, windows, doors, and seats.Instant AR – Its quick assessment of the environment, enables instant placement or AR objects in the real world without scanning. Imagine the speed and precision of AR Games like Pokemon Go.People Occlusion – The LiDAR Pulses seamlessly plots a person and its surrounding. Thanks to which you could enable green screen-style effects in almost any environment.Motion Capture – Capturing a person’s body position and movement in real-time becomes more accurate.Better 3D object detection – The scanner can recognize 3D objects more accurately, even in complex environments.
Now, isn’t this impressive. Just imagine what the app and game developers could build with this raw material. Well, one thing is for sure, it is undoubtedly going to make our work & life more straightforward and entertaining. Take these apps, for instance:
What is LiDar Scanner on iPhone 12 Pro Series?#
That’s all for now! We are surely fanboying over LiDAR and its use cases. Agreed, that the 2020 iPhone LiDAR Scanner will have limitations as it is still a nascent technology. But it does seem like a solid start for making augmented reality a ‘reality.’ What is your take? How do you think it can change the world we know? What is that one thing or app you are most excited about? Do let us know your views and reviews in the comment section below. You would like to read these posts as well:
How to Connect Magic Trackpad to Your iPadBasic Trackpad and Mouse Gestures for iPadHow to Use Trackpad on iPadBest LiDAR apps for iPhone and iPad 
Для чего нужен сканер LIDAR (Лидар) в iPhone и iPad Pro и что это такое?
Если появление дополнительной камеры в iPhone или iPad явно заметно, то оснащение новых устройств Apple датчиком LIDAR многими игнорируется. Что это за технология такая и насколько нужна она широкому кругу пользователей?
Что такое LiDAR?
Само слово LiDAR (Light Detection and Ranging) дословно расшифровывается, как «обнаружение и определение дальности с помощью света». Эта технология активно используется в геодезии, картографии, где излучателем света является лазер.
В системах же ближнего радиуса действия его успешно заменяют светодиоды. Принцип действия LiDAR довольно прост – излучатель испускает световые волны, а приемник получает возращенный от тела отраженный сигнал, при этом учитывается воздействие рассеивающей среды. На основании времени отклика можно определить расстояние до объекта.
Так видит LiDAR окружающий мир:
Датчик LiDAR впервые появился на блоке тыловых камер в 2020 году с выходом iPad Pro и iPhone 12 Pro / iPhone 12 Pro Max.
LiDAR в iPhone 12 Pro и iPhone 12 Pro Max
LiDAR на iPad Pro
Для чего LiDAR в iPhone 12 Pro и iPad Pro?
LiDAR на iPhone может быть востребован уже сегодня и выполнять практические задачи. Можно говорить о применении технологии в съемке максимально естественных портретов с натуральным эффектом боке. LiDAR помогает волосам, ушам и другим частям тела человека или животных оставаться в фокусе. В будущем возможности этой технологии могут быть расширены и на портретные видео. Но это произойдет в следующих релизах операционной системы или даже с выходом новых моделей iPhone.
Видится возможным использовать LiDAR для сверхточного измерения физических расстояний. В практической жизни любой владелец актуального iPhone или iPad с такой технологией сможет без проблем точно измерить габариты своей квартиры: длину и высоту стен, кривизну пола. Но дело тут не в удовлетворении любопытства, такая информация может оказаться полезной при проведении строительных работ. Обычно там требуются дальномеры и нивелиры, но смартфон с лидаром может их подменить. Есть уже и приложения, которые с помощью лидара сканируют контуры рабочего пространства и затем создают модель производственного помещения, помещая туда трехмерные объекты.
А с учетом факта отличной работы сенсора LiDAR не только в светлое время суток, но и в темное, эта камера используется для улучшения Ночного режима съемки на iPhone и iPad линейки Pro. Датчик отлично распознает объекты, что позволяет до 6 раз быстрее наводиться автофокусу. В результате резко уменьшится число ночных фотографий, в которых фокус оказался сбитым.
Есть и еще одна сфера применения технологии LiDAR. По утверждению компании, этот элемент был недостающим для реализации революционных приложений дополненной реальности. Датчик LIDAR от Apple способен измерять дистанцию до объектов на расстоянии до 5 метров, работая как в помещении, так и на улице. Операционная система объединяет эту информацию с данными камер, датчиков движения и обрабатывает с помощью алгоритмов компьютерного зрения. Это помогает iPhone и iPad Pro быстрее и лучше размещать на проанализированной сцене объекты дополненной реальности. Можно не сомневаться, что благодаря LIDAR уровень AR вырастет, даруя новые ощущения от возможностей техники Apple.
Надо сказать, что компания давно уже пытается освоить поле дополненной реальности, работая над соответствующим программным и аппаратным обеспечением еще с 2017 года. Тогда была представлена платформа ARKit для разработки под iOS подобных приложений. С тех пор каждое крупное обновление операционной системы появляется с демоверсией технологии AR, будь то Minecraft или Lego. И каждое улучшение камер или процессора неявно обещает и очередное улучшение технологии. Но пока еще не так много реальных возможностей ее применения.
Созданное на основе ARKit приложение автоматически и мгновенно получает информацию о размещении объектов в поле зрения камеры, улучшенный захват движения для вовлечения людей. Появление датчика LIDAR привело к обновлению ARKit и появлению нового Scene Geometry API, которое как раз и позволит использовать новый сканер для реализации невозможных ранее сценариев.
Вполне возможно, что датчик LIDAR даст новый импульс этой истории. И уже появляются приложения, использующие новую возможность устройств Apple. Так, в Apple Arcade появилась игра Hot Lava, которая превращает жилую комнату в игровую поверхность.
Устройство сканирует помещение и размещает в нем виртуальное поле из лавы и платформы для прыжков персонажа. Приложение Shapr3D дает возможность отсканировать комнату, а потом создает ее трехмерную модель для последующего редактирования. Похожий функционал и у IKEA Place, которая после анализа комнаты поможет подобрать для нее мебель.
Сканер LIDAR улучшит приложение Рулетка для вычисления габаритов материальных объектов. В нем появилась виртуальная рулетка для более детальных измерений.
Пока сфера дополненной реальности является удивительной, но вовсе не неотъемлемой частью нашей жизни. Компания Apple планомерно, шаг за шагом, делает все, чтобы это исправить. Можно только поприветствовать такое намерение разнообразить наше будущее. А сканер LIDAR – важный инструмент на пути реализации технологии.
Технология будущего. Зачем нужен LiDAR, который появился в iPad Pro
В закладки
Судя по анализу железа нового iPad Pro, его главная особенность – это новый датчик расстояния LiDAR.
Apple говорит, что NASA отправит с ним людей на Марс, а многие думают, что это прокачанный Face ID. Но многие пока не понимают, как его будут использовать разработчики.
Мы разобрались, в каких индустриях лидар используют прямо сейчас, чем его датчик отличается от чёлки в iPhone, и кому на самом деле нужна эта новая версия планшета.
Спойлер: произошла революция.
Как работает обычный лидар
По принципу работы радар и лидар отличаются только в источнике энергии, которым они измеряют величины. В первом это радио-волны, во втором лазер. Чаще всего инфракрасный, невидимый человеком.
Название LiDAR идёт от аббревиатуры light detection and ranging, на русском как «обнаружение и определение дальности через свет»
Простейшая система работы такая:
-
1. Излучатель бьёт лазером со скоростью света
2. Ресивер получает его обратно
3. Компьютер рассчитывает время возвращения луча
4. Формируется информация о расстоянии до объекта
Скорость света – величина неизменная, она всегда одинакова. Считывая разницу в скорости возвращения луча, можно составить глубинную 3D-карту местности, улицы или комнаты. Масштаб и точность такой карты зависит от размера датчиков, количества лучей, их яркости и множества других факторов.
Например, вот здесь можно пощупать информацию, которая получается на выходе сенсора для автомобилей OS1 от компании OUSTER.
NASA составила огромный список того, что умеют лидеры разного типа.
В зависимости от размера и точности сенсора, можно получить следующие данные:
Излучатели отличаются размерами, мощностью, типом лучей, их количеством, статичностью и многим другим. Их цепляют на спутники, самолёты, дроны и автомобили.
Учитывая, сколько материала можно собрать и обработать, становится понятно, что лидар может быть полезен в десятке разных областей. Пройдёмся по некоторым.
Технологию применяют в автопилотах, космосе и земледелии
С помощью сенсора можно предположить, какую область зальёт при наводнении
Все сканеры работают за счёт лучей, но площадь покрытия зависит от их количества. Это может был один лазер, который сканирует плотность газа, или полоса, которая формирует карту глубины двухмерной территории, как на примере выше.
В третьем виде излучатель бьёт квадратным полем, как это сделано в iPad Pro, и формирует объёмный отпечаток помещения, здания, метеорита и так далее.
Самоуправляемые машины выглядят самым очевидным применением для LiDAR. Почти каждая компания внедряет их по несколько штук за раз в свои проекты.
С другой стороны, Элон Маск год назад агрессивно противился им и сказал, что распознавание объектов эффективнее. Директор ИИ в Tesla Андрей Карпати считает лидар ненадёжным “костылём” по той же причине.
Анализ биосферы проводят датчиками повсеместно. У NASA есть список миссий с отчётами по ним. В них исследуют состояние озонового слоя, ищут связь выбросов и климата и изучают экосистему. Для последнего иногда даже задействуют спутники.
Но в основном в самолёты или дроны встраивают лазеры с приёмником, которые как валик с краской накрывают территорию под собой. А учёные на базе этих данных строят карты материалов и грунта.
Агрикультура и городское планирование занимают первое место по применению LiDAR. Анализ земли и воздуха помогает выбрать места для плодородных полей – такие, чтобы избежать оползней и загрязнённого воздуха.
LiDAR не умеет делать то, что может Face ID. И наоборот
Разобрались, что LiDAR стреляет лазером из дронов, самолётов и спутников. В iPad Pro это работает по тому же принципу, но на “минималках”.
В iPad Pro стоит не один луч, а 1152 штук в шахматном порядке.
Расчёт сделал так. Судя по изображению в обзоре, айпэд выпускает лазеры в 9 секторов. В каждом по 8 точек на ряд, который дублируется по диагонали. Получаем 8*8*2*9=1152.
Лучи крупнее в диаметре и намного дальше друг от друга, чем в Face ID. Из-за этого планшет технически не сможет составить точную карту глубины, потому что не считывает волосы и даже крупные детали, например уши.
Вот почему портретного режима в нём нет.
Зато у LiDAR шире покрытие. В отличие от Face ID, работает это приблизительно так:
-
1. Излучатель бьёт дальше крупными точками
2. «Приёмник» их ловит
3. Процессор A12Z собирает из отметок полигоны
4. Из полигонов под разными углами составляется карта
В итоге получается цифровой отпечаток помещения, а не вашего лица . Просто инженеры масштабировали проектор для других целей.
Точный сенсор айпэда нужен везде. Развлечениям и образованию особенно
Пока система стоит в сравнительно непопулярном устройстве, ей мало кто будет пользоваться. Вот только парк AR-устройств уже огромный, компания зря время не теряли.
Всё те же люди продолжат использовать AR-приложения, просто чаще. Раньше текстуры прыгали друг на друга, а положение объектов неудачно отслеживалось.
Теперь этой проблемы нет благодаря LiDAR, и некоторые индустрии могут с большей охотой подрубать сканер . Например:
-
1. Студенты и профессоры с приложением по анатомии
2. Дизайнеры квартир с быстрым составлением плана
3. Ритейлеры, вроде IKEA, которые удобно покажут свои товары
4. Музеи смогут рендерить в AR скульптуры, а не только картины
Это та часть, которая хоть как-то активна в дополненной реальности. Скорее всего, теперь к ней увереннее подключатся спорт и бьюти-сфера.
Apple такая же технологичная компания, как и все остальные. Бывает, что инновации не заходят в массы, как это было с 3D Touch, и их постепенно выпилывают. Но мне кажется, что LiDAR за следующие десятилетие взлетит до ключевой технологии.
В ближайшие годы сканер рискует стать стандартом из-за AR
Если у вас iPhone 7 или новее, откройте сайт Apple и активируйте режим дополненной реальности, например с iPad или MacBook Pro.
За последние пару крупных апдейтов iOS функцию так прокачали, что смартфон уже не греется, когда дополняет окружение. Отслеживание позиции тоже стало лучше, а с лидаром объекты будут буквально прилипать к сетке , которую айфон построит в реальном времени.
Этот опыт будет идеальным, чтобы люди начали включать игры и приложения не на один раз рад интереса, а пользовались ими постоянно.
А там и до звонков по FaceTime в стиле Звёздных Войн недалеко. Взгляните, к примеру, научились заменять на искусственный в iOS 13.
Дополненная реальность уже здесь, и у неё нет финала
То, что раньше было неудачным Kinect для XBOX, переродилось в киллер-фичу iOS
Пока я искал информацию для материала, заметил одну вещь. Большинство заголовков о развитии лидаров вышли в последние два года, и в основном в 2019-м. Видно, что индустрия плотно развивается, в ней около десятка конкурентов, и впереди много лет прогресса.
Всё потому что AR настолько среди нас, что мы пропустили переломный момент .
Бесконечные маски в Инстаграме, перебрасывающие сразу на сайт QR-метки, грядущие уведомления об опасных контактах от коллаборации Apple | Google.
В общем, реальности смешиваются и, как это бывает с прогрессом, незаметно для его участников. LiDAR может станет ступенью для осязания всего процесса.
Ходит много слухов о том, что грядущие iPhone 12 Pro тоже оснастят таким сенсором. С учётом потенциала и места для улучшения технологии, легко верю в то, что Apple лучше нас понимает важность лидара, а для использования AR сканер станет критичным параметром.