Что такое технологии Face ID и Liveness и как их используют в мобильных приложениях
Биометрия сегодня на подъеме. Особенно впечатляет скорость развития технологии распознавания лица в областях контроля доступа и бесконтактных платежей. Еще каких-нибудь 10-12 лет назад безконтактная оплата с помощью смартфона (NFC) казалась нам фантастикой, медленно становящейся реальностью. Сейчас для совершения покупки в некоторых оффлайн-магазинах не нужен даже смартфон, не говоря о пластиковой карте, достаточно посмотреть в камеру на кассе. Я говорю о селфи-биометрии — биометрическом распознавании лица во время проведения транзакции (Face Pay) или для получения доступа: к устройству, сервису, приложению.
Взрывной рост этой технологии стал возможен благодаря достижениям в области искусственного интеллекта, направленным на борьбу с биометрическим мошенничеством — подделкой биометрических данных пользователей: изображения лица, отпечатков пальцев, голоса. Решения, позволяющие безошибочно идентифицировать реального пользователя и выявить мошенника, способствуют повышению доверия к доступу по биометрии лица. Сегодня я хочу рассказать о том, как работают в приложениях технологии распознавания лиц Face ID и Liveness. Думаю, вам уже пора знать это, ведь нас ждет беспарольное будущее, а селфи-биометрия очень скоро станет нашим верификационным стандартом, вытеснив даже отпечатки пальцев и сканирование радужки глаза, поскольку здесь отсутствует прямой контакт с пользователем.
Face ID — это биометрическая технология распознавания лица для его идентификации с целью подтверждения личности человека. Технология применяет методы трехмерного и двухмерного сканирования лица пользователя, анализа деталей изображения лица и их сопоставления с эталоном из базы данных. Проще говоря, каждый человек имеет уникальное строение лица. Специальное программное обеспечение способно анализировать его, сопоставляя с информацией в базе данных для последующей идентификации того, кто вы такой. Сравнение моделей лица происходит с помощью программ, основанных на искуственных сверточных нейронных сетях.
Facial recognition technology (FRT) еще до мобильных телефонов активно использовали и сейчас используют в правоохранительных органах как инструмент розыска преступников; в Physical Access Control System (PACS) — банки, офисы; в системах наблюдения аэропортов и других общественных мест; в медицине и генетике — для обнаружения генетических нарушений (например, фреймворки Face2Gene и DeepGestalt).
В мобильных телефонах технология используется для разблокировки аппарата, доступа пользователя к приложениям и совершения денежных транзакций (оплаты, перевода). В Android-смартфонах и планшетах распознавание лица применяется уже с десяток лет. Однако способ, применяемый там для идентификации, не безопасен, поскольку использует алгоритм 2D-распознавания. то есть достаточно только фотографии, а не трехмерного изображения, чтобы разблокировать телефон, а это легко подделать. Качество передней камеры аппарата является здесь определяющим фактором, как и сложность алгоритма, используемого для извлечения деталей лица. Сегодня сверточные сети используют в дорогих смартфонах, но не в бюджетных (например, 360 Face Unlock от Huawei и технологии быстрой разблокировки OnePlus). А ведь именно они позволяют точно идентифицировать личность.
Трехмерное распознавание лица в мобильном телефоне впервые внедрила5 Apple Inc., презентовав функцию Face ID в 2017 году в рамках запуска iPhone X. Именно Apple озвучила такое название, которое сейчас стало нарицательным для технологии идентификации по лицу: разные компании используют термин «Face ID» в своих сервисных решениях для банковской сферы, ритейла, сферы доставки и логистики, в системах контроля доступа (например, Face ID Biometrics, Evergreen). Свои решения по распознаванию лиц сегодня имеют все гиганты программного обеспечения: Google (FaceNet); Facebook (DeepFace); Microsoft, IBM и Megvii (FACE ++); Amazon (Rekognition); Academia (GaussianFace).
Но, конечно, самый популярный кейс реального применения — это Apple Face ID. Для биометрического сканирования формы лица и ее распознавания при снятии блокировки в iPhone задействуется камера TrueDepth, оснащенная двумя инфракрасными проекторами, выделяющими лицевые точки и сохраняющими их в память в виде математического кода. Комплекс из камеры и датчиков приближения и освещенности, системы подсветки Flood Illuminator (которую не видно в темноте) и проектор точек Dot Projector создает высокоточную трехмерную модель лица и сохраняет шаблон напрямую в процессор. За хранение ключа Face ID отвечает специально заблокированная часть ЦП смартфона. По заверениям разработчиков, система способна самообучаться и подстраиваться под пользователя, не обращая внимания на одежду, очки и возрастные изменения лица. Функцию Face ID можно использовать для авторизации покупок с помощью платежной системы Apple Pay. По утверждению Apple технология Face ID проверяет соответствие с использованием данных о структуре лица, которые невозможно считать с напечатанной или цифровой двухмерной фотографии. А сложные нейронные сети защищают от мошенничества с использованием масок или других приемов. Технология Face ID может даже определять ваше внимание. Она распознает ваше лицо, только если ваши глаза открыты и вы смотрите на устройство. Это усложняет задачу разблокировать устройство без вашего ведома (например, когда вы спите). Вероятность того, что другой человек сможет разблокировать ваш iPhone или iPad Pro с помощью Face ID, составляет 1 из 1 000 000.
Но как система определяет, реальный и живой ли человек перед ней? Для этого существует еще одна интересная технология — Liveness. Она «занимается» биометрическим определением живого лица. Liveness Detection не позволяет ботам и злоумышленникам использовать украденные фотографии, внедренные deepfake-видео, реалистичные маски или другие подделки для создания или доступа к онлайн-аккаунтам. Liveness гарантирует, что только реальные люди могут создавать учетные записи и получать к ним доступ. Цель этапа подтверждения реального присутствия: помешать мошенникам, которые всё чаще прибегают к спуфинг-атакам, используя фотографию, видео или другую замену биометрических характеристик уполномоченного лица, чтобы получить чьи-то привилегии или права доступа. Внедренный в систему Liveness Detection должен соответствовать стандарту обнаружения атак ISO 30107-3.
Разные разработчики предоставляют обществу свои Liveness-решения (FaceTec, ID R&D, VisionLabs), но принцип работы их идентичен. Перед тем, как пользователь при регистрации предоставит документ, удостоверяющий личность, он должен надежно доказать, что он реальный живой человек. Это нужно для того, чтобы у злоумышленника не было возможности пройти идентификацию по поддельной фотографии или реалистичной маске на лице (Deepfake). Для каждой аутентификации пользователя требуются два типа данных: о лицах (для сопоставления) и о “живости” (чтобы подтвердить, что данные о лицах были получены от живого человека). Данные о “живости” должны иметь временную метку и быть действительными только в течение нескольких минут, а затем удалены. Всегда следует хранить только данные о лицах. Новые данные о “живости” должны собираться при каждой попытке аутентификации.
Итак, биометрическая система должна определить, были ли данные получены от живого человека или от неживого артефакта (неодушевленного объекта, который пытается воспроизвести биометрические черты человека). 3D Liveness анализирует ваше быстрое видеоселфи на наличие атрибутов живого человека: это определенные движения головы и мышц лица в ответ на команды и соответствующие им тени и блики на текстуре кожи; микроизменения в мимике при движении и статике; скорость реакций. Как только будет доказано, что новая учетная запись принадлежит реальному человеку, его биометрические данные будут сохранены в качестве надежного эталона их цифровой личности для последующей авторизации.
Смартфон узнает меня по лицу. Как это работает?
Вы купили или собираетесь купить смартфон, который можно разблокировать лицом — а не отпечатком пальца или паролем. Вместе с компанией BQ, у которой есть такой смартфон, разбираемся — зачем нужна такая функция, как она работает и что еще о ней нужно знать.
Так зачем лицом? Можно же разблокировать пальцем
Можно и пальцем, если есть сканер отпечатка. Дело в том, что у безрамочных смартфонов нет кнопки со сканером на лицевой стороне, а на задней — далеко не у всех моделей. Например, смартфон BQ-6200L Aurora можно разблокировать и лицом, и пальцем. В любом случае это быстрее, чем ввод пароля.
Разблокировка лицом выигрывает у сканера отпечатка пальца тем, что не занимает места на лицевой стороне смартфона, а значит — вы получаете экран большего размера.
Понятно, а откуда смартфон узнает, что я — это я?
Он запомнит ваше лицо. Когда вы настраиваете сканер, смартфон фиксирует расстояние между глазами, цвет и сетчатку глаза, контур лица, волосы, размер носа и другие детали. Из всего этого создается сетка ключевых точек вашего лица — так называемое битмап-изображение. Когда вы попробуете разблокировать смартфон, алгоритм распознавания начнет искать в сохраненном шаблоне соответствия с вашим лицом. Если найдет, то смартфон разблокируется. Детали технологии немного различаются в зависимости от производителя смартфона, но в целом суть такова. Причем все это происходит при помощи инфракрасной камеры, излучателя и проектора точек.
А что, обычной камеры недостаточно?
Инфракрасная камера подходит для более точной проверки лица в инфракрасном спектре. Проектор точек «раскладывает» лицо на точки и создает своеобразную «карту лица», а инфракрасный излучатель поможет смартфону увидеть лицо даже в темноте. Обычная камера всего этого не сумеет.
И что, эту систему никому не удастся обмануть?
Если честно, мы не знаем. Достоверных данных не хватает. Можем лишь сказать, что проектор точек снижает до нуля шансы разблокировать смартфон по фотографии, потому что делает трехмерную модель лица (а фотография плоская). По той же причине не сработает и разблокировка с помощью видео. Тем не менее ученые и энтузиасты не оставляют попыток обмануть сканер лица, а технологические компании — улучшить его алгоритм.
А если у меня есть близнец?
Журналисты, конечно же, проверили такие случаи — и выводы неоднозначные. В Cult of Mac выпустили статью о том, что близнецы не смогут обмануть датчик разблокировки лицом, а в Mashable считают, что еще как смогут.
Мне есть что скрывать. Разблокировка лицом мне не подходит?
Вполне подходит. Если у смартфона есть разблокировка пальцем — вы можете ее включить как дополнительную опцию (в BQ-6200L Aurora так можно), а еще можете защитить паролем отдельные приложения.
Все понятно. Расскажете еще что-нибудь?
Расскажем. Вот интересный факт — датчики смартфона распознают владельца, даже если его внешность изменилась: например, он отрастил бороду. А еще в BQ-6200L Aurora камера умеет распознавать объекты фотосъемки и автоматически оптимизировать яркость, контраст, баланс белого и другие настройки. А кроме того, там есть Facemoji — это анимированные эмодзи, которые повторяют мимику владельца смартфона.
Как работает Face ID в iPhone. Простыми словами
В закладки
Представленный в сентябре 2017 года iPhone X стал, пожалуй, самым инновационным смартфоном Apple. Купертиновцы решились на изменения в флагманском устройстве сразу по нескольким направлениям, а самым заметным отличием стал безрамочный дисплей на всю лицевую поверхность смартфона.
Отсутствие привычной и каноничной для iPhone кнопки Домой ознаменовало переход на более совершенный способ идентификации пользователя. К счастью, в Apple не стали размещать сканер Touch ID на задней панели смартфона, а готового и надежного решения с датчиком под дисплеем на тот момент просто не существовало.
В итоге инженеры из Купертино разработали одну из самых безопасных и инновационных систем идентификации пользователей в области потребительской электроники. Сейчас разберемся, как работает распознавание пользователя по лицу, насколько это надежно и в чем ключевые преимущества этой технологии.
Как устроен Face ID
Face ID в вашем iPhone – это объемно-пространственный сканер лица человека. Модуль из камер и сенсоров работает по принципу Time-of-flight (от англ. время полета), распознавая не просто плоский портрет человека, а его объемную модель.
Для каждого полученного пикселя сенсор фиксирует его удаленность, формируя глубину изображения. Расчет расстояния до каждой точки происходит при помощи фиксации времени полета луча. По такому же принципы построено большинство военных и гражданских радаров. Главное отличие – использование светового импульса в Face ID и радиочастотного сигнала в радаре.
Face ID является ответвлением технологии LiDAR, которая с недавнего времени появилась в профессиональных линейках iPad и iPhone.
Камера для захвата движения пользователя Kinect стала прародителем Face ID
Технология Face ID основана на разработках компании PrimeSense. Это израильское предприятие работает в сфере 3D-зондировнаия с 2005 года, а в 2013 компанию и все права на разрабатываемые технологии приобрела Apple.
Удивительно, что в Купертино задумались над более перспективным способом идентификации пользователей одновременно с презентацией Touch ID в iPhone 5s. Вот так нужно строить долгосрочную стратегию развития своих гаджетов.
Face ID базируется на инфракрасных измерителях глубины, которые легли в основу датчика движения Kinect для консолей Xbox. Интерес к технологии у Apple практически совпал с отказом использования Kinect в Microsoft.
Сканер Face ID состоит из двух принципиально отличающихся блоков: точечного проектора, который проецирует более 30 000 ИК-точек на лицо пользователя и соответствующей ИК-камеры, которая считывает полученный рисунок.
Полученное объемное изображение сравнивается с созданным при настройке Face ID “отпечатком” и производит идентификацию пользователя.
Сложности конструкции придают остальные уже привычные для фронтальной поверхности iPhone элементы: динамик, микрофон, датчик освещенности, датчик приближения и фронтальная камера. Все это делает “челку” iPhone очень технологичной и сложной в устройстве.
В каких гаджетах Apple применяется Face ID
Face ID присутствует в следующих моделях техники Apple:
Производитель не заявляет о наличии нескольких поколений датчика Face ID. Несмотря на это, в работе разных гаджетов присутствуют отличия в работе данной фишки.
Так второе поколение iPhone с Face ID (модели iPhone XS/XS Max и iPhone XR) обладает более высокой скоростью срабатывания благодаря системе Neural Engine 2‑го поколения. С выходом iOS 13 купертиновцы заявили, что Face ID во всех смартфонах начал работать на 30% быстрее.
В моделях iPad сканер Face ID умеет работать не только в портретной ориентации, но и в ландшафтной. iPhone лишен такой возможности.
Что инновационного в датчиках Face ID
Об инновационности технологии говорит и тот факт, что ни один из конкурентов до сих пор не представил аналогичное по надежности и точности срабатывания решение . Все технологии распознания пользователя по лицу в моделях других производителей являются альтернативными и дополняют имеющиеся сканеры отпечатка пальцев, сканеры радужной оболочки глаза или другие сенсоры.
Другим компаниям проще и дешевле развивать аналоги Touch ID и встраивать сканер отпечатка пальцев под дисплей или в тонкую боковую кнопку смартфона, чем создавать аналог технологии Face ID.
При этом технология Face ID является самообучаемой , нейронные сети в процессоре iPhone со временем лучше запоминают лицо пользователя и начинают срабатывать в более сложных условиях.
Кроме этого с обновлением iOS добавили возможность сохранить альтернативный внешний вид. Некоторые пользователи добавляют свое лицо с носимыми аксессуарами (головные уборы или очки), а другие сохраняют “отпечаток” близкого родственника, чтобы он тоже мог пользоваться смартфоном без пароля. Эта фишка позволяет обучить сканер для срабатывания в маске.
Насколько безопасно использовать Face ID
Как и в случае с Touch ID, сохраненные изображения пользователей не хранятся в открытом виде на смартфоне и не передаются по сети. Во время настройки объемное изображение превращается в математическую модель и помещается в защищенное хранилище Secure Enclave. Это специальная область процессора, которая тесно интегрирована с чипом iPhone.
Для повышения уровня защиты купертиновцы связывают сканер Face ID с материнской платой и процессором на аппаратном уровне. Такая привязка есть в каждой модели iPhone или iPad, что делает невозможным подмену Secure Enclave при замене одного из компонентов гаджета.
Обратной стороной такой защиты является сложность при ремонте. В случае возникновения проблем с Face ID, придется менять связку из модуля камер и привязанную к нему материнскую плату. Как вы понимаете, подобный ремонт будет стоить львиную долю стоимости устройства.
Это вероятность того, что кто-то сможет разблокировать ваш iPhone с Face ID своим лицом
Чтобы избежать непроизвольной аутентификации, система требует сканировать лицо с открытыми глазами, обратив взгляд в сторону камеры. Пользователю доступно отключения этой особенности. Достаточно выключить опцию Требовать внимание для Face ID по пути Настройки – Face ID и код-пароль. После отключения фишки iPhone получится разблокировать даже с закрытыми глазами, что серьезно снижает безопасность защиты. С другой стороны опция позволяет снимать блокировку смартфона очень быстро.
После пяти неудачных попыток сканирования или через 48 часов бездействия гаджета потребуется ввод пароля разблокировки. Код нужно вводить после каждой перезагрузки смартфона, при замене SIM-карты или после активации SOS-режима.
Присутствует небольшая хитрость, которая позволяет быстро отключить Face ID при необходимости. Кроме этого есть встроенная защита для дезактивации Face ID при обнаружении неоригинальных компонентов iPhone.
Все это дает максимальный уровень защиты и обезопашивает от взлома смартфона извне. Как и в случае с Touch ID, быстрее и проще взломать iPhone при помощи специального вируса, чем при помощи обмана Face ID.
Единственным слабым местом системы являются ложные срабатывания с близнецами. Однако, купертиновцы совершенствуют алгоритмы работы и минимизируют ошибки при помощи обновления ПО.
Вот такая мощная и технологичная фишка присутствует в небольшом смартфоне, который помещается в ваш карман.
В закладки
Как работает Face ID и распознавание лица на Android смартфонах?
Интернет буквально переполнен статьями на тему того, как работает разблокировка по лицу (Face ID) на iPhone. Если вы хотя бы немножко интересовались этим вопросом, то сразу же вспомните все эти, набившие оскомину, термины: лазерный проектор, ИК-излучатель, 30 тысяч точек и т.п.
Все популярные ресурсы (The Verge, Wired, Engadget) как под копирку пишут одно и то же, повторяя слова, сказанные еще на презентации первого iPhone с технологией Face ID.
Если ваше любопытство полностью удовлетворяется этими общими фразами, порой искаженными и далекими от реальности, тогда эта статья не для вас. Здесь же я расскажу о том, что в действительности происходит, когда вы пытаетесь разблокировать свой смартфон при помощи распознавания лица.
Надеюсь, эта статья ответит на многие вопросы!
Нейросети, искусственный интеллект, самообучение…
Эти слова, как мантру, повторяют блогеры, пытаясь объяснить работу Face ID. Но давайте задумаемся на минуточку, что это значит.
Чтобы смартфон научился классифицировать объекты (в нашем случае — лица), он должен пройти долгий и нелегкий процесс обучения. К примеру, если мы хотим, чтобы нейросеть отличала кошек от собак, мы должны «скормить» ей тысячи (а лучше десятки и сотни тысяч) фотографий различных собачек и котиков. Причем, каждая фотография должна иметь пометку о том, что конкретно на ней изображено.
В процессе обучения, нейросеть начнет выставлять веса таким образом, чтобы на выходе всегда активировался один нейрон, отвечающий за конкретное животное.
А теперь представьте себе такой процесс обучения на iPhone или Android. Вам нужно показать телефону тысячи своих фотографий с разной прической и макияжем, разной мимикой и аксессуарами. Ведь, как иначе смартфон будет вас узнавать? А затем нужно показать еще сотню тысяч других лиц, уточнив при этом, что это не вы и не следует этих людей пропускать.
Приятно, конечно, тешить себя мыслью, что ваш смартфон такой умный и сам обучается в процессе использования, но в реальности он проходит обучение еще до того, как попадет на прилавки магазинов. И ваше лицо, естественно, не имеет к этому процессу никакого отношения.
Для обучения нейросетей нужны очень мощные графические процессоры и много времени. Поэтому, на телефон загружают уже обученную нейросеть. Которая способна лишь незначительно адаптироваться в процессе своей работы.
Но как же тогда Android-смартфоны и iPhone за пару секунд запоминают лицо пользователя и в дальнейшем распознают его мгновенно, вне зависимости от выражения лица, освещения и даже макияжа? Где же тысячи фотографий и длительное обучение?
Как работает Face ID и распознавание лица?
Понятное дело, что учить смартфон запоминать ваше лицо, а также лица других людей — бессмысленная и ресурсоемкая задача. Он не будет классифицировать лица в том смысле, как делает это для различных видов животных или растений (в приложении Камера). Вместо этого телефон обучают делать кое-что другое.
Вначале (еще «на заводе») нейросеть учат просто различать лица, то есть, выделять какие-то конкретные признаки лица (формы, размеры, расстояния) и отличать одни от других. Делается это при помощи так называемой сверточной нейронной сети (CNN) и специальных фильтров или сверток (в рамках этой статьи понимание данного процесса совершенно не важно).
Вся нейросеть состоит из слоев: на первый слой подается изображение с лицом, на втором слое применяются свертки, дальше идет выделение отдельных признаков, после чего на последнем (выходном) слое определяется конкретный человек.
К примеру, если бы наша нейросеть определяла расу человека и на предпоследнем слое собрались бы такие признаки, как «темная кожа», «толстые губы», «широкий нос» и «крупные зубы», тогда на выходе активировался бы нейрон, отвечающий за негроидную расу.
Но нам не нужен последний слой. То есть, нейросеть не будет пытаться узнать конкретного человека или расу, а всё должно заканчиваться сбором признаков. Другими словами, Apple или любой другой Android-разработчик обучает нейросеть лишь собирать признаки лиц:
Однако же, само по себе умение собирать признаки еще не позволяет нам реализовать идентификацию пользователя по лицу.
Давайте на секундочку отвлечемся. Как мы понимаем, внутри нейросети нет ничего, кроме чисел. Вся нейросеть — это просто математическая модель, в которой одни числа, «проходя» по связям от нейрона к нейрону, умножаются и суммируются (подробно об этом я рассказывал в этой статье).
В итоге, каждый признак — это не изображение глаза или носа, а определенное число, которое ассоциируется с конкретным глазом, носом или расстоянием между глазами (для каждого лица эти числа будут разными). Набор всех признаков называется вектором. К примеру, на картинке выше у нас есть 7 признаков на выходе из нейросети, то есть, наш вектор признаков — это 7 определенных чисел, уникальных для конкретного лица.
А теперь следите за мыслью, так как это самая важная часть в понимании Face ID или распознавания лица на любом другом смартфоне. Как мы знаем, вектор можно изобразить в пространстве. Для удобства представим, что у нас на выходе из нейросети только два числа: первое отвечает за цвет глаз, а второе — за цвет кожи.
Мы подаем в нейросеть фото человека с голубыми глазами и светлой кожей, а на выходе получаем два числа, например, 5 и 4. Затем мы подаем фото другого человека с темной кожей и зелеными глазами, соответственно, получаем на выходе другие числа, к примеру, 3 и 2. Всё это — двумерные вектора (с двумя координатами), которые можно легко отобразить на плоскости:
Если признаков будет 3, то получим трехмерный вектор, который также очень легко изобразить в пространстве (добавится третья координата глубины).
Нейросеть на смартфоне собирает гораздо больше признаков, соответственно и размерность вектора также намного выше. Вообразить себе точку в таком пространстве невозможно, так как наш мозг ограничен только тремя измерениями. Но это не суть важно, главное, что искусственный интеллект работает с этим без малейших проблем.
Когда сверточная нейросеть научилась выделять признаки, мы собираем несколько одинаковых нейросетей (с одинаковыми весами) в один блок и продолжаем обучение. Только теперь задание посложнее. Мы должны подавать уже 3 фотографии на вход: на первых двух снимках (А и Б) изображено лицо одного и того же человека, но с небольшими отличиями (макияж, другая прическа, другое выражение), а на третьем снимке (В) — лицо совершенно другого человека:
Задача нашей новой нейросети — не просто выделять какие-то признаки каждого лица, но подбирать их так, чтобы когда мы отобразим эти вектора в пространстве, расстояние между А и Б (слегка отличающимися лицами одного и того же человека) было минимальным, а вектор В (лицо совершенно другого человека) находился как можно дальше:
Мы продолжаем «скармливать» нейросети тысячи примеров до тех пор, пока она не научится выделять правильные признаки, чтобы расстояние между векторами одного и того же лица было минимальным, а между разными лицами — максимальным. И весь этот процесс обучения, повторюсь, происходит еще до того, как смартфон попадет на прилавки.
Когда нейросеть научилась это делать, ее можно загружать на iPhone или Android-смартфон.
Теперь пользователь включает функцию распознавания лица (или Face ID) и происходит первоначальная настройка. Обученная нейросеть уже знает, какие именно нужно выделить признаки и создает, образно говоря, их вектор в пространстве. Телефону уже не нужны тысячи ваших фотографий или десятки тысяч снимков других людей, чтобы научиться различать лица (делать классификацию). Вектор признаков вашего лица всегда будет находиться примерно в одном и том же месте скрытого пространства.
Когда вы попытаетесь разблокировать устройство в очередной раз, нейросеть снова создаст вектор признаков того лица, которое видит перед собой. И этот вектор с огромной вероятностью разместится в пространстве очень близко к первому — тому, что был сохранен при начальной настройке Face ID.
Если же другой человек попытается разблокировать ваш телефон, нейросеть создаст новые признаки, вектор которых будет находиться гораздо дальше от сохраненного. Соответственно, аппарат не разблокируется.
Подведем небольшие итоги
Смартфон не умеет классифицировать лица, как например, его камера определяет сцену (цветок, собака, кошка и пр.):
Он не понимает, что какое-то лицо принадлежит конкретному человеку, а другое лицо — другому конкретному человеку. Его нейросеть просто умеет так выделять признаки лица, чтобы их вектора всегда занимали определенное положение в пространстве.
Как вы уже догадались, смартфон не хранит фотографии своего владельца, так как в этом нет никакого смысла. Сохраняются лишь вектора (наборы чисел), расстояния между которыми и сравниваются при каждой разблокировке.
Может ли iPhone или Android-смартфон «обучаться» в процессе использования? Если мы говорим именно о тренировке нейросети, тогда ответ однозначный — нет.
Сеть обучена производителем и дополнительные «тренировки» невозможны, так как это потребовало бы переобучения всей нейросети. Но когда смартфон создает вектор признаков и он находится дальше, чем нужно для разблокировки, и в то же время вы вводите верный пин-код (то есть, подтверждаете, что это ваш вектор признаков), тогда устройство может (но не факт) запомнить его и в дальнейшем пропускать.
В чем разница между Face ID на iPhone и Распознаванием лица на Android?
Обе технологии используют один и тот же принцип работы, о котором я рассказал чуть выше. Наличие одной лишь селфи-камеры на Android-смартфонах и целый набор датчиков на iPhone могут ввести в заблуждение пользователей касательно самого процесса распознавания лица.
На самом деле, все дополнительные датчики на iPhone нужны только для обнаружения витальности (или жизненности). Помимо распознавания признаков лица, еще более сложной задачей является определение того, находится ли перед камерой смартфона живое (настоящее) лицо или же это фотография/видео/маска.
Android-смартфоны с одной селфи-камерой определяют жизненность лица при помощи определенных алгоритмов. Скорее всего, вам не удастся обмануть современную разблокировку по лицу простой фотографией или даже видео с экрана. Особенно, если камера видит очертание телефона или фотографии/бумаги в ваших руках. Подобные примитивные методы моментально обнаруживаются нейросетью.
Смартфон пытается определить характерные для стекла или бумаги блики, которых не может быть на реальном лице. Также в расчет берется текстура области лица или предмета, которым вы пытаетесь заменить лицо. Анализируется муар, расфокусировка и дисторсия на снимке.
Может даже использоваться анализ микромимики, когда смартфон делает несколько снимков подряд, а затем попиксельно ищет различия.
С другой стороны, iPhone использует гораздо более эффективный метод защиты. При помощи дополнительных датчиков он строит карту глубины, то есть, видит ваше лицо в трехмерном пространстве. Соответственно, все обманные методы, связанные с использованием 2D подделок (фотографии, снимки с экрана, видео), отпадают сразу же. Остается лишь использование масок. Но и здесь нейросеть пытается обнаружить подделку.
Метод 3D-сканирования однозначно безопаснее 2D-сканирования, но не стоит полагать, что распознавание лица на Android-смартфонах очень легко обмануть. Особенно, когда речь идет о флагманах, вычислительной мощности которых достаточно для работы глубоких нейросетей.
Основные технологии распознавания лиц
В завершение хотелось бы просто перечислить самые популярные методы распознавания лиц: