Каким способом работает идентификация лицевых образов в телефонах

Для чего мы предпочитаем разблокировку по фейсу

В недавние годы идентификация физиономий стало одной из самых популярных возможностей для деблокировки смартфонов. Всего пару годков ранее большинство юзеров обходились пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Что обуславливает данную возможность настолько популярной? Для начала, это практично: не нужно помнить замысловатые пароли или отыскивать правильный палец в тьме. Во-вторых, это мгновенно: современные программы распознают лицо буквально за мгновение. В-третьих, это ощущение футуризма — как будто в кинофильмах про адмирал х разведчиков.

Впрочем за данной видимой несложностью скрывается полный вселенная сложных техник и инженерных разработок. Давайте понять, как именно работает фейсканирование в новейших гаджетах, какие бывают методы, насколько они надёжны и что нас предстоит.

Сжатая история эволюции инноваций

Распознавание лиц как технология существует уже более 50 годов. Изначальные пробы автоматизированного анализа лиц были предприняты еще в 1960-х годах в лабораториях США. Тогда ЭВМ могли лишь обозначать силуэты черепа и измерять дистанции между очами и устами на черно-белых изображениях.

Изначальные бизнес установки стали доступны в 90-х, но они были несовершенны: действовали неспешно и часто давали сбои. Только с прогрессом нейронных сетей и таких систем, как адмирал х, высокопроизводительных мобильных чипов распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать свои разработки.

Ключевые шаги действия механизма идентификации

Процесс определения лица можно примерно сегментировать на несколько важных этапов:

1. Распознавание лиц — аппарат определяет существование человеческого лица в изображении.
2. Определение признаков — система анализирует контуры физиономии: форму зрительных органов, обонятельного органа, уст, расположение бровей.
3. Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с эталоном — полученный шаблон сопоставляется со зафиксированной при учёте биометрической сведениями владельца.
5. Принятие решения — если совпадение достаточно высокое, смартфон открывается.

Всякий из этих шагов нуждается в специальных процедур и улучшений для оперативной работы прямо на устройстве.

Железные компоненты: что скрыто внутри них

Обычная передняя камера.

Наиболее легкий вариант идентификации облика задействует исключительно фронтальную камеру смартфона мобильного устройства. Данный подход реализован во различных доступных вариантах Android-девайсов.

Преимущества:

• Необходимо нуждается в внешних датчиков.
• Оперативно действует при достаточном освещении.

Отрицательные стороны:

• Легко одурачить фотографией или роликом.
• Плохо функционирует при слабом освещении или необычных углах обзора.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика составляет базу Face ID от Apple.

Каким образом это действует:

• Точечный проекционный прибор показывает на физиономию использующего невидимую структуру из тысяч инфракрасных меток (например, Face ID задействует около 30 000 пятен).
• Инфракрасная устройство регистрирует искривление этой решетки по плоскости физиономии.
• Создаётся 3D глубинная карта глубинности, что практически невозможна для фальсификации обычной снимком или маской.

Плюсы

• Надёжная деятельность даже в полной неосвещённости.
• Большая защита к подделкам.
• Точность идентификации более 99%.

Дополнительные датчики

В определённых аппаратах задействуются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые измеряют время движения луча до цели и обратно; Трехцветные-датчики дальности; специальные оптические лидары для формирования более точной 3D-модели лица.

Эти инновации используются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искуственный ум в работе

Нынешние механизмы распознавания физиономий невозможны при отсутствии использования искусственного интеллекта и машинного обучения. Именно из-за таким инновациям, как адмирал х, гаджет может узнавать пользователя даже при трансформациях облика: новая причёска, щетина, линзы или макияж не становятся помехой для деблокировки.

Детектирование физиономии

На первом стадии алгоритм обязана быстро найти лицо в пределах полного изображения с камеры. Для данной цели применяются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые натренированы распознавать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN может распознавать физиономию даже в случае частичном перекрытии (например, платком или ладонью).

Идентификация основных точек

После распознавания лица система, такая как адмирал х, устанавливает расположение основных точек: уголки глаз, верхушка носа, контуры губ и так далее. Часто используется от 68 до 128 ключевых точек на лице.

Это действие требуется для выравнивания визуала: если пользователь удерживает мобильник под углом, или повернул голову, программа “выпрямляет” картинку до обычного угла для последующего изучения.

Построение биометрии шаблона

Далее нейронная сеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Данный шаблон весьма сложно имитировать: он не сохраняет само картинку пользователя, а лишь особенные особенности его внешности, что делает его оптимальным для таких платформ, как admiral-x.

Сравнительный анализ и осуществление заключения

Если пользователь намеревается разблокировать телефон взглядом, программа осуществляет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный порог (обычно превышает 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Адаптация к трансформациям облика

Интересная черта современных систем — способность самостоятельного обучения. Если ты постоянно доступаете к смартфон с обновленной стрижкой или очками, программа постепенно освежает эталонный модель вашего лица для повышения точности работы без ухудшения безопасности.

Защита биометрических данных информации.

Многие клиенты опасаются хранить свои биометрические данные на смартфоне из-за риска утечки данных или хакерской атаки. Некоторые компании, такие как admiral-x, предоставляют методы для увеличения безопасности сведений пользователей.

• Локальное сохранение: Преимущественно девайсов хранит биометрические модели только внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не оставляют гаджет и не доступны в том числе изготовителю.

• Шифрование: Все информация хранятся только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Приложения сторонних девелоперов не имеют непосредственного доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Стоит отметить существенную подробность: если какой-то человек достанет доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество производители внедряют защиту от “слепого” разблокирования — в частности, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются виды идентификации лиц?

В настоящее время можно определить определить три главных метода к выполнению этой функции:

Софтверное 2D определение

Используется только фронтальная камера без дополнительных детекторов дистанции. Этот метод используется обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; минимальная затраты; скоростная функционирование при качественном освещении.
Минусы: несложно ввести в заблуждение снимком; нестабильная деятельность ночью; слабая безопасность.

Техническое 3D сканирование

Использует инфракрасную видеокамеру + проектор точек + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: большая надёжность; невозможно обмануть фото/видео; стабильная работа в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с дополнением ИИ

Применяют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock современных поколений, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от подделок руками/масками/видеоэкранами посторонних устройств.

Примеры использования разных техник

• iPhone линейки X/11/12/13/14 применяют только аппаратное трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как софтверное двухмерное определение по изображению фронталкой, так и сенсор радужки глаза.
• Huawei Mate20 Pro применяет систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ложные тревоги

Несмотря на поразительный успехи инноваций за прошедшие лет, совершенных систем пока не наблюдается:

1. Вероятность обмана: Доступные телефоны просто открываются качественной снимком владельца или роликом с экрана другого устройства.
2. Идентичные двойняшки: Даже самые безупречные системы могут спутать между монозиготными близнецами либо родственниками с очень аналогичной внешностью.
3. Трансформации внешности: Внезапное утрата веса/увеличение массы тела, косметические процедуры или травмы иногда необходимы для повторной регистрации биометрических данных.
4. Условия съёмки: Яркая засветка солнечным светом или глубокая тень могут снизить точность распознавания признаков.

Вот несколько советов для безопасному применению:

• Для критически важных операций всегда используйте двухфакторную аутентификацию;
• Не активируйте функцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
• Постоянно обновляйте прошивку ПО смартфона для предотвращения угроз от новых видов атак;
• Включайте функцию “Требовать открытых глаз” везде, где она есть.

Где дополнительно находится применение технологии кроме мобильных телефонов?

Хотя тема этой публикации посвящена конкретно смартфонам и планшетам, стоит упомянуть о других сферах применения технологии:

• Контроль входа в рабочих помещениях и многоквартирных зданиях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Электронные паспорта нового образца;
• Комплексы видеонаблюдения городских сервисов;
• Автоматизирование учёта явки школ/университетов;
• Вход пользователей компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без пластика или мобильника! Похожие программы развиваются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом меняется технология сегодня?

Любой годочек появляются новые идеи для усовершенствования стандарта работы систем распознавания лиц:

1. Увеличивается детализация сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше риск неточности;
2. Совершенствуются нейронные сети — новейшие архитектуры вида MobileNetV3 дают возможность скоростно обучаться свежим характеристикам внешности владельца непосредственно на девайсе без отправки данных в облако.
3. Развиваются технологии антиспуфинга — теперь смартфоны умеют распознавать подлинные живые лица от фиксированных фотографий/масок по незаметным движениям кожи.
4. Взаимодействие со умными устройствами — интеллектуальные часы могут автоматически заблокировать смартфон, если обладатель отошёл далеко.
5. Возникают смешанные механизмы — к примеру объединяющие голосовую идентификацию + облик + отпечаток пальца.

Вот, какие направления в особенности популярны в данный момент:

1) Уменьшение деталей

Компании стараются минимизировать габариты отверстия (“чёлки”) для датчики на экране за счёт встраивания компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для повышения конфиденциальности всё больше вычислений происходит внутри устройства без пересылки данных во внешний облачный сервис.

3) Упорядочивание норм

Google интенсивно продвигает стандарт BiometricPrompt API, с целью чтобы подобные платформы, например как admiral x, и каждые Android-программы были совместимы с всеми формами биометрии стандартизированно.

Какое решить сегодня?

Когда тебе важна максимальная защита информации, подбирайте передовые аппараты с вмонтированным ИК-проектором или ToF-сенсором глубины.

• iPhone всех новейших поколений
• Huawei Mate/P линейки
• Mi Professional
• Vivo X модели
• Oppo Найти X линейки.

Если финансы невелик – лучше предпочесть классическим методам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в admiral x, применять только как опциональную опцию удобства.

Каким способом повысить практичность функционирования возможности?

Есть несколько лайфхаков для пользователей, кто уже использует разблокировку по лицу:

1. Периодически меняйте свою изображение-шаблон, если кардинально изменяется облик.
2. Не упускайте из виду чистить объектив фронтальной камеры – пятна могут уменьшить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует камеру как только вы поднимаете его.
4. Во время регистрационного процесса постарайтесь держать голову ровно перед видеоустройства не допуская резкого наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отворачиваетесь от экрана.

Перспективы развития технологии

В скоро наступающие периоды можно предполагать развития полностью дистанционных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: физиономия + звучание + манера ходьбы + движения рук!

Также предполагается развитие современных способов обеспечения конфиденциальности – к примеру, динамическое корректировка электронного шаблона после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее интересных инноваций нашего периода! Она обеспечивает интеракцию со телефоном удобнее чем когда-либо прежде, и такие программы, как admiral-x, могут значительно повысить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как функционирует эта технология внутри, – сумеете осознаннее выбирать свой будущий устройство!