Как действует определение лиц в мобильных устройствах

Зачем мы останавливаемся на разблокировку по лицевому распознаванию

В недавние годы идентификация лиц является одной из самых популярных опций для открытия мобильных телефонов. Лишь некоторые годков назад основная часть пользователей довольствовались PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект превращает эту функцию такой востребованной? Прежде всего, это удобно: не нужно удерживать в памяти сложные пароли или отыскивать верный палец в тьме. Кроме того, это быстро: современные системы идентифицируют лицо практически за мгновения ока. В-третьих, это чувство будущего — будто в фильмах про адмирал x разведчиков.

Впрочем за такой на первый взгляд легкостью таится целый универсум сложных техник и инженерных разработок. Позвольте нам разобраться, как именно работает фейсканирование в актуальных смартфонах, какие существуют способы, насколько они надёжны и что нас предстоит.

Короткая хроника прогресса инноваций

Идентификация лиц как методика присутствует уже более 50 лет. Первые попытки машинного исследования лица были сделаны еще в 1960-х годах в лабораториях США. Тогда компьютеры способны были лишь выделять контуры черепа и вычислять расстояния между зрачками и ртом на ахроматических фотографиях.

Начальные торговые системы возникли в 1990-х годах, но они были несовершенны: функционировали медленно и часто давали сбои. Только с эволюцией синтетических сетей и таких площадок, как адмирал х, мощных мобильных чипов идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные решения.

Главные шаги работы механизма распознавания

Процесс идентификации лица можно ориентировочно сегментировать на несколько ключевых этапов:

1. Распознавание лица — аппарат выявляет существование человеческого образа в кадре.
2. Определение характеристик — алгоритм исследует особенности физиономии: конфигурацию глаз, носа, уст, расположение бровей.
3. Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с эталоном — сформированный модель сверяется с зафиксированной при внесении биометрической сведениями владельца.
5. Принятие выбора — если соответствие достаточно существенное, смартфон разблокируется.

Любой из данных шагов нуждается в индивидуальных процедур и усовершенствований для оперативной работы прямо на устройстве.

Технические компоненты: что скрыто в их недрах

Типичная селфи камера.

Простейший простой способ распознавания физиономии применяет исключительно переднюю видеокамеру смартфона. Данный способ осуществлён во многих недорогих моделях Android-девайсов.

Положительные стороны:

• Не нуждается в потребляет дополнительные сенсоров.
• Оперативно действует при достаточном освещённости.

Недостатки:

• Несложно обмануть изображением или видео.
• Неправильно функционирует при плохом свете или нестандартных углах обзора.

ИК камера и пунктирный проектор

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология лежит в основе Face ID от Apple.

Каким способом это действует:

• Точечный проекционный прибор показывает на физиономию использующего невидимую структуру из тысяч инфракрасных меток (например, Face ID задействует около 30 000 точек).
• Инфракрасная устройство записывает деформацию этой сетки по поверхности физиономии.
• Формируется 3D карта глубинности, что почти что неподвластна для фальсификации стандартной фото или маской.

Выигрыши

• Надёжная работа даже в полной неосвещённости.
• Большая устойчивость к подделкам.
• Точность распознавания выше 99%.

Дополнительные сенсоры

В отдельных аппаратах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют период распространения луча до объекта и обратно; Трехцветные-датчики дальности; специальные лазерные дальномеры для создания более точной 3D-модели физиономии.

Эти разработки применяются наиболее часто во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный интеллект в действии

Современные устройства распознавания лиц невозможны при отсутствии использования ИИ и машинного обучения. Именно благодаря таким технологиям, как адмирал х, аппарат способно идентифицировать юзера даже при изменениях внешности: новая стрижка, борода, очки или косметика не становятся барьером для разблокировки.

Детектирование физиономии

При начальном стадии программа необходимо мгновенно обнаружить образ лица в пределах целого изображения камеры. Для данной цели применяются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: процесс MTCNN в состоянии обнаруживать физиономию даже в случае неполном перекрытии (например, шарфом или ладонью).

Определение важных точек

После распознавания лица механизм, такая как адмирал х, определяет местоположение основных точек: уголки глаз, кончик носа, контуры губ и так далее. Как правило задействуется от 68 до 128 главных меток на лицевой области.

Данное необходимо для стабилизации картинки: если юзер удерживает телефон под наклоном, или повернул голову, программа “выпрямляет” картинку до обычного угла для последующего изучения.

Создание биометрии шаблона

Далее нейросеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Такой формат весьма сложно сфальсифицировать: он не хранит непосредственно картинку юзера, а лишь уникальные черты его внешности, что делает его оптимальным для таких систем, как admiral-x.

Сравнительный анализ и осуществление выбора

В случае, когда юзер желает разблокировать мобильник взором, программа повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный границу (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Приспособление к изменениям внешности

Интересная особенность современных системы — возможность самостоятельного обучения. Если ты постоянно открываете телефон с обновленной стрижкой или оптикой, программа постепенно освежает основной шаблон вашего лица для повышения точности работы без ухудшения безопасности.

Безопасность биометрических информации.

Многие пользователи опасаются хранить свои биометрические данные на мобильном устройстве из-за вероятности утечки данных или взлома устройства. Определенные организации, такие как admiral-x, предоставляют методы для повышения сохранности данных юзеров.

• Локальное сбережение: Основная часть устройств сохраняет биометрические образцы только внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из аппарат и закрыты в том числе создателю.

• Шифрование: Все информация хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних девелоперов не имеют непосредственного возможности доступа к биометрическим; они могут лишь запрашивать факт подтверждения личности через системный API.

Необходимо упомянуть важную деталь: в случае, если кто-либо сможет получить физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании внедряют защиту от автоматического разблокирования — в частности, просят разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды определения лиц на изображениях?

Сегодня можно выделить 3 ключевых подхода к выполнению этой функции:

Программное двухмерное определение

Используется только фронтальная камера без дополнительных датчиков глубины. Такой метод наблюдается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота реализации; умеренная стоимость; быстрая работа при хорошем освещении.
Минусы: легко одурачить фотографией; ненадежная функционирование ночью; слабая охрана.

Оборудование для объёмное сканирование

Использует ИК видеокамеру + проектор точек + датчики глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: большая надёжность; не получится исказить фото/видео; стабильная деятельность при любом освещении.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с дополнением ИИ

Используют комбинацию программируемых методов + аппаратную обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock новейших поколений, объединяют фронталку c ИК сенсором движения Soli Radar для предотвращения от подделок руками/масками/видеоэкранами чужих устройств.

Примеры использования разных методов

• iPhone серии X/11/12/13/14 применяют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID среди Android.
• Samsung Galaxy S10 версия/S20 имеют как софтверное плоское определение по изображению селфи-камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и ошибочные сигналы

Несмотря на впечатляющий развитие техники за прошедшие годы, идеальных механизмов пока не существует:

1. Шанс мошенничества: Недорогие мобильники просто доступны качественной фотографией владельца или видео с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые совершенные механизмы могут ошибиться между однояйцевыми близнецами либо родичами с очень похожей внешностью.
3. Изменения внешности: Резкое похудение/набор веса, хирургические вмешательства либо травмы в некоторых случаях требуют обновления данных биометрических данных.
4. Условия записи: Сильная подсветка солнцем или глубокая темнота могут снизить верность идентификации признаков.

Вот некоторые рекомендаций по безопасному применению:

• Для критически важных операций всегда применяйте двухэтапную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Регулярно апгрейдите программное обеспечение смартфона для обеспечения безопасности от актуальных атак;
• Включайте настройку “Требовать раскрытых глаз” везде, где она имеется.

В каких местах также используется технология кроме смартфонов?

Несмотря на то, что основная мысль данной статьи посвящена конкретно мобильным устройствам, стоит упомянуть о прочих направлениях внедрения технологии:

• Управление прохода в деловых центрах и резиденциях;
• Платёжные терминалы банков (“Face Pay”);
• Виртуальные паспорта последнего образца;
• Комплексы видеонаблюдения муниципальных подразделений;
• Автоматизирование отслеживания явки школ/университетов;
• Вход пользователей ПК/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через барьер без карты или мобильника! Аналогичные проекты развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом меняется техпроцесс в нынешнее время?

Каждый годочек возникают свежие мысли для повышения уровня работы систем распознавания лиц:

1. Увеличивается чёткость сенсоров — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс неточности;
2. Совершенствуются искусственные интеллекты — новейшие конструкции типа MobileNetV3 позволяют быстро обучаться новым характеристикам внешности владельца непосредственно на девайсе без отправки данных в облако.
3. Совершенствуются способы антиспуфинга — теперь телефоны умеют распознавать реальные анимированные лица от статичных фото/масок по микроскопическим движениям кожи.
4. Взаимодействие со интеллектуальными приборами — смарт-часы могут авто блокировать мобильный телефон, если обладатель отошёл далеко.
5. Возникают гибридные системы — к примеру объединяющие речевую опознание + физиономию + отпечаток пальца.

Здесь, какие тенденции очень востребованы на сегодняшний день:

1) Уменьшение элементов

Компании пытаются уменьшить габариты отверстия (“чёлки”) для сенсоры на экране за счёт встраивания миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для повышения приватности всё более расчётов осуществляется локально без пересылки данных во сторонний облачный сервис.

3) Стандартизация регламентов

Google энергично пропагандирует норму BiometricPrompt API, с целью чтобы такие площадки, как admiral x, и все Android-аппы были совместимы с всеми формами биометрии единообразно.

Что выбрать на сегодня?

Когда вам необходима наивысшая защита данных, подбирайте флагманские модели с интегрированным ИК-проектором или же ToF-датчиком глубины.

• iPhone всех существующих последних поколений
• Huawei Mate/Series P ряда
• Mix Pro
• Vivo X модели
• Oppo Найти Х серий.

Если средства невелик – лучше отдавать предпочтение классическим способам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную опцию удобства.

Каким способом увеличить практичность работы функции?

Есть некоторые советов для пользователей, кто уже использует разблокировку по лицу:

1. Регулярно меняйте свою изображение-шаблон, если значительно трансформируется облик.
2. Не упускайте из виду очищать объектив передней камеры – пятна могут снизить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам включает фотоаппарат если вы поднимаете его.
4. В процессе регистрации пытайтесь держать голову ровно впереди объектива не допуская резкого наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвернулись от дисплея.

Возможности развития инноваций

В предстоящие периоды можно ожидать развития полностью дистанционных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + речь + походка + движения рук!

Также вероятно появление новых подходов охраны конфиденциальности – к примеру, динамическое модификация цифрового паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из самых увлекательных инноваций нашего эпохи! Она делает общение со мобильным устройством комфортнее чем до этого, и такие аппы, как admiral-x, могут существенно повысить ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как устроена эта система в деталях, – сумеете более осмысленно определять свой очередной гаджет!