Как работает распознавание лиц в смартфонах

Для чего мы выбираем разлочивание по фейсу

В прошлые времена определение лиц превратилось в одной из самых популярных опций для разблокировки мобильных телефонов. Всего пару годков тому назад основная часть использующих довольствовались пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что превращает данную возможность настолько популярной? Прежде всего, это комфортно: не нужно удерживать в памяти замысловатые пароли или отыскивать правильный палец в темноте. Во-вторых, это быстро: современные программы распознают лицо практически за мгновение. В-третьем пункте, это чувство футуристичности — словно в кинолентах про адмирал x разведчиков.

Впрочем за этой видимой легкостью прячется полный вселенная сложных техник и инженерных решений. Позвольте нам разобраться, как конкретно действует фейсканирование в актуальных гаджетах, какие бывают способы, насколько они надёжны и что нас предстоит.

Сжатая хроника развития инноваций

Распознавание лиц как технология существует уже более пятидесяти годов. Начальные эксперименты автоматического исследования лица были сделаны еще в 1960-х годах в лабораториях США. Тогда компьютеры способны были лишь обозначать очертания головы и определять расстояния между зрачками и устами на ахроматических изображениях.

Первые бизнес установки возникли в 1990-х годах, но они были несовершенны: функционировали медленно и часто ошибались. Только с прогрессом синтетических сетей и таких систем, как адмирал х, сильных мобильных микросхем распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные решения.

Ключевые стадии работы устройства определения

Процесс идентификации лица можно условно поделить на несколько важных этапов:

1. Распознавание лиц — камера распознает присутствие гуманного образа в кадре.
2. Определение признаков — механизм анализирует черты облика: форму глаз, носа, губ, позицию надбровных дуг.
3. Построение модели — создаётся особенный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с образцом — сформированный образец сверяется с сохранённой при внесении биометрической данными владельца.
5. Принятие выбора — если соответствие достаточно высокое, смартфон разблокируется.

Каждый из данных шагов запрашивает особых процедур и усовершенствований для быстрой работы непосредственно на девайсе.

Железные элементы: что скрыто внутри них

Типичная селфи камера.

Наиболее простой способ распознавания физиономии использует лишь лицевую видеокамеру мобильного устройства. Такой способ осуществлён во различных доступных версиях Android-устройств.

Достоинства:

• Не нуждается в требует внешних сенсоров.
• Оперативно функционирует при достаточном освещённости.

Недостатки:

• Просто ввести в заблуждение снимком или видео.
• Неправильно функционирует при низком освещённости или непривычных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс является основой Face ID от Apple.

Как это действует:

• Точечный проекционный прибор показывает на лицо использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 пятен).
• Инфракрасная камера записывает деформацию данной решетки по поверхности лица.
• Создаётся 3D глубинная карта глубины, что почти что неосуществима для подделки обычной фотографией или маскировкой.

Преимущества

• Надёжная деятельность даже в полной неосвещённости.
• Сильная устойчивость к подделкам.
• Точность определения свыше 99%.

Добавочные датчики

В некоторых устройствах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют время движения света до объекта и обратно; Трехцветные-датчики глубины; специальные оптические лидары для создания более детализированной 3D-модели лица.

Эти разработки применяются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: синтетический разум в работе

Современные системы распознавания лиц неосуществимы при отсутствии эксплуатации ИИ и машинного обучения. Именно благодаря таким разработкам, как адмирал х, аппарат способно идентифицировать пользователя даже при трансформациях внешнего вида: новая укладка, борода, оптика или макияж не становятся помехой для открытия.

Распознавание лица

На начальном этапе программа необходимо мгновенно распознать лицо в пределах целого снимка с камеры. Для этого применяются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы находить лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии обнаруживать облик даже в случае частичном перекрытии (например, шалью или рукой).

Выделение основных моментов

После обнаружения лица механизм, такая как адмирал х, устанавливает расположение основных точек: кончики глаз, конец носа, края губ и так далее. Обычно задействуется от 68 до 128 основных маркеров на лицевой области.

Данное необходимо для выравнивания картинки: если пользователь держит смартфон под углом, или склонил головку, программа корректирует картинку до нормального состояния для последующего изучения.

Формирование биометрического шаблона

Далее нейросеть строит сжатое цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Данный шаблон крайне затруднительно имитировать: он не хранит непосредственно картинку юзера, а лишь особенные черты его внешности, что делает его оптимальным для таких площадок, как admiral-x.

Сравнение и вынесение выбора

В случае, когда юзер желает разлочить телефон взором, система воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный границу (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Приспособление к метаморфозам облика

Интересная особенность современных системы — возможность самостоятельного обучения. Если вы постоянно доступаете к смартфон с новой стрижкой или очками, система постепенно модернизирует эталонный модель вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрии данных.

Многие юзеры опасаются хранить свои биометрические идентификационные данные на смартфоне из-за вероятности потери данных или хакерской атаки. Иные компании, такие как admiral-x, предоставляют методы для увеличения защиты сведений клиентов.

• Локальное сохранение: Большинство аппаратов хранит биометрические образцы исключительно внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают гаджет и закрыты включая изготовителю.

• Шифрование: Все информация сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения третьих разработчиков не имеют непосредственного доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Стоит отметить значимую особенность: если кто-либо сможет получить доступ к вашему телефону физически (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании внедряют систему защиты от “слепого” разблокирования — например, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают типы распознавания лиц на изображениях?

В настоящее время можно определить определить три основных метода к выполнению этой функции:

Софтверное двухмерное идентификация

Используется только фронтальная видеокамера без дополнительных детекторов дистанции. Такой подход наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; минимальная цена; оперативная деятельность при качественном освещении.
Минусы: несложно ввести в заблуждение снимком; неустойчивая работа ночью; низкая охрана.

Аппаратное объёмное оцифровка

Использует инфракрасную видеокамеру + проектор точек + датчики глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: высокая надежность; не получится обмануть фото/видео; устойчивая деятельность при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с ИИ-дополнением

Применяют комбинацию программных методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как адмирал х и Google Pixel Face Unlock последних версий, комбинируют фронталку c инфракрасным датчиком движения Soli Radar для защиты от подделок руками/масками/видеоэкранами посторонних устройств.

Иллюстрации использования разнообразных техник

• iPhone серии X/11/12/13/14 применяют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 имеют как софтверное плоское распознавание по фото фронтальной камерой, так и датчик радужки глаза.
• Huawei Mate20 Pro задействует систему из ИК-подсветки + Dot Projector + ToF-сенсор

Проблемы охраны и неверные срабатывания

Несмотря на замечательный развитие техники за последние лет, безупречных систем пока не существует:

1. Шанс обмана: Доступные смартфоны легко “разблокируются” четкой снимком владельца или же видео с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные системы могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
3. Изменения внешности: Внезапное снижение веса/набор веса, хирургические вмешательства или повреждения иногда требуют перерегистрации биометрических данных.
4. Условия фотографирования: Интенсивная подсветка солнечным светом или же интенсивная затенение могут уменьшить точность определения признаков.

Здесь пара рекомендаций для безопасному эксплуатации:

• Для значимых операций всегда внедряйте дополнительную аутентификацию;
• Не активируйте функцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Регулярно обновляйте прошивку смартфона для обеспечения безопасности от актуальных атак;
• Включайте настройку “Требовать открытых глаз” в тех местах, где она доступна.

В каких местах дополнительно применяется технологии за исключением смартфонов?

Пускай основная мысль данной статьи посвящена конкретно портативным гаджетам, следует отметить прочих направлениях внедрения технологии:

• Контроль прохода в рабочих помещениях и резиденциях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Виртуальные паспорта нового образца;
• Системы видеомониторинга городских подразделений;
• Автоматизация регистрации посещаемости учебных заведений/вузов;
• Вход юзеров компьютеров/ноутбуков.

Например: В городском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без пластика или телефона! Аналогичные программы развиваются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как трансформируется технический процесс в нынешнее время?

Любой год проявляются новые идеи для улучшения качества функционирования систем идентификации лиц:

1. Увеличивается разрешение сенсоров — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс погрешности;
2. Развиваются нейросети — современные структуры вида MobileNetV3 обеспечивают возможность быстро обучаться новым особенностям внешности владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются способы антиспуфинга — теперь телефоны способны отличать настоящие движущиеся лица от неподвижных снимков/маскировок по микроскопическим микродвижениям.
4. Интеграция со смарт-гаджетами — интеллектуальные часы могут авто закрыть доступ к мобильный телефон, если пользователь ушёл далеко.
5. Проявляются смешанные устройства — в частности объединяющие речевую аутентификацию + физиономию + пальцевой отпечаток.

Вот, которые тенденции в особенности востребованы сейчас:

1) Уменьшение элементов

Производители стараются минимизировать габариты прорези (“чёлки”) под датчики на экране за счёт встраивания маленьких ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для повышения личной безопасности всё больше расчётов происходит локально без отправки информации во дополнительный облачный сервис.

3) Упорядочивание регламентов

Google активно продвигает норму BiometricPrompt API, чтобы подобные системы, например как admiral x, и каждые Android-приложения были совместимы с любыми видами биометрии унифицированно.

Какое подобрать на сегодня?

Если вам необходима максимальная сохранность данных, остановите выбор на передовые устройства с интегрированным ИК-излучателем либо ToF-датчиком глубины.

• iPhone каждого актуальных поколений
• Huawei Mate/P Series ряда
• Xiaomi Pro
• Vivo X серии
• Оппо Найти X линейки.

Если бюджет скромен – лучше выбирать традиционным средствам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как дополнительную возможность удобства.

Как улучшить комфорт работы опции?

Есть некоторые лайфхаков для людей, кто уже использует функцию распознавания лица:

1. Регулярно меняйте свою фото-шаблон, если значительно изменяется внешность.
2. Не пренебрегайте протирать объектив фронтальной камеры – разводы могут уменьшить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует фотоаппарат когда вы поднимаете его.
4. Во время регистрационного процесса постарайтесь удерживать лицевую часть прямо напротив видеоустройства исключая резкого наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отворачиваетесь от дисплея.

Будущее прогресса технологии

В скоро наступающие времена можно предвкушать развития полностью безконтактных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + речь + манера ходьбы + движения рук!

Также предполагается возникновение современных подходов защиты личной информации – например, изменяющееся модификация цифрового образца после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из самых увлекательных технологий нашего периода! Она делает общение со мобильным устройством комфортнее чем до этого, и такие программы, как admiral-x, могут существенно повысить ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как работает эта система внутри, – сумеете вдумчиво подбирать свой очередной устройство!