Вопросы

[huppo]

Доброго дня!
Во-первых, огромное спасибо за столь прекрасную работу.
Во-вторых, уже почти год заглядываю сюда и у меня скопились вопросы, на которые у меня нет ответов. Если вы мне поможете с ответами, это было бы прекрасно!
Сначала о своей задаче: распознавание лиц на фотографиях, пришедших от терминала и определение, соответствует ли лицо аутентифицированному пользователю.
Вопросы:

1. Нахождение фото, обучение и facemark
   Вот мы выбрали 10 фотографий одного человека, на которых мы будем проводить обучение.
   Для моих фотографий наиболее подходит haarcascade_frontalface_default.xml, которая хорошо находит лица.
   Посмотрели да, все лица вырезаны как нужно, можно обучить.
   Но вот стоп, а давайте посмотрим, как на этих лицах будут видны точки с помощью модели lbfmodel.yaml.
   Мы видим, что на фотографии неправильно определен рот. Он находится на месте усов. Поменяем фотографию. Возьмем те, где facemark показывает все нормально.
   И вот мы запускаем LBPHFaceRecognizer->train
   А вот ему же в принципе все равно, с помощью какой модели мы находили лицо, с помощью какой модели точки на фото показывали.
   Как понять, что переданные фотографии в LBPHFaceRecognizer->train действительно хороши для обучения?
2. Обучение
   Мы получили точки с помощью facemark и они более-менее совпадают с лицом человека.
   Насколько я понимаю, в большинстве представленных на рынке решениях алгоритм, примерно следующий:

• Получить числовое описание лица (у нас с помощью facemark получается 68 точек, кто-то 128 точек, кто-то 256);
• Записать в базу числовое описание лица, присвоив ему метку;
• При распознавании, получить числовое описание лица и сделать поиск по базе, для того чтобы найти максимальное приближение.
  Почему мы используем LBPHFaceRecognizer, которые не понятно, найдет ли те же точки? Почему мы не возьмем результат facemark для дальнейшего обучения? А если возьмем, то как, можно ли это сделать с помощью OpenCV?

3. Владимир и Ангелина recognize_face_by_lbph.php
   В результате исполнения кода мы получаем, рамочки на лицах и угадывание кто есть, кто. Но самое главное, это Confidence – «уверенность». Она очень большая 113 и 88. Но, чем ближе «уверенность» к 0, тем лучше. Поэтому скорее это неуверенность. Просто повезло.
   В модель не заложено такое понятие как ‘unknown’. То есть если мы на фотографии разместим 3-е лицо, оно найдется и будет указано, что это либо Владимир, либо Ангелина с определенной степенью «уверенности». Для того, чтобы мы могли заложить понятие ‘unknown’, нам нужно понимать, а какая максимальная «уверенность» должна быть в модели. Как мы видим 113 и 88 это очень много. Я экспериментировал на разных количествах фото и лиц более 2000. Так вот нельзя подобрать какую-то «уверенность» для модели в целом. Нужно подбирать «уверенность» для конкретного искомого лица. Но и здесь не все хорошо.
   Упростим задачу. Сделаем систему «свой-чужой». Обучаем систему по 10 фотографиям одного человека по фамилии Пупкин. А потом начинаем детектировать. 200 фотографий Пупкина и 2000 фотографий других людей. Смотрим верность детектирования (рис.1).
   
   На рисунке 1 гистограммы. Горизонтальная ось- «уверенность». Вертикальная ось – количество фотографий, которые попали в «уверенность».
   Коричневый цвет – уверенность при распознавании фотографий Пупкина.
   Синий цвет – фотографии других лиц.
   Пересечение гистограмм означает, что где-то в районе «уверенности» 35 система начинает во всех подряд узнавать Пупкина по обученной модели.
   То есть моделью можно пользоваться для узнавания Пупкина до того, как «уверенность» будет больше 35.
   Но и это нам не даст много толку, потому что, если мы ограничимся «уверенностью» 35, то большой процент фотографий где на самом деле есть Пупкин мы отметем. (Коричневые столбики после «уверенности» 35).
   Либо я что-то делаю не так, либо получается какая-то бестолковая модель. А?
4. Еще про распознавание
   Если обучить модель по 10 фотографиям и отправить 1 из этих фотографий на распознавание, то система выдаст уверенность 0. Но! Если эту фотографию пересохранить в jpg. То уверенность увеличится до 10. Можно ли доверять такой системе?

Спасибо что прочитали. Выдохнул. Мне нужно было с кем-то поговорить. Я бы может и не написал, но вижу, что вы 9 дней назад обновили докер, значит вас эта тема очень захватывает.

[morozovsk]

Здравствуйте. Я сейчас немного не в контексте, более того я начал погружаться в другой контекст. По этому я не совсем помню как и что делал на php в рамках этого проекта, я думал полностью перейти на js в рамках компьютерного зрения, но там тоже проблем хватает, многое ещё сырое и т.д.

Собственно сходу могу ответить только на пару вопросов (после погружения в контекст отвечу на остальные):
4. я обратил внимание, что "0" показывает тогда, когда фотка суётся та же самая, т.е. совпадение 100%
5. сейчас вместо LBPH я бы попробовал использовать нейронку (что-то типа openface.nn4.small2.v1.t7), которая извлекает 128 характеристик из лица. в общем попытался бы перенести логику, которую я уже делал на js. На это я напишу пример на php чуть позже.

[huppo]

Меня во всей этой истории заботит, что изыскания OpenFace были 3-4 года назад, dlib - 5 лет назад, а дальше - тишина какая-то. То ли все себе модели по ним натренировали и успокоились, то ли я плохо ищу.

[morozovsk]

facenet (тоже старенький), sphereface, ArcFace

512 характеристик:
https://github.com/deepinsight/insightface

сравнение разных сеток для нахождения, выравнивания и распознавания:
https://melgor.github.io/blcv.github.io/static/2017/12/28/demystifying-face-recognition-iii-face-preprocessing/index.html

[morozovsk]

Здравствуйте.
Я написал ещё пару примеров:
face_to_vector_by_dnn_openface.php
recognize_face_by_dnn_openface.php

Они позволяют конвертировать лицо в вектор, а дальше уже можно найти самое похожее лицо. Всё это работает на openface модели и результаты должны быть лучше, чем у LBPH. Более того расход памяти на хранение 128 характеристик на одно лицо должен быть сильно меньше чем у LBPH.

Пока эти примеры работают только на php 8, потому что я вносил изменения в php-opencv только в ветку для php 8.
Я добавил метод $mat->data(), который сразу возвращает все значения, чтобы не приходилось вручную пробегать по матрице и доставать все значения.

Также я добавил поддержку readNetFromDarknet и readNetFromONNX, так что теперь можно будет попробовать использовать модель из insightface, предварительно сконвертировав её из mxnet в onnx формат.

[huppo]

Спасибо, очень интересно, обязательно вкурю и попробую.

Я пока копал в сторону dlib. Результаты на моей выборке в 5000 фото для 20 человек очень хорошие (тьфу-тьфу).
В феврале планирую дообучить на 300 человек.
Ну и встраивание в реальный проект уже покажет правильность выбранного пути.

Вектор из 128 характеристик отлично ложится для поиска в postgresql (по одной из статей на хабре с вашими комментариями). Таким образом наращивание базы становится практически линейным.
А вот в примере про opencv, $faceRecognizer->write делал монолитный файл. 300 человек по 10 фото - 6 гигабайт. Что в общем-то тяжело для обработки и дальнейшего наращивания.

Спасибо за ваши изыскания! Если бы не ваши статьи, я бы не начал.

[morozovsk]

Я написал ещё пару примеров для insightface:
face_to_vector_by_dnn_insightface.php
recognize_face_by_dnn_insightface.php

На паре протестированных фоток результат получше чем у openface, но конечно нужно более лучше протестировать, чем я и займусь в ближайшее время после того как придумаю как легко и просто выравнивать лица. Выравнивание должно сильно поднять уровень распознавания. Сейчас все используют для этого mtcnn, но там под капотом 3 модели и много кода-обвязки, так что пока ищу что-то соизмеримое по качеству, но проще в реализации.

Я сейчас немного погрузился назад в тему и теперь готов ответь на вопросы, на которые до этого не ответил :)

1. Как понять, что переданные фотографии в LBPHFaceRecognizer->train действительно хороши для обучения?
   лицо хорошо для обучения, если оно выровнено и максимально приближено к фронтальному.

2. Обучение
   у нас с помощью facemark получается 68 точек, кто-то 128 точек, кто-то 256;
   Почему мы используем LBPHFaceRecognizer, которые не понятно, найдет ли те же точки? Почему мы не возьмем результат facemark для дальнейшего обучения?

68 точек facemark полезны только для обнаружения границ лица. для распознавания они не подходят, потому что важные признаки для распознования находятся внутри области лица, а не на её границе.
128 точек - это не совсем точки, это - признаки, они могут объединять много точек и целые области. поэтому не обязательно 256 будет лучше.

3. В результате исполнения кода мы получаем, рамочки на лицах и угадывание кто есть, кто. Но самое главное, это Confidence – «уверенность». Она очень большая 113 и 88. Но, чем ближе «уверенность» к 0, тем лучше. Поэтому скорее это неуверенность. Просто повезло.
   Либо я что-то делаю не так, либо получается какая-то бестолковая модель. А?

Если бы не я делал эти примеры, то я бы даже заподозрил "подгонку под ответ" :)
Наверно мне стоит убрать этот пример или добавить какое-нибудь предупреждение, что я крайне не рекомендую использовать этот подход.

В модель не заложено такое понятие как ‘unknown’. То есть если мы на фотографии разместим 3-е лицо, оно найдется и будет указано, что это либо Владимир, либо Ангелина с определенной степенью «уверенности».

К сожалению такого нет ни в одной модели, которые я смотрел. всегда нужно подбирать пороговое значение и в большинстве случаев также эмпирическим путём. Но в openface и insightface разброс конечно поменьше.