EpsonRTSP & EpsonLocal IN ONE: https://disk.yandex.ru/d/YU1g6ym3-quXkw
Without Camera Permission: https://disk.yandex.ru/d/mGtH3TAKT8dLNw
Use Mobile-Camera Plata https://disk.yandex.ru/d/hFPZSJLNgblMKA
Проект предполагает взаимодействие с аппаратурой Epson очками модели bt-035e. НО! Хочется отметить, что очки представляют из себя:
- каркас
- на линзы производится проекция экрана
- а на душке находится 5-ти мегапиксельная камера
Нет ничего сверхнеобычного и всё может быть заменено на другие аналоги по необходимости. В данном случае работа с очками была из-за доступности. Также параллельно создавалось приложение для телефона (работа с встроенной камерой) с тем же функционалом, что и для очков. Это облегчало тестирование и логирование.
Функционал:
- Нахождение элементов с использованием искусственного интеллекта.
- Подсказка при наведении центральной точки на элемент
- Сканирование QR-кодов и его аналогов.
- Высвечивание информации после сканирования QR-кода.
- Управление пролистыванием стриниц с помощью свайпа руки перед камерой.
Ссылка на демонстрацию работоспобности
Настройка: Official android object detection guide rewritten using kotlin, CameraX and with more readable code
Полный путь от обучения модели до внедрения ИИ в андроид приложение Статья на habr
Перед обучением прочитайте замечания по статье, чтобы легче было исправлять ошибки.
После этого можно приступить к разметке данных (это самый долгий и скучный этап):
python labelImg.py
Запуск этой строчки происходит с ошибкой, чтобы от нее избавиться, нужно заменить deprecated элементы на указанные.
После подготовик данных предлагают использовать подготовленную модель
Доступные модели для переобучения можно найти тут.
Сейчас мы выберем модель ssdlite_mobilenet_v2_coco, чтобы в дальнейшем запустить обученную модель на android устройстве.
Модель представленная там происходит, в будущем запуститься с ошибкой.
Используется эта модель
Изменяйте эту модель в дальнейшем.
Сейчас ссылка на файл в диске выглядит по другому
Как это в статье:
drive.google.com/open?id=[YOUR_FILE_ID_HERE]
Как это сейчас:
drive.google.com/file/d/[YOUR_FILE_ID_HERE]/view?usp=sharing
Когда ужу вы перейдете в colab, используйте этот код, а не представленный там. Дополнен нужными библиотеками.
Запускаем процесс обучение, где:
!python ./models/research/object_detection/legacy/train.py --logtostderr --train_dir=./training_demo/training --pipeline_config_path=./training_demo/training/ssdlite_mobilenet_v2_coco.config
Этот код запуститься с ошибкой и исправление ее вы найдете по ссылке
Также наблюдайте чтобы процесс обучения не остановился. Он может.