Развёрнутый проект доступен по адресу http://89.223.68.134:8050
Идея: Сейчас большинство данных о пациентах в стоматологиях - неоцифрованны, что значительно усложняет последующее взаимодействие с этими данными, тем самым увеличивая продолжительность лечения. Платформа дает возможность автоматической разметки номеров зубов челюсти в соответствии с классификацией FDI, находить повреждения на зубах, предлагая при этом интерфейс для работы с данными.
- С высокой точностью размечать зубы по типу и номеру (IoU + average classif. metrics).
- С высокой точностью определять поражения кариесом на снимке, метрике IoU.
- создание минимального интерфейса, позволяющего обрабатывать снимки.
- Отоборажение статистики по модели.
Отправной точкой стал размеченный вручную сет из 200 снимков. Разметка проводилась в vast.ai, после чего файлы разметки парсились для работы в различных моделях. Затем был найден более обширный сет Tufts Dental Database. Для сегментации поражений зубов были привлечен небольшой набор данных из открытого репозитория Panoramic-Caries-Segmentation по статье Multi-level uncertainty aware learning for semi-supervised dental panoramic caries segmentation.
| Date | The First and Last Authors | Title | Code | Reference |
|---|---|---|---|---|
| 2019 | Hu Chen, Chin-Hui Lee | A deep learning approach to automatic teeth detection and numbering based on object detection in dental periapical films | None | Article |
| April 2022 | Karen Panetta, Rahul Rajendran | Tufts Dental Database: A Multimodal Panoramic X-Ray Dataset for Benchmarking Diagnostic Systems | Data | Article |
| April 2023 | Xianyun Wang, Fan Yang | Multi-level uncertainty aware learning for semi-supervised dental panoramic caries segmentation | Code | Article |
| April 2022 | Mrinal Kanti Dhar, Mou Deb | S-R2F2U-Net: A single-stage model for teeth segmentation | Code | Article |
На основе статьи "A deep learning approach to automatic teeth detection..." было обучено несколько моделей на архитектуре Faster RCNN и YOLO, с дальнейшей постобработкой. Постобработка включала удаление дублирующих боксов, правка ошибок классификации. Тем не менее, после обучения YOLOv8n на расширенном сете снимков удалось добиться достаточно высокой точности без привлечения сложных методов постобработки, предложенных в статье.
Модель Unet обученная на сете Panoramic Caries Segmentation. Были проведены эксперименты с разными конфигурациями, предполагалась работа как с вырезанными фрагментами снимков, так и полными.
Работа не предполагала создания полновесного сервиса, поэтому был написан MVP на Flask и Dash, позвоялющий принимать снимки и визуализировать результат их обработки.