Описание проекта

Архитектурная диаграмма

Основные компоненты системы

Фронтенд

Ссылка - https://leaders2022-web.issart.com/

Язык: TypeScript

Используемые библиотеки:

• Пакетный менеджер Yarn
• ReactJS
• Фреймворк Refine
• Cornerstone3D
• HTTP клиент axios
• Работа с архивами zip.js

Реализовано 3 основных представления:

1. Users - управление пользователями
2. Researches - работа с исследованиями
3. Dicoms - загрузка и просмотр DICOM файлов.

Бекенд

Swagger UI - https://leaders2022-api.issart.com/api/v1/docs/

Язык: TypeScript

Используемые библиотеки:

• Пакетный менеджер Yarn
• NodeJS
• Фреймворк NestJS
• Фреймворк TypeORM
• nestjs-s3
• passport-local, passport-jwt

Бекенд приложение включает в себя модули:

• auth (авторизация/аутентификация)
• user (работа с пользователями)
• research (работа с исследованиями)
• dicom (работа с DICOM файлами)
• cloud (инструментарий для работы с облачным хранилищем)

Миграции БД:

• Создание по существующим моделям данных
• Применение и откат
• Поддержка работы с миграциями на разных окружениях

СУБД

СУБД PostgreSQL

Схема БД:

Объектное хранилище

S3-совместимое облачное хранилище Minio

ML

Язык: Python 3.8

Используемые библиотеки:

• pytorch
• scikit-image
• porespy
• OpenCV
• pydicom
• torchgan
• lungmask

Протестированные гипотезы:

Главной гипотезой реализации генерации является гипотеза наложение ковидных, раковых и метастатических заболеваний, как шум на части легких. Основанием для гипотезы является следующее замечание: ткани с заболеваниями выделяются в КТ представлении на фоне нормальных легочных тканей. Таким образом, необходимо наложить сгенерированное заболевание таким образом, чтобы болезнь выделялась на фоне легочной ткани. Основная проблемы гипотезы - как генерировать заболевания максимально правдоподобно и как накладывать сгенерированные заболевания на доли легких без явных (видимых) искажений оригинального КТ.

Используемые модели решения и причины такого выбора

В рамках решения поставленной задачи для генерации патологии применялись различные подходы в зависимости от используемого датасета и входных данных. Для сегментации легочных долей использовалась библиотека lungmask.

COVID-19: Нами было реализовано машинное обучение на модели нейронной сети DCGAN в реализации библиотеки torchgan. Она обеспечивает максимально быстрое достижение результата, что стало решающим при ограниченных сроках разработки.

Рак легкого и метастатические поражения: Для генерации раковых и метастатических поражений использовалась библиотека porespy, которая предоставляет необходимый функционал для генерации шумов, которые накладываются на доли КТ лёгких.

Методы обработки данных

Работа производится непосредственно с вокселями из структуры DICOM файла, конвертации файлов в другие форматы не производится. Дополнительные предобработки изображений не предусмотрены специально, чтобы не исказить данные в исходном файле. Автоматическая разметка

Нами был реализован функционал авторазметки сгенерированных исследований для облегчения создания синтетического датасета. Пользователь может скрыть авторазметку при необходимости.

Условия и ограничения внутри решения

Нами было заложено ограничение для системы - при генерации ковидного, ракового или метастатического поражения, оно не должно располагаться на нелегочной ткани.

Запуск и развертывание

Требования

• OS Linux
• docker (v20.15+)
• docker-compose (v2+)

Файлы конфигурации

• Бекенд
• ML

Включают в себя 2 преднастроенных окружения:

• local - для разработки
• test - текущее развернутое решение

Запуск проекта на окружении test

$ git clone https://github.com/sstopkin/leaders2022-hackathon.git
$ cd leaders2022-hackathon
$ docker-compose -f docker-compose-test.yml build
$ docker-compose -f docker-compose-test.yml up -d minio-migrations
$ docker-compose -f docker-compose-test.yml up -d

Подготовка и миграции БД

Инициализация схемы БД:

$ ENV=<envname> yarn migration:run

SQL скрипт для инициализации основных пользователей

SQL скрипт для инициализации 10 демо-пользователей

Настройка nginx в режиме reverse-proxy

Пример конфигурационного файла для настройки nginx. Необходимо настроить для 3 сущностей - фронтенд, бекенд и хранилище.

upstream backend {
  server 127.0.0.1:8080;
}

server {
  listen 80;
  server_name api.example.com;
  client_max_body_size 500M;

  location / {
    if ($request_method = 'OPTIONS') {
      add_header 'Access-Control-Allow-Origin' *;
      add_header 'Access-Control-Allow-Methods' 'GET, HEAD, PATCH, POST, PUT, DELETE, OPTIONS';
      add_header "Access-Control-Allow-Credentials" "true";
      #
      # Custom headers and headers various browsers *should* be OK with but aren't
      #
      add_header 'Access-Control-Allow-Headers' 'DNT,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range,Authorization';
      #
      # Tell client that this pre-flight info is valid for 20 days
      #
      add_header 'Access-Control-Max-Age' 1728000;
      add_header 'Content-Type' 'text/plain; charset=utf-8';
      add_header 'Content-Length' 0;
      return 204;
    }
    add_header 'Access-Control-Allow-Headers' 'DNT,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range,Authorization';
    add_header 'Access-Control-Allow-Methods' 'GET, HEAD, PATCH, POST, PUT, DELETE, OPTIONS';
    add_header 'Access-Control-Allow-Origin' *;
    add_header "Access-Control-Allow-Credentials" "true" always;
    add_header 'Access-Control-Expose-Headers' 'Content-Length,Content-Range';

    proxy_pass http://backend;
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection 'upgrade';
    proxy_set_header Host $host;
    proxy_cache_bypass $http_upgrade;
    proxy_set_header X-forward-for $proxy_add_x_forwarded_for;
    proxy_set_header X-real-ip $remote_addr;
  }
}