udd

ICU Tokenizer installation

• sudo docker exec -it ddmdemo-elasticsearch /bin/bash
• elasticsearch-plugin install analysis-icu
• restart elasticsearch

Пројекат: Систем за обраду и претрагу извештаја о безбедносним инцидентима

Захтеви пројекта

1. Парсирање докумената

• Сваки документ чува се у MinIO као PDF и парсира за следеће податке:
  • Име и презиме запосленог као члана incident response тима
  • Назив безбедносне организације или државног органа
  • Назив погођене организације
  • Озбиљност инцидента (ниска, средња, висока, критична)
  • Адреса погођене организације
• Приликом индексирања, документ се прво парсира на серверу. Кориснику се приказује форма са следећим пољима и вредностима које је парсер препознао.
  • Корисник може изменити било које поље.
  • Након потврде, документ се индексира.
  • Ако корисник одустане, процес се прекида и документ се не индексира.

---

2. Страница за претрагу

• Функционалности претраге:
  • Претрага извештаја о безбедносним инцидентима:
    • Према имену и презимену члана инцидентног тима
    • Према озбиљности инцидента
  • Претрага по називу организација (безбедносна и погођена)
  • Approximate KNN претрага извештаја о безбедносним инцидентима на основу уноса слободног текста
  • Претрага садржаја безбедносних извештаја (full-text претрага у PDF-у)
  • Комбинована boolean semi-structured претрага са подршком за AND, OR, NOT операторе.
    • Операције се могу ланцати неограничено.
    • Редослед извршавања истоветан као у C-like програмским језицима
  • Подршка за PhraseQuery у свим пољима semi-structured претраге
  • Предпроцесирање упита коришћењем SerbianAnalyzer за лингвистичку нормализацију:
    • Креирати конфигурацију од 0.
    • Минимум укључити ICU токенизатор, српски stemmer и уклонити српске стоп речи
  • Приказ резултата:
    • Динамички приказ сажетка са истакнутим кључним појмовима

---

3. Напредна претрага и визуелизације

3.1 Геолокациона претрага инцидената

• Претрага на основу:
  • Локације организације (име града или адреса).
  • Радијус круга унутар задатог опсега

3.2 Визуелизације у Kibana-и

• Предуслов:
  • Интеграција и конфигурација ELK stack-а.
  • Логови апликације треба да се:
    1. Уписују у датотеку у произвољном формату.
    2. Logstash их парсира и филтрира помоћу GROK филтера.
    3. Уписују у Elasticsearch.
• Визуелизације:
  • Град са највише пријављених безбедносних инцидената
  • Запослени са највећим бројем обрађених инцидената
  • Организација са највећим бројем пријављених инцидената

---

4. Механизам за аутентификацију и ауторизацију

• Додати основну аутентификацију путем форме за пријаву
  • Неулогован корисник има приступ само страници за пријаву.
  • Улогован корисник има приступ свим страницама.