Niewidka 0.2.1

Wydanie z poprawkami ukrywania danych. Zalecamy aktualizację. [English below]

Ukrywanie danych

• Numer konta z literówką w długości (cyfra albo grupa za mało, cyfra za dużo) jest ukrywany w całości. Wcześniej program ukrywał tylko 16 cyfr ze środka, a „PL61” i końcówka zostawały widoczne.
• Numer konta z błędną cyfrą kontrolną nie jest już oznaczany jako numer karty.
• Numery rejestracyjne pojazdów po „nr rej.”, numery VIN i numery polis po „polisa … nr” są ukrywane.
• Telefon w nawiasie, np. „(500 333 444)”, jest ukrywany.
• Adres z odmienionym słowem („przy ulicy”, „na osiedlu”, „alei”, „placu”), adres bez „ul.” z numerem mieszkania i adres w dwóch liniach nagłówka pisma są ukrywane w całości.
• Ten sam numer zapisany na dwa sposoby dostaje jeden znacznik.

Osoby

• Odmiany jednej osoby („Kowalski”, „Kowalskiego”) dostają jeden numer, także gdy w tekście jest samo nazwisko.
• Zdrobnienie („Kasia”, „Bartek”) i samo imię dostają numer jedynej osoby o tym imieniu.
• Nazwiska dwuczłonowe są odmieniane członami.
• Patroni („Szpital im. Mikołaja Kopernika”, „ul. Józefa Piłsudskiego 12”) nie są ukrywani jako osoby.
• Stanowisko nie jest doklejane do osoby, a samo „Pan” czy „Pani” nie jest osobą i nie blokuje eksportu.
• Dwie kolumny podpisów to dwie osoby.

Wyniki testu

Na 30 realistycznych pismach z fikcyjnymi danymi wersja 0.2.1 ukryła na poziomie 2 99,1% danych osobowych (443 z 447). Szczegóły: docs/WYNIKI-TESTOW.md.

Instalacja

Rozpakuj ZIP i uruchom Niewidka.exe albo użyj instalatora. Pakiety modeli są te same co w 0.2.0; przy pierwszym uruchomieniu program zaproponuje ich pobranie.

---

English

A release with data-hiding fixes. Updating is recommended.

Hiding data

• A bank account number with a length typo (a digit or a group too few, a digit too many) is hidden in full. Before, only 16 digits from the middle were hidden and "PL61" and the tail stayed visible.
• An account number with a wrong check digit is no longer labelled as a payment card.
• Vehicle registration plates after "nr rej.", VIN numbers and insurance policy numbers after "polisa … nr" are hidden.
• A phone number in parentheses, e.g. "(500 333 444)", is hidden.
• An address with an inflected street word, an address without "ul." with a flat number and an address split over two lines of a letter header are hidden in full.
• The same number written in two ways gets one tag.

People

• Inflected forms of one person get one number, also when only the surname appears.
• A diminutive ("Kasia", "Bartek") and a first name alone get the number of the only person with that name.
• Double-barrelled surnames are inflected part by part.
• Patrons ("Szpital im. Mikołaja Kopernika", "ul. Józefa Piłsudskiego 12") are not hidden as people.
• A job title is not attached to a person, and a lone "Pan" or "Pani" is not a person and does not block the export.
• Two columns of signatures are two people.

Test results

On 30 realistic Polish documents with fictitious data, version 0.2.1 hid 99.1% of personal data at level 2 (443 of 447). Details: docs/WYNIKI-TESTOW.en.md.

Installation

Unzip and run Niewidka.exe, or use the installer. The model packages are the same as in 0.2.0; on first start the program offers to download them.

Niewidka 0.2.0

Wydanie z poprawkami po przeglądzie kodu. Zalecamy aktualizację: kilka poprawek dotyczy danych, które zostawały w tekście. [English below]

Ukrywanie danych

• Długi wklejony tekst i plik TXT są sprawdzane w całości. Wcześniej model widział tylko początek tekstu, więc nazwiska dalej niż około 2000 znaków zostawały widoczne. Długi tekst trwa teraz dłużej: około 25 sekund na 100 kB na poziomie Szybko i około 50 sekund na wyższych poziomach.
• Numer konta w zapisie krajowym, na przykład 61 1090 1014 0000 0712 1981 2874, jest ukrywany także bez liter PL, bez odstępów i w zapisie „PL 61 …”.
• Numery paszportów są ukrywane.
• Pliki DOCX: tekst w polach tekstowych jest ukrywany. Wcześniej taki plik dublował tekst albo kończył się błędem. Program usuwa też zmienne dokumentu i przypisy końcowe, przyjmuje śledzone zmiany, a pola (na przykład korespondencji seryjnej) zamienia na zwykły tekst. Symbole pól wyboru i podziały strony zostają na miejscu.
• Pliki TXT zapisane w Windows-1250, ISO 8859-2, UTF-16 albo UTF-32 są czytane poprawnie. Plik, którego nie da się odczytać, dostaje jasny komunikat.

Przywracanie danych

• Gdy odpowiedź czatu nie zaczyna się od linii „ZANONIMIZOWANY…”, program nie wybiera mapy sam. Zaznacza zadanie, które najlepiej pasuje, i prosi o sprawdzenie. Wcześniej mógł wstawić dane z innego dokumentu.
• Dokument poprawiany w podglądzie jest na liście zadań raz. „Usuń” usuwa wszystkie jego wersje.
• Wersja w przeglądarce: pobrany plik mapy (.nwidka) działa także po ponownym uruchomieniu programu.
• „Kopiuj tekst” po przywróceniu z pliku nie kopiuje już tekstu z poprzedniego przywrócenia.
• Ekran przywracania nie rozjeżdża się w wąskim oknie.

Poprawki w podglądzie

• Numer z błędną sumą kontrolną, na przykład kwotę „PLN 500000”, możesz odkryć przyciskiem „To nie dane”. Numeru z poprawną sumą kontrolną nadal nie odkryjesz.

Dla administratorów

• Gdy plik klucza wskazany w NIEWIDKA_KLUCZ_PLIK nie istnieje, program zgłasza błąd. Wcześniej po cichu brał klucz z Menedżera poświadczeń.
• Zapytanie, któremu minął czas w kolejce, nie wykonuje się już później. Komunikat o przekroczeniu limitu czasu mówi, co zrobić.
• R95 przeliczone na obecnym korpusie (233 próbki): dla osób 0,0452 na każdym poziomie.

Do pobrania

• Niewidka-0.2.0-windows-x64.zip: wersja okienkowa dla Windows 10 i 11. Rozpakuj i uruchom Niewidka.exe.
• Niewidka-0.2.0-setup.exe: ta sama wersja jako instalator.
• Pakiety modeli podstawowy-* i rozszerzony-*: bez zmian względem 0.1.0. Zainstalowanych nie trzeba pobierać ponownie. Na komputerach bez internetu IT kładzie pliki w folderze i instaluje je przyciskiem „Zainstaluj z folderu” w Ustawieniach.
• SHA256SUMS.txt: sumy kontrolne wszystkich plików.

Licencje

Kod programu: MIT. Licencja MIT nie obejmuje modeli.

• Pakiet podstawowy: bardsai/eu-pii-anonimization-multilang, Apache 2.0 (podstawowy-LICENSE.txt).
• Pakiet rozszerzony (opcjonalny): LiquidAI/LFM2.5-Encoder-350M-PII-Detector, LFM Open License v1.0 (rozszerzony-LICENSE.txt). Użycie komercyjne przez podmiot z przychodem od 10 mln USD rocznie nie jest objęte licencją.
• Zmiany w modelach (eksport do ONNX, kwantyzacja 4-bitowa) opisuje NOTICE.txt.

Niewidka nie wykrywa wszystkich danych osobowych w każdym tekście. Przed przekazaniem dokumentu dalej sprawdź wynik.

---

Fixes after a code review. Updating is recommended: several fixes concern personal data that stayed visible.

• Hiding: long pasted texts and TXT files are now checked in full (the model used to see only the first 512 tokens); domestic account numbers without "PL" and passport numbers are hidden; DOCX text boxes are hidden, document variables and endnotes are removed, fields become plain text, tracked changes are accepted; TXT files in Windows-1250, ISO 8859-2, UTF-16 or UTF-32 are read correctly. Long texts take longer (about 25 s per 100 kB at the Fast level, about 50 s at higher levels).
• Restoring: without the "ZANONIMIZOWANY…" line the program no longer picks a map by itself; it suggests the best-matching job and asks you to check it. A corrected document is listed once. In the browser version a downloaded .nwidka map works after a restart.
• A number with a wrong checksum (for example the amount "PLN 500000") can be unhidden with "To nie dane"; a number with a valid checksum still cannot.
• Admins: a missing key file set in NIEWIDKA_KLUCZ_PLIK is an error instead of a silent fallback to the Windows Credential Manager. R95 recalculated on the current corpus (233 samples).
• Downloads: Windows build (Niewidka-0.2.0-windows-x64.zip or the Niewidka-0.2.0-setup.exe installer). The model packages are unchanged from 0.1.0. Program code is MIT; the models are not covered by MIT: basic package Apache 2.0, extended package LFM Open License v1.0 (commercial use by entities with 10M USD+ annual revenue is not licensed). Model changes (ONNX export, 4-bit quantization) are described in NOTICE.txt.

Niewidka 0.1.0

Pierwsze publiczne wydanie Niewidki. [English below]

Do pobrania

• Niewidka-0.1.0-windows-x64.zip: wersja okienkowa dla Windows 10 i 11. Rozpakuj i uruchom Niewidka.exe.
• Niewidka-0.1.0-setup.exe: ta sama wersja jako instalator.
• Pakiety modeli: program pobiera je sam po kliknięciu „Pobierz podstawowy (zalecane)”. Na komputerach bez internetu IT kładzie pliki podstawowy-* i rozszerzony-* w folderze i instaluje je przyciskiem „Zainstaluj z folderu” w Ustawieniach.
• SHA256SUMS.txt: sumy kontrolne wszystkich plików.

Licencje

Kod programu: MIT. Licencja MIT nie obejmuje modeli.

• Pakiet podstawowy: bardsai/eu-pii-anonimization-multilang, Apache 2.0 (podstawowy-LICENSE.txt).
• Pakiet rozszerzony (opcjonalny): LiquidAI/LFM2.5-Encoder-350M-PII-Detector, LFM Open License v1.0 (rozszerzony-LICENSE.txt). Użycie komercyjne przez podmiot z przychodem od 10 mln USD rocznie nie jest objęte licencją.
• Zmiany w modelach (eksport do ONNX, kwantyzacja 4-bitowa) opisuje NOTICE.txt.

Niewidka nie wykrywa wszystkich danych osobowych w każdym tekście. Przed przekazaniem dokumentu dalej sprawdź wynik.

---

First public release. Windows desktop build (Niewidka-0.1.0-windows-x64.zip or the Niewidka-0.1.0-setup.exe installer) and model packages that the program downloads on first run. Program code is MIT; the models are not covered by MIT: basic package Apache 2.0, extended package LFM Open License v1.0 (commercial use by entities with 10M USD+ annual revenue is not licensed). Model changes (ONNX export, 4-bit quantization) are described in NOTICE.txt.