Skip to content

v0.46.27

Choose a tag to compare

@github-actions github-actions released this 12 Nov 16:42
· 98 commits to main since this release

Parawan 0.46.27

SHA-256 Parawan.html: 2ce67831c98d5dac6d55cad55ca1b67ff9dc58d974f82725ed1f9685beb463b7

Jak sprawdzić plik

  • PowerShell: Get-FileHash .\Parawan.html -Algorithm SHA256
  • Wiersz poleceń Windows: certutil -hashfile Parawan.html SHA256
  • Linux albo Git Bash, w katalogu z pobranymi plikami: sha256sum -c SHA256SUMS.txt
  • Pochodzenie z GitHub Actions: gh attestation verify Parawan.html --repo karolpolikarp/parawan
  • Budowa z kodu: git clone -c core.autocrlf=false https://github.com/karolpolikarp/parawan, cd parawan, git checkout v0.46.27, npm ci, npm run build -w anonimizator-web; plik apps/web/dist/index.html ma tę samą sumę.

Co się zmieniło

Silnik jest podzielony na moduły i działa szybciej, a Parawan.html zaznacza to samo co v0.46.26. Paczka npm poprawia własne maski i warstwę LLM.

Parawan.html daje te same znaczniki co v0.46.26, co do znaku: sprawdzone na korpusie benchmarku,
wszystkich tekstach z testów i kilku tysiącach losowo sklejonych pism. Poprawki niżej dotyczą
paczki anonimizator (rdzeń 0.29.14, także jako parawan).

Silnik:

  • Własne maski działają jak domyślne. Przy redactPII(text, { masks }) część reguł szukała
    w tekście domyślnych znaczników, np. [IMIĘ I NAZWISKO] czy [ADRES], więc nie widziała maski
    podanej przez użytkownika. Imię nad nazwiskiem albo imiona rodziców zostawały wtedy jawne obok
    maski, a miasto przed zamaskowaną ulicą nie było maskowane. Pola formularza („Imię i nazwisko:”,
    „Ulica:”) wstawiały domyślną maskę zamiast własnej. Teraz własne maski są podstawiane dopiero po
    wykryciu, więc wynik różni się od domyślnego tylko tekstem znaczników, a lista found jest ta
    sama. Dotyczy to też znaczników pustych, z samej interpunkcji i wspólnych dla kilku typów (np.
    wszędzie [UKRYTE]). IBAN i numer konta mogą mieć różne znaczniki.
  • Poprawne dopełniacze trzech postaci historycznych. Lista znanych postaci, które w nazwach
    wersalikami nie są stroną pisma (np. „LIST ADAMA MICKIEWICZA”), miała złe formy dla Orzeszkowej,
    Jagiełły i Fredry („ORZESZKOWAA”, „JAGIEŁŁI”, „FREDRI”). Teraz są poprawne. Dziś te trzy nazwiska
    nie są rozpoznawane jako osoby, więc wynik się nie zmienia; poprawka chroni je na przyszłość.
  • Warstwa LLM nie psuje nowszych znaczników. Biblioteczny klient lokalnego modelu
    (anonimizator/llm) znał tylko część masek, więc kandydat „VIN” albo „TOKEN” zamieniał środek
    [VIN] czy [TOKEN] na maskę osoby, a litery etykiety [OSOBA-AB] też były do wzięcia. Teraz
    lista masek pochodzi wprost z rdzenia, fragmenty [OSOBA-…] są odrzucane, a zamiana pomija
    wystąpienia, które zaczynają się albo kończą w środku znacznika. Kandydat obejmujący cały znacznik
    („Jan [IMIĘ I NAZWISKO]”) jest zamieniany w całości. Aplikacji Parawan.html to nie dotyczy.
  • Silnik podzielony na moduły, wynik bez zmian. Kod redactPII leżał w jednym pliku
    o ponad 9 tys. linii. Teraz przebiegi, strażniki kontekstu i słowniki są w osobnych modułach,
    a wzorce powstają raz przy ładowaniu paczki, nie przy każdym wywołaniu. Ten sam tekst dostaje te
    same znaczniki, co sprawdza test zamrażający wynik na całym korpusie benchmarku. Krótkie teksty,
    np. pojedyncze zdania i pola formularza, przechodzą mniej więcej dwa razy szybciej, a długie
    pismo prawie w tym samym czasie. Publiczne API paczki anonimizator się nie zmienia.

Pilność aktualizacji: zwykła. Zaktualizuj plik, kiedy będzie wygodnie.

Pliki

  • Parawan.html: aplikacja w jednym pliku. Otwórz ją podwójnym kliknięciem, bez instalacji.
  • JAK-UZYC.txt: krótka instrukcja dla pracownika, z uwagami przed publikacją w BIP.
  • DLA-IOD-I-IT.txt: informacja dla inspektora ochrony danych i działu IT.
  • SHA256SUMS.txt: sumy SHA-256 trzech plików wyżej.

Wykrywanie rzadkich nazwisk modelem językowym to osobny dodatek dla programistów: anonimizator-ai.