Repository navigation
v0.46.27
Parawan 0.46.27
SHA-256 Parawan.html: 2ce67831c98d5dac6d55cad55ca1b67ff9dc58d974f82725ed1f9685beb463b7
Jak sprawdzić plik
- PowerShell:
Get-FileHash .\Parawan.html -Algorithm SHA256 - Wiersz poleceń Windows:
certutil -hashfile Parawan.html SHA256 - Linux albo Git Bash, w katalogu z pobranymi plikami:
sha256sum -c SHA256SUMS.txt - Pochodzenie z GitHub Actions:
gh attestation verify Parawan.html --repo karolpolikarp/parawan - Budowa z kodu:
git clone -c core.autocrlf=false https://github.com/karolpolikarp/parawan,cd parawan,git checkout v0.46.27,npm ci,npm run build -w anonimizator-web; plikapps/web/dist/index.htmlma tę samą sumę.
Co się zmieniło
Silnik jest podzielony na moduły i działa szybciej, a Parawan.html zaznacza to samo co v0.46.26. Paczka npm poprawia własne maski i warstwę LLM.
Parawan.html daje te same znaczniki co v0.46.26, co do znaku: sprawdzone na korpusie benchmarku,
wszystkich tekstach z testów i kilku tysiącach losowo sklejonych pism. Poprawki niżej dotyczą
paczki anonimizator (rdzeń 0.29.14, także jako parawan).
Silnik:
- Własne maski działają jak domyślne. Przy
redactPII(text, { masks })część reguł szukała
w tekście domyślnych znaczników, np.[IMIĘ I NAZWISKO]czy[ADRES], więc nie widziała maski
podanej przez użytkownika. Imię nad nazwiskiem albo imiona rodziców zostawały wtedy jawne obok
maski, a miasto przed zamaskowaną ulicą nie było maskowane. Pola formularza („Imię i nazwisko:”,
„Ulica:”) wstawiały domyślną maskę zamiast własnej. Teraz własne maski są podstawiane dopiero po
wykryciu, więc wynik różni się od domyślnego tylko tekstem znaczników, a listafoundjest ta
sama. Dotyczy to też znaczników pustych, z samej interpunkcji i wspólnych dla kilku typów (np.
wszędzie[UKRYTE]). IBAN i numer konta mogą mieć różne znaczniki. - Poprawne dopełniacze trzech postaci historycznych. Lista znanych postaci, które w nazwach
wersalikami nie są stroną pisma (np. „LIST ADAMA MICKIEWICZA”), miała złe formy dla Orzeszkowej,
Jagiełły i Fredry („ORZESZKOWAA”, „JAGIEŁŁI”, „FREDRI”). Teraz są poprawne. Dziś te trzy nazwiska
nie są rozpoznawane jako osoby, więc wynik się nie zmienia; poprawka chroni je na przyszłość. - Warstwa LLM nie psuje nowszych znaczników. Biblioteczny klient lokalnego modelu
(anonimizator/llm) znał tylko część masek, więc kandydat „VIN” albo „TOKEN” zamieniał środek
[VIN]czy[TOKEN]na maskę osoby, a litery etykiety[OSOBA-AB]też były do wzięcia. Teraz
lista masek pochodzi wprost z rdzenia, fragmenty[OSOBA-…]są odrzucane, a zamiana pomija
wystąpienia, które zaczynają się albo kończą w środku znacznika. Kandydat obejmujący cały znacznik
(„Jan [IMIĘ I NAZWISKO]”) jest zamieniany w całości. Aplikacji Parawan.html to nie dotyczy. - Silnik podzielony na moduły, wynik bez zmian. Kod
redactPIIleżał w jednym pliku
o ponad 9 tys. linii. Teraz przebiegi, strażniki kontekstu i słowniki są w osobnych modułach,
a wzorce powstają raz przy ładowaniu paczki, nie przy każdym wywołaniu. Ten sam tekst dostaje te
same znaczniki, co sprawdza test zamrażający wynik na całym korpusie benchmarku. Krótkie teksty,
np. pojedyncze zdania i pola formularza, przechodzą mniej więcej dwa razy szybciej, a długie
pismo prawie w tym samym czasie. Publiczne API paczkianonimizatorsię nie zmienia.
Pilność aktualizacji: zwykła. Zaktualizuj plik, kiedy będzie wygodnie.
Pliki
Parawan.html: aplikacja w jednym pliku. Otwórz ją podwójnym kliknięciem, bez instalacji.JAK-UZYC.txt: krótka instrukcja dla pracownika, z uwagami przed publikacją w BIP.DLA-IOD-I-IT.txt: informacja dla inspektora ochrony danych i działu IT.SHA256SUMS.txt: sumy SHA-256 trzech plików wyżej.
Wykrywanie rzadkich nazwisk modelem językowym to osobny dodatek dla programistów: anonimizator-ai.