Repository navigation
Releases: dean9703111/data-deidentification
Releases · dean9703111/data-deidentification
Release list
v1.3.0 — 國際格式偵測、不需還原的標記方式與介面精簡
v1.3.0 — 國際格式偵測、不需還原的標記方式與介面精簡
國際格式的個資偵測(英文文件)
- 新增 6 類:國際電話、信用卡號、美國社會安全碼(SSN)、IBAN 國際銀行帳號、IPv4/IPv6 位址、出生日期
- 以校驗避免誤判:電話以 libphonenumber-js 判斷號碼有效性、信用卡 Luhn+發卡機構前綴、IBAN mod-97+各國長度、SSN 排除無效號段;出生日期須有同一行的標籤(DOB、Date of Birth、出生日期),支援英文月份與民國年
- 部分保留:國際電話留國碼(北美留區碼)、信用卡留末 4 碼、IBAN 留國別、IP 留前兩段、生日留年份
- 英文範例實測 16 個值全部命中、零誤判;市話規則也支援 +886 市話
不需還原的標記方式
- 「標記」可選 編碼(預設,可還原)/類別
[姓名]/空白佔位○○○(像公文遮蔽,分隔符號保留) - 不需還原時只下載去識別化文件、不產生編碼表,狀態列標示「無法還原」
介面精簡
- 輸出設定改成「保留」「標記」兩列按鈕,旁邊即時顯示範例;提醒合併成一行;類別表收進「依類別調整」、編碼範圍收進「進階」,展開後的高度減少 64%(手機寬度減少 79%)
- 工具列狀態只剩一行:保留・標記(可否還原)、格式限制、含部分保留
- 偵測規則頁依「台灣格式/國際與通用格式/自訂規則」分組,可整組啟停;每條規則一行,比對規則、檢核方式與預設保留收在「查看規則」;新增表單由「+ 新增自訂規則」打開;不再需要左右捲動
掃描 PDF 辨識
- 還原表格框線、儲存格底色、勾選框與文字顏色(以向量圖形重繪,不帶出原頁面影像)
- 傾斜或放反(90°/180°)的頁面自動轉正後辨識
- 漏字補辨識(例如條列編號、職稱)、名片等版面文字不重疊;範例字元準確度 99.1%
搜尋與 AI 引用
- 頁面新增適用情境、與其他做法比較、去識別化/假名化/匿名化等常見問題,結構化資料(FAQ、HowTo)同步;建置時產生 llms-full.txt
測試:372 個自動化測試全數通過。
v1.2.0 — 掃描 PDF 文字辨識、部分保留輸出與流程簡化
v1.2.0 — 掃描 PDF 文字辨識、部分保留輸出與流程簡化
掃描(圖片型)PDF
- 沒有文字層的 PDF 會在瀏覽器內以 OCR(繁體中文+英文)辨識後照常去識別化;辨識程式與模型由本站提供,不連 CDN,文件不上傳
- 專屬辨識畫面:頁數、進度、目前頁縮圖,可隨時取消
- 辨識率優化:移除表格框線、加深彩色字、補辨識漏掉的文字行、證號/電話字形校正(須通過檢核碼)、低信心字詞重讀;範例實測印刷值命中 95.8%、字元準確度約 99%
- 照片、標誌等不含文字的圖片原樣保留在輸出中,預覽可逐張取消;還原只還原文字
- 新增 5 頁掃描範例(中文信函、手寫表單、名冊表格、英文 Invoice、雙語名片),附對答案用的原稿與
npm run eval:ocr評分
輸出方式
- 部分保留(預設,只露出適合統計的字元)、全部隱藏、自訂逐類別設定;預覽就是下載後的樣子
- 同一類別相同的值共用編碼;可整批共用編碼或匯入既有編碼表沿用
- 一鍵下載文件+編碼表,輸出設定集中在單一面板
其他
- 單檔上限提高為 100 MB,超過時以警告視窗擋下
- 自訂規則提供「填入範例」與「複製 AI 提示詞」,並移除範例欄位
- 姓名規則不再把「工程師」「簡訊」「向本」誤判為姓名
- 讀檔過場動畫;切換分頁時關閉預覽彈窗;規則變更後自動重新偵測
- SEO:靜態說明與常見問題、JSON-LD、llms.txt、Open Graph 分享圖
v1.1.0 — 範例體驗、MIT 授權與作者資訊
v1.1.0 — 範例體驗、MIT 授權與作者資訊
- 網頁與 README 提供 Word/PDF/Excel/TXT/Markdown 範例檔下載,並可一鍵載入體驗(含還原範例對)
- 採用 MIT License
- 頁尾與 README 加入作者社群連結
- 放寬整合測試 timeout,避免 CI 偶發逾時
v1.0.0 — 文件去識別化工具
v1.0.0 — 文件去識別化工具首次發布
純前端、資料不出電腦的文件去識別化工具。
亮點
- 支援 PDF(文字層)、Word (.docx)、Excel (.xlsx)、TXT、Markdown 與貼上文字;一次最多 10 個檔案,可打包 ZIP 下載
- 九種內建類別:姓名、身分證(檢核碼)、手機、市話、地址、Email、公司/組織、統一編號(檢核碼)、自訂識別碼(RegExp)
- 格式感知預覽(Word 頁面/Excel 格線/PDF 逐頁座標)、遮罩顯示、tooltip、點擊確認取消、種類整批取消、圈選新增
- 輸出保留原格式且零殘留:Word/Excel 改寫文字節點、Excel 清空未引用共用字串、PDF 依原座標重建並內嵌 TTF 稀疏子集
- 每筆敏感資訊獨立隨機編碼,CSV 編碼表可完整還原(缺漏編碼警告)
- 227 個自動化測試;真實案例範例(4 頁合約書/報價單、60 筆客戶資料);GitHub Pages 自動部署
以 spec-kit 規格驅動流程開發,規格與驗證紀錄見 specs/001-doc-deidentify/。