Skip to content

Releases: dean9703111/data-deidentification

v1.3.0 — 國際格式偵測、不需還原的標記方式與介面精簡

Choose a tag to compare

@dean9703111 dean9703111 released this 16 Oct 06:06

v1.3.0 — 國際格式偵測、不需還原的標記方式與介面精簡

國際格式的個資偵測(英文文件)

  • 新增 6 類:國際電話、信用卡號、美國社會安全碼(SSN)、IBAN 國際銀行帳號、IPv4/IPv6 位址、出生日期
  • 以校驗避免誤判:電話以 libphonenumber-js 判斷號碼有效性、信用卡 Luhn+發卡機構前綴、IBAN mod-97+各國長度、SSN 排除無效號段;出生日期須有同一行的標籤(DOB、Date of Birth、出生日期),支援英文月份與民國年
  • 部分保留:國際電話留國碼(北美留區碼)、信用卡留末 4 碼、IBAN 留國別、IP 留前兩段、生日留年份
  • 英文範例實測 16 個值全部命中、零誤判;市話規則也支援 +886 市話

不需還原的標記方式

  • 「標記」可選 編碼(預設,可還原)/類別 [姓名]/空白佔位 ○○○(像公文遮蔽,分隔符號保留)
  • 不需還原時只下載去識別化文件、不產生編碼表,狀態列標示「無法還原」

介面精簡

  • 輸出設定改成「保留」「標記」兩列按鈕,旁邊即時顯示範例;提醒合併成一行;類別表收進「依類別調整」、編碼範圍收進「進階」,展開後的高度減少 64%(手機寬度減少 79%)
  • 工具列狀態只剩一行:保留・標記(可否還原)、格式限制、含部分保留
  • 偵測規則頁依「台灣格式/國際與通用格式/自訂規則」分組,可整組啟停;每條規則一行,比對規則、檢核方式與預設保留收在「查看規則」;新增表單由「+ 新增自訂規則」打開;不再需要左右捲動

掃描 PDF 辨識

  • 還原表格框線、儲存格底色、勾選框與文字顏色(以向量圖形重繪,不帶出原頁面影像)
  • 傾斜或放反(90°/180°)的頁面自動轉正後辨識
  • 漏字補辨識(例如條列編號、職稱)、名片等版面文字不重疊;範例字元準確度 99.1%

搜尋與 AI 引用

  • 頁面新增適用情境、與其他做法比較、去識別化/假名化/匿名化等常見問題,結構化資料(FAQ、HowTo)同步;建置時產生 llms-full.txt

測試:372 個自動化測試全數通過。

v1.2.0 — 掃描 PDF 文字辨識、部分保留輸出與流程簡化

Choose a tag to compare

@dean9703111 dean9703111 released this 16 Oct 01:46

v1.2.0 — 掃描 PDF 文字辨識、部分保留輸出與流程簡化

掃描(圖片型)PDF

  • 沒有文字層的 PDF 會在瀏覽器內以 OCR(繁體中文+英文)辨識後照常去識別化;辨識程式與模型由本站提供,不連 CDN,文件不上傳
  • 專屬辨識畫面:頁數、進度、目前頁縮圖,可隨時取消
  • 辨識率優化:移除表格框線、加深彩色字、補辨識漏掉的文字行、證號/電話字形校正(須通過檢核碼)、低信心字詞重讀;範例實測印刷值命中 95.8%、字元準確度約 99%
  • 照片、標誌等不含文字的圖片原樣保留在輸出中,預覽可逐張取消;還原只還原文字
  • 新增 5 頁掃描範例(中文信函、手寫表單、名冊表格、英文 Invoice、雙語名片),附對答案用的原稿與 npm run eval:ocr 評分

輸出方式

  • 部分保留(預設,只露出適合統計的字元)、全部隱藏、自訂逐類別設定;預覽就是下載後的樣子
  • 同一類別相同的值共用編碼;可整批共用編碼或匯入既有編碼表沿用
  • 一鍵下載文件+編碼表,輸出設定集中在單一面板

其他

  • 單檔上限提高為 100 MB,超過時以警告視窗擋下
  • 自訂規則提供「填入範例」與「複製 AI 提示詞」,並移除範例欄位
  • 姓名規則不再把「工程師」「簡訊」「向本」誤判為姓名
  • 讀檔過場動畫;切換分頁時關閉預覽彈窗;規則變更後自動重新偵測
  • SEO:靜態說明與常見問題、JSON-LD、llms.txt、Open Graph 分享圖

v1.1.0 — 範例體驗、MIT 授權與作者資訊

Choose a tag to compare

@dean9703111 dean9703111 released this 02 Sep 08:04

v1.1.0 — 範例體驗、MIT 授權與作者資訊

  • 網頁與 README 提供 Word/PDF/Excel/TXT/Markdown 範例檔下載,並可一鍵載入體驗(含還原範例對)
  • 採用 MIT License
  • 頁尾與 README 加入作者社群連結
  • 放寬整合測試 timeout,避免 CI 偶發逾時

v1.0.0 — 文件去識別化工具

Choose a tag to compare

@dean9703111 dean9703111 released this 02 Sep 07:41

v1.0.0 — 文件去識別化工具首次發布

純前端、資料不出電腦的文件去識別化工具。

亮點

  • 支援 PDF(文字層)、Word (.docx)、Excel (.xlsx)、TXT、Markdown 與貼上文字;一次最多 10 個檔案,可打包 ZIP 下載
  • 九種內建類別:姓名、身分證(檢核碼)、手機、市話、地址、Email、公司/組織、統一編號(檢核碼)、自訂識別碼(RegExp)
  • 格式感知預覽(Word 頁面/Excel 格線/PDF 逐頁座標)、遮罩顯示、tooltip、點擊確認取消、種類整批取消、圈選新增
  • 輸出保留原格式且零殘留:Word/Excel 改寫文字節點、Excel 清空未引用共用字串、PDF 依原座標重建並內嵌 TTF 稀疏子集
  • 每筆敏感資訊獨立隨機編碼,CSV 編碼表可完整還原(缺漏編碼警告)
  • 227 個自動化測試;真實案例範例(4 頁合約書/報價單、60 筆客戶資料);GitHub Pages 自動部署

以 spec-kit 規格驅動流程開發,規格與驗證紀錄見 specs/001-doc-deidentify/。