Skip to content

imozuru 2.2.0

Latest

Choose a tag to compare

@MaryCache MaryCache released this 28 Oct 14:17

追加

  • Codex CLIでの入れ方と呼び方を、日本語・英語のREADMEに追加しました(#18)。
  • pdftotext が無い環境で、pdfminer.six が入っていれば、それでPDFの本文を取り出すようにしました(#15)。popplerを入れられない環境でも、文字の層があるPDFは読めます。pdftotext と同じく別の処理として時間の上限つきで動かします。pdfminer.six を読み込めないときは、PATHにある pdf2txt.py(pipxで入れた場合など。Windowsでは使いません)を使います。pdfminer.six は pdftotext より遅く、大きなPDFは時間の上限(300秒)で止まって FAIL になることがあります。文字の層が無いPDFのOCRには、これまでどおり pdftoppm と tesseract が要ります。

修正

  • AIエージェント向けのスキルなどを管理する APM(Agent Package Manager) で、不可視文字の検出によりインストールが止まる問題を直しました。原文のファイル名を検査する正規表現の双方向制御文字を Unicode エスケープで表記し、危険な名前を拒否する動作を変えずに、--force なしでインストールできるようにしました。
  • 原文の行頭の負号を落とした抜き書きが「照合 OK」になる問題を直しました(#19)。text/plain で取ってきた原文は .md で保存されるため、2.1.0では箇条書きの印と一緒に負号も消していました。数字の前の行頭の - は消さず、負号の直後から始まる抜き書きは通しません。1行目の負号を落とした抜き書きが通る問題は2.1.0より前からあり、これも直しました。負号として扱う字は -・−(U+2212)・-(全角)・–(en dash)です。英数字や % の直後のハイフン(COVID-19・18-65・50%-60%・2段組のPDFで行末で切った語)と、空白をはさむ en dash(2019 – 2020)は負号として扱わず、その後ろから写した抜き書きはこれまでどおり通ります。数で始まる箇条書きの項目は、- ごと写したときだけ照合が通ります。照合が通らないときは、負号ごと写すよう案内を出します。
    2.1.0で作った調査の抜き書きを照合し直すと、数で始まる箇条書きの項目を - なしで写したものはNGになります(手元の調査では2,053件中4件)。- ごと写し直してください。
  • ダッシュボードの一覧で、同じ日に始めた調査が新しい順に並ばない問題を直しました。日付が同じときは調査の名前の逆順で並んでいました。取得の記録(fetch-log.jsonl)に時刻を残すようにし、最初に取得した時刻で新しい調査を上に並べます。時刻の無い前の記録は、最初に保存した原文のファイルの時刻で補います。
  • 検索や取得の記録に、オブジェクトでない行が1行でもあると、ダッシュボードの一覧が開けなくなる問題を直しました。読めない行と同じく飛ばします。