PDFファイルをgrep対象にする

[515hikaru]

closes #5

やったこと

• grep.sh の実装の関数化（やりすぎている節がある）
• PDF を grep の対象にする

残タスク

• PDF ファイルが rename される都合元のURLを保持できていない
  • pdftotext が foo.pdf を foo.txt にするため
  • とはいえクロールしたファイルに上書きをするのも怖いのでどうしたものか考え中
• テストの追加( sanitize_grep_result とか )

[515hikaru]

• 自分が試した範囲でも、なんかコンバート中にエラーメッセージが出るPDFがある
  • https://www.cao.go.jp/yosan/soshiki/r02/zei/zeisei_shiryor02.pdf

pdftotext ./www-data/www.cao.go.jp/yosan/soshiki/r02/zei/zeisei_shiryor02.pdf 
Syntax Error: Expected the optional content group list, but wasn't able to find it, or it isn't an Array

• でもメッセージは出てるのに変換はできている模様（よくわからん）
  • 終了コードも0

[515hikaru]

PDF ファイルが rename される都合元のURLを保持できていない
pdftotext が foo.pdf を foo.txt にするため
とはいえクロールしたファイルに上書きをするのも怖いのでどうしたものか考え中

一旦 pdf.txt みたいな拡張子にしてしまって、grep の結果に現れる .pdf.txt: を .pdf: に書き換えるという強引な技しか思いつかない。

[yuiseki]

テストも書かれているし、よさそうです！ありがとうございます

[tamakiii]

まだアプリケーションの仕様がよくわかってないですが、

• 処理対象のファイルを xargs で取って処理する形なら set +e set -e をしなくてもよくなるかも？
  • list-grep-target.sh | xargs grep.sh > ./tmp/grep_コロナ_$word.txt.tmp
  • イメージでしかないので変なこと言ってたら 🙏
• $INTERMEDIATE_FILE_PATH を各関数に引数で渡すといい感じになるかも？
  • 実装上問題はなさそう

[tamakiii]

こんな感じで grep の exit code 無視できるかも？

#!/usr/bin/env bash -eu

hello() {
  echo "hoge" | grep "oga" > /dev/stdout || true
}

world() {
  echo "world";
  # rm file_does_not_exists.txt
}

main() {
  hello
  world
}

if [[ "${BASH_SOURCE[0]}" == "${0}" ]]; then
	main $@
fi