外部リンクチェックを安定させる

[faithandbrave]

#755

CI失敗ごとのIssueで小さな議論・相談をしていましたが、安定するまで対策を考えるのはこちらに集約しようかと思います。
安定するまで、CI失敗のIssueは、発生したらこちらにリンクを貼ったら閉じる運用にしたいです。

[faithandbrave]

ほかに考えられる対策としては、以下かなと思います。

1. URLを重複のないリストにして、チェック件数を減らす
2. HTTPクライアントをブラウザに偽装する
3. チェックが通ったことのあるURLリストをもっておいて、一定期間はチェック対象外にするか、一定期間は警告にするか

　1. はかんたんではありますが、一時しのぎな感じはします。
　2. bot対策をとっているWebサイトで頻度高いアクセスが弾かれるときに使われる方式ですが、やらずに済むならその方がいい気がしてます。
　3. は仕組み作りが必要なのでちょっと大変。

[faithandbrave]

重複のないリストにするのは、実行時間を短くする効果もあるので、ひとまずやってみようかと思います。

[faithandbrave]

ブラウザ偽装の方法。
https://stackoverflow.com/questions/27652543/how-to-use-python-requests-to-fake-a-browser-visit

fake-useragentライブラリを使う。
https://pypi.org/project/fake-useragent/

[yumetodo]

UA偽装はお行儀が悪いのでできれば避けたいですね。

[faithandbrave]

手元で100回くらい連続して以下のページにアクセスしても弾かれないので、bot対策されてるわけではなさそうです。おそらく。

curl -v http://cmd.inp.nsk.su/old/cmd2/manuals/cernlib/shortwrups/node244.html 

[faithandbrave]

GitHub Actionsのツールでもやってることはこちらと同じで、リトライ + sleepでした。sleep時間は[最低sleep時間, 最大sleep時間]内での乱数みたいですが。
actions/toolkit#369

[faithandbrave]

こちらは2秒sleepですが、あちらは20〜30秒のsleepのようです。
ひとまず20秒に伸ばしてみます。

[yumetodo]

乱数時間のsleepはトラフィックが同じタイミングに集中するのを避ける効果があるのでこれでもだめなら乱数時間にしてみるといいかもしれませんね。

[faithandbrave]

自分のリポジトリで試したらsleep(20)で失敗したので、乱数にしてみます。

[faithandbrave]

自分のリポジトリで、6回CIを動かしたら、同じURLで失敗しました。
http://cmd.inp.nsk.su/old/cmd2/manuals/cernlib/shortwrups/node244.html

んー。どうすれば…。

[faithandbrave]

このページも歴史的資料みたいなものなので、Web Archiveに変更すれば安定するかも。このWebサイトのサーバーが弱いんじゃないかという推測で。

[faithandbrave]

https://web.archive.org/web/20190922154624/http://cmd.inp.nsk.su/old/cmd2/manuals/cernlib/shortwrups/node244.html

このURLで何度か試してみていけそうなら、こちらのリポジトリのURLを置き換えます。

[faithandbrave]

自分のリポジトリで10回CIを流してすべて通ったので、安定したかはわかりませんが、ひとまずRANLUXの参照URLをWeb Archiveに差し替えました。

[yumetodo]

なんならWebArchiveのリンクはチェックしなくていいんじゃないですかね？消えるってことがあったらこんな監視に引っかかる前に世界的なニュースになりそうなので。

[faithandbrave]

たしかに…。
CI実行時間を減らす効果もあるので、それはやってもよさそうです。

[faithandbrave]

外部リンクチェックは、だいぶ安定したようです。
15分前後でおわっていて、極端に時間がかかることもなくなりましたね。
接続が安定しないページはWeb Archiveに置き換える、という方針で問題なさそうです。
https://github.com/cpprefjp/site/actions?query=workflow%3A%22outer+link+check%22

あとは、Web Archiveのリンクチェックをしない修正を入れて2〜3日動かしたら、このIssueは閉じることにします。

[faithandbrave]

閉じます。