New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
【著者より】発刊から約3年、本書を今後どうしていくべきなのでしょうか。。。 #203
Comments
本書 は、多くの読者の方々にご愛読いただき、そして多くのIssue投稿によって支えられ、今日まで至ります。 まずは感謝の意を申し上げたいです。読者の皆様、誠にありがとうございます。 以下に、本書の今後について、私が悩んでいる点を列挙いたします。 [1] 本書は2019年7月29日に発売され、もうすぐ発売から3年が経過します。 [2] とはいえ、最新のPyTorchのversionに対応していないのは微妙であり、読者の皆様からの温かいIssueで修正を提案いただき、それを増刷のタイミングにて書面にもできる限り反映するという対策をとってきました [3] AI分野の変化はとても早いです。 著者としてはTransformerとそれをベースとしたBERTが出た時点で、これが今後のベースとなり、 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ですが、その4年前と現在ではディープラーニングを取り巻く環境もとても変化しています [4] 今後の選択肢として、以下の3点を考えています [4-1] 書店に並んでいて絶版になっていない書籍とはいえ、 「本書執筆時点でのライブラリバージョンPyTorch v1.0環境で本書は進めて下さい」 [4-2] ただし、この作戦は大きく2つのリスクを抱えています。 ・1つ目は改訂版を書き終えたあと、PyTorchからversion 2がリリースされ、 これが発生すると、改訂版を執筆し直したのか意味がなくなります ・2つ目は、改訂版を執筆するにあたって、 例えば、物体検出の現在のSoTAなアルゴリズムは https://paperswithcode.com/sota/object-detection-on-coco を参考にすると、 DINO(Emerging Properties in Self-Supervised Vision Transformers):self-DIstillation with NO labels や、 のような、Vision Transformerを活用するものです。 一方で、画像分類系ではViT(Vision Transformer)よりも、 MLP-Mixer: An all-MLP Architecture for Vision や ConvMixer:Patches Are All You Need? のような、パッチ化を重視し、ViTを使用しないような手法も出てきています。 このように、現時点ではSOTAに近い手法があまり安定していないと、著者は感じています。 一度書籍を改訂執筆してしまうと、再び大きくは動きづらいという制約が生まれるため、 [4-3] 上記の[4-2]を踏まえてですが、もう少し業界の動向を見てから対応を考えます。 この4年間で、BERTにはじまったTransformer革命が画像系をはじめ、時系列などいろいろな分野に波及しました。 ConvlutionとReLUからはじまったディープラーニングv1.0??が、 Transformerと自己教師あり学習によるディープラーニングv2.0?? 別の方向に落ち着くのかを見定め、 著者としては、当面、[4-1]の姿勢、そして[4-3]を念頭に置いています。 日本にとって、そしてこれからディープラーニングを学ぶ学生や社会人の方、その他多くの方にとって、 以上、長文失礼しました。 |
小川様 誠に僭越ながらコメント差し上げます。 私は1年ほど前にこの本を手に取り、コード含めて隅々まで読み込みましたが、本当に読んで良かったと思える書籍でした。 深層学習の応用という観点から、"仕組みをブラックボックス化して取り敢えず動かしてみる"というスタンスの類書も多い中、仕組みまで詳しく解説頂いている本書は非常に貴重と思います。また、類書で解説されていないアルゴリズムも多く含まれており、視野が広がったように感じています。 私の拙い質問にも早急にご回答いただける小川様のご対応も、頭が下がる思いでした。 素人故に今後の技術的な動向は正直なところ全く分かりませんので、本書の方向性等に言及するのは私の能力を超えますが、自力で最新論文を読み解くのが厳しい私のような者からすると、新しい技術を含んだ上で、この本が改訂されるのであればそれはとても嬉しいことです。 書籍という形態をとる以上、日進月歩の技術に合わせて改訂するのは難しいというのはその通りと思います。ただ、やはりインターネット上の情報だけでは系統立った整理や学習が難しく、幹になる部分の学習は書籍が向いていると私は考えていますし、そう考える人は少なくないと思います。そういった意味で、本書の需要がなくなることは無いと思います。 偉そうなコメントで申し訳ありません。 |
@kawase621 さま コメントをいただき、誠にありがとうございます。 今後の方向性を考えるうえでも、とても重要な示唆もいただけ、非常に助かります。 誠にありがとうございます! |
2022年3月、PyTorchはversion 1.11をリリースし、torchtextをはじめとした周辺エコシステムもアップデートされました。
#148 (comment)
にて、提起いただいたように、本書はこのままでは最新バージョンでは完全な動作が保証されない状況です。
本書の今後について、著者としてどうするべきか悩んでいる点を以下に列挙いたします。
The text was updated successfully, but these errors were encountered: