-
Notifications
You must be signed in to change notification settings - Fork 0
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
LLM周辺の論説について調べる #12
Comments
ビル・ゲイツビル・ゲイツはエンジニアとしての経歴もあるはずだが、この記事は一般読者に寄り添ったやや夢想的な内容を含む。ビジネス生産性・医療・教育・リスクについて広い視点でバランス良く言及している。幻覚の問題は2年以内には解決するのではないか、という楽観的な認識を持っている。 |
GPTの事前学習データが汚染されている、モデル評価がずさんなことを指摘した記事GPT-4 and professional benchmarks: the wrong answer to the wrong question
詳しい経緯は記事著者のTwitterスレッドを参照。 |
GitHub Copilot X: The AI-powered developer experience | The GitHub BlogChatGPT-likeなインターフェースの追加、プルリクエストのワークフローとの統合(descriptionのサジェスト)、ドキュメントを学習しての回答生成など。しかし、Naranayan and Kapoor, 2023で指摘されているように、開発者がサジェストされたコードの40%を編集せずそのまま流用している状況では、生産性の向上は限定的になると考えられる。 |
Introducing Mozilla.ai: Investing in trustworthy AI3000万ドル規模のスタートアップ&コミュニティ(OpenAIが100億ドル超えであることを鑑みるとケタが3つ違う)。GoogleやMicrosoftがAI倫理チームを解雇した今、透明性と説明責任を重んじるMozillaの高邁な姿勢には注目すべきものがある。 |
[2303.12712] Sparks of Artificial General Intelligence: Early experiments with GPT-4以下abstractのDeepL訳
|
Cheating is All You NeedSourceGraphのCodyというツールの紹介記事だが、AIアシスタント懐疑派を諭すような内容。AIが80%正しいコードを書くなら人間が残りの20%を手修正に費やすだけで単純計算で生産性は5倍になるだろと言っている(流石に単純計算すぎる…)。LLMは質問の文脈を考慮しないのでSourceGraphで検索クエリから関連するコードを収集してLLMに渡してあげればいい感じに動いてくれるのでは、というのがcheating is all you needの意味。 |
ChatGPT Retrieval PluginOpenAIからローカルデータを取得するためのプラグインが公開された。 またChatGPT pluginsで外部サービスとの連携が図られている。 ChatGPT Gets Its “Wolfram Superpowers”!—Stephen Wolfram Writings連携対象のうちWolfram側の記事。これで苦手とされていた算数などが得意になるか。 |
Shinichiro Hamaji (プログラマ)
|
大規模言語モデルの驚異と脅威 - Speaker Deck技術観点でここ数ヶ月の動きがよくまとまっている。hallucination、バイアスの改善については取り組みがある程度のことは触れているが、見解は述べていない。 |
大学の反応。 東京大学
東京工業大学武蔵野美術大学
|
Samuel R. Bowman(専門はNLP、計算機言語学、言語モデルなど) |
抜粋
DeepL訳
講評 これって省略された発言を埋めるとこういう意味だよね?
|
これは論説ではないがよく出来たオモチャなのでメモっておこう… |
特に何かが読み解けるとは思えないが… |
Sparks of AGIの著者講演 |
BabyAGI |
カテライ・アメリア、井出和希、岸本充生(大阪大学ELSIセンター) |
François Chollet(Keras作者、Googleの深層学習エンジニア)
DeepL訳
以下も
DeepL訳(ちょっとだけ手直し)
|
Yoav Goldberg (専門は自然言語処理と機械学習) |
「AIが人類を支配したら?」が現実味を帯びてきた件 加速する“AIアライメント”議論の現在地(1/4 ページ) - ITmedia NEWS 山川と金井は研究者であるにも関わらず現状の理解度が低い(上述のKeras作者の発言を見れば分かるように、昔は「AGIは作れませんと言われていた」の次に「できちゃうけど~」は単純に偽。我々はまだAGIを何か知らない)。「マーケティング用語」としてのAGIについて語っているのだろう。 |
Navigating the Jagged Technological Frontier | Digital Data Design Institute at Harvard ChatGPT 4がコンサルの生産性に与えた影響についての研究。key findingsのDL訳は以下の通り。
|
SFの世界がやってくる?“神のようなAI”が生まれる日 | NHK | ビジネス特集 | 生成AI・人工知能 Gary Marcusに規制論のコメントを取りに行っている。若干引く… |
The architecture of today's LLM applications - The GitHub Blog 活用例(DeepL訳)。
|
Measuring Hallucinations in RAG Systems - Vectara LLMの幻覚を見ている度合いを測定する手法。取り扱い注意。 |
GitHub、コードの脆弱性を発見後、修正コードまで自動生成してくれる「Code scanning autofix 」発表。GitHub Universe 2023 - Publickey GitHubはユーザーにコードを書かせない方向の製品を売るよう舵を切ったようだ。当然コードの生成精度はメジャー言語でしか上がらないため、PythonやJavaScriptなどのヘゲモニーを強化する選択をしたとも言える。 |
生成AI指針、罰則盛らず 政府、開発・利用を促進:時事ドットコム
|
ChatGPTはなぜ計算が苦手なのか - 湊 真一 京都大学大学院情報学研究科 教授 こういうことである。 |
この使い方はちょっと面白いかも? |
|
GPT-4が労働市場に与える影響と各職種のリスク評価──OpenAIの研究者が論文発表 - ITmedia NEWS
2行目と3行目の文章が噛み合っていない(数学を科学と言うのも違う気もするが、数学者は科学的、批判的思考スキルを必要とする職業ではないのか?)。
この行の後段はHallucination(幻覚)のことを述べているが、この現象は制限という言い方で軽く見積もることは出来ないと考える。特に専門職では検証こそが本質的なタスクのため、正確性はその分野におけるAI導入の成否に直結する問題だろう。
ACMの論説を見ていく。
Gary Marcus(専門は認知科学)
AI's Jurassic Park Moment | blog@CACM | Communications of the ACM
幻覚によって誤情報をノーコストで生成できることの脅威を述べているが、幻覚が何故起きるのかについて考えを述べていない。偽情報に対する社会的な懸念について意見が終始している。取るべき対策は1. AI投稿BANする体制を整える 2. 誤情報を名誉毀損と同等の扱いにすべきではないか(訴訟対象とする) 3. humanIDのように人間を認証する仕組みの強化 4. 古典的AI(データベース、知識網、推論)で誤情報を潰す仕組みが作れないか。
特に4.が根本的な対応だが、言わんとするところがやや曖昧である。
Bertrand Meyer (専門はプログラミング言語設計。Eiffelの作者)
What Do ChatGPT and AI-based Automatic Program Generation Mean for the Future of Software
エンジニア界隈では悪口が目立つが、筆者はChatGPT(LLM)はオブジェクト指向プログラミングやワールドワイドウェブの発明に匹敵するものと考えている。
筆者がChatGPTとやり取りした実例を上げて適用限界について論じている。プログラミングに論点を絞っているので誤情報の生成についてはやや楽観的な見方をしているようである(ただ、プログラムではalmost exactは意味がなく深刻な問題を引き起こす可能性があることについては言及している)。これまでの歴史を鑑みても自然言語からプログラムを生成する試みはあったが、このレベルの抽象度から生成を行うツールは当然なかった。プログラミングの風景は一変するだろう。人間はこれから形式仕様などを勉強したらいいのではないか(要件、仕様、検証)。
Gary Marcus and Ernest Davis(専門は認知科学と計算機科学)
Large Language Models like ChatGPT say The Darnedest Things | blog@CACM | Communications of the ACM
LLMの幻覚をあら捜ししているだけで、幻覚が何故起きるかについては考察していない。学者の意見とは思えず読むだけ時間の無駄という感想。
Orit Hazzan(専門は教育(計算機科学))
ChatGPT in Computer Science Education | blog@CACM | Communications of the ACM
ChatGPTはすべての教育システムに激甚な影響を与えると言われている(Nguyen, 2023; Huang, 2023)。計算機科学の専門家育成ワークショップでChatGPTが与える影響についてヒアリングを行った際のレポート。
Vivienne Sze (専門は低消費電力エレクトロニクス)
Why Businesses Must Untether Deep Learning | blog@CACM | Communications of the ACM
AIは滅茶苦茶計算能力が必要になる。GPT-3は1730億パラメータで10^23以上の計算が必要(数百万ドルは掛かっている)。完成したモデルであっても実行には高価なプロセッサのクラスタが必要になる。とにかくローカルで動かすのが大変なため、クラウドでの利用が主流になるだろう。しかしセキュリティや高い即応性が求められるアプリケーションでは、クラウドで扱わずローカルで動かしたい場合がある。
ローカルAIの実現にはハードウェアとソフトウェアの両面の設計を考える必要がある。処理速度だけでなく、発熱と電力消費も考えないといけない。ハードウェアとソフトウェアの両面から最適化を行う必要がある。環境負荷の低いアルゴリズム設計・ハードウェア設計を考えていきたいね。というエッセイ。あんまりChatGPTと関係ない。
以下はOpenAIの研究者とYan LeCunの反応
Hallucinations Could Blunt ChatGPT’s Success - IEEE Spectrum
幻覚の問題を重視した記事。OpenAIのIlya Sutskeverはこれは一時的な現象であり、特にreinforcement learning with human feedback (RLHF)のような手法によって問題は解決するだろうと述べている。対してYann LeCunは幻覚はLLMに内在する根本的な欠陥だと述べている。人間の信念・知識は言語以外の情報によっても構成されるため、言語のみの学習によって非言語的な知識を獲得するのは無理だろうということ。Sutskeverはテキストの中に必要な現実の知識が表現されていると反論しているが、説得力がないと思う。テキストに現実の知識が表現されているかどうかはRLHFの成否に懸かっており今後の評価は不透明だが、前提が薄弱な中embeddingでモデルを正しい単語・文字列・概念に対応付けられると主張しても無駄ではないだろうか。
国内のNLP研究者たちの反応(NLP2023)
The text was updated successfully, but these errors were encountered: