You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Language models (LMs) have become ubiquitous in both NLP research and incommercial product offerings. As their commercial importance has surged, themost powerful models have become closed off, gated behind proprietaryinterfaces, with important details of their training data, architectures, anddevelopment undisclosed. Given the importance of these details inscientifically studying these models, including their biases and potentialrisks, we believe it is essential for the research community to have access topowerful, truly open LMs. To this end, this technical report details the firstrelease of OLMo, a state-of-the-art, truly Open Language Model and itsframework to build and study the science of language modeling. Unlike mostprior efforts that have only released model weights and inference code, werelease OLMo and the whole framework, including training data and training andevaluation code. We hope this release will empower and strengthen the openresearch community and inspire a new wave of innovation.
URL
Affiliations
Abstract
Translation (by gpt-3.5-turbo)
その商業的重要性が高まるにつれて、最も強力なモデルは閉鎖され、独自のインターフェースの背後に閉じ込められ、トレーニングデータ、アーキテクチャ、開発の重要な詳細が非公開になっています。
これらの詳細は、これらのモデルを科学的に研究する際に重要であり、そのバイアスや潜在的なリスクを含むことから、研究コミュニティが強力で本当にオープンなLMsにアクセスできることが不可欠だと考えています。
このため、この技術レポートでは、最先端の本当にオープンな言語モデルであるOLMoの初回リリースと、言語モデリングの科学を構築し研究するためのフレームワークについて詳細に説明します。
以前の取り組みがモデルの重みと推論コードのみを公開していたのとは異なり、私たちはOLMoとトレーニングデータ、トレーニングおよび評価コードを含むフレームワーク全体を公開します。
このリリースがオープンな研究コミュニティを強化し、新しいイノベーションの波を起こすことを願っています。
Summary (by gpt-3.5-turbo)
The text was updated successfully, but these errors were encountered: