Skip to content

EmbeddingGemma 2 for Unity v0.1.0 - Windows

Latest
Latest

Choose a tag to compare

View all tags
@ayutaz ayutaz released this 20 Oct 18:04
v0.1.0
91e3419
This commit was created on GitHub.com and signed with GitHub’s verified signature.
GPG key ID: B5690EEEBB952194
Verified
Learn about vigilant mode.

EmbeddingGemma for Unity 0.1.0 — Windows

Unity Sentisでテキスト・画像・音声を正規化768次元ベクトルへ変換し、テキストから文書・画像・音声を横断検索するUPMパッケージです。

導入

Unity Package Managerの「Add package from git URL」で指定してください。

https://github.com/ayutaz/unity-embeddinggemma-2.git?path=/Packages/com.ayutaz.embeddinggemma#v0.1.0

Text SearchとImage and Audio Searchのサンプルを含みます。モデルはパッケージに同梱しません。READMEの手順でFP32またはFloat16の公開モデルを取得し、descriptor・全objectのサイズとSHA256、LICENSE・NOTICE・MODIFICATIONSを確認してください。

対応環境と実行範囲

  • 検証構成: Windows 11 x64、Unity 6000.3.21f1、Sentis 2.6.1、D3D12、RTX 4070 Ti SUPER、Ryzen 9 5900X、RAM64 GB / VRAM16 GBクラス。これは実測した構成であり、真の最低容量や他GPUの合格を示しません。
  • Windows EditorとWindows IL2CPP / Release / High stripping Playerで、FP32 / Float16の両重み形式を確認しました。Float16重みは全演算のFP16実行を意味しません。
  • テキストのdocument / query / raw、全3画像profile・全2音声profileと各role、Texture2D / RenderTexture、16kHz mono PCM、18文書・4クエリの混在検索を元参照・元許容差で照合しました。
  • 実WorkerのGPU backend、計算のCPU fallbackなし、中間tensorのCPU readbackなし、キャンセル後の再実行、解放と正常終了を確認しました。キャンセルはAPIの最初の非同期yieldでの確認であり、投入済みGPU kernelの途中停止を認定するものではありません。
  • 公開tagを空のconsumerへ導入し、解決SHA・実PackageCacheとモデルbytesを照合しました。Editor成功とPlayer成功は別々に監査しています。PlayerのRenderTexture検証にはSDKを変更しない追加の非公開検証harnessを使用し、通常の画像・音声Player検証と区別して記録しました。

RenderTexture検証harnessのレポートでは入力ファイルの付随情報が保存されていませんでした。実行原本と当初の監査失敗を保持し、全28入力原本のサイズ・SHA256、固定参照、実際にビルドしたtagの入力検証コードを別監査で照合しています。数値参照・許容差・検証対象は変更していません。

テキストtokenize、ファイルdecode、PCM取得と最終ベクトルのCPU配列への返却は入出力境界です。画像・音声の前処理・encoder・backboneはGPUで実行します。固定profile、メインスレッドでの非同期呼び出し、GPU完了までの入力保持などの条件はAPIと対応構成の文書を参照してください。

検証上の制限

Required CIの元の数値gateを維持しています。CPU参照ツールの結果はsourceとhostの範囲に限定し、Intel CPUの画像参照不一致と、未実行・失敗した他platformの結果を成功に含めません。詳細はWindows CPU CIを参照してください。これらのCPU参照ツールはSDKのCPU fallbackではありません。

任意入力での検索品質、一般的なGPU高速化倍率、他GPU、macOS / iOS / Androidの実モデル動作は今回の受け入れ範囲に含めません。性能表は記録されたsource・入力・機器・計測範囲に限定されます。

ライセンスと配布物

SDKコードはApache-2.0です。別取得モデルの元revisionは914f7f89142e33e77833254d9c9b90c3cef7303bで、モデルの取得条件と法的表示はモデルライセンス文書を参照してください。モデル重み、内部検証Player、録音、生log、大きな検証artifactはこのSDK Releaseに添付しません。

固定tag v0.1.0の対象は91e3419571432dfa54e7bbab045ef63a7cef4a81、package versionは0.1.0です。tag内の計画・チェックリストは作成時点の記録です。このReleaseの最終確認は公開後のRelease状態・tag・配布版の読み戻しまでを含みます。

Assets 2
Loading