Benchmark

dynamis edited this page Oct 23, 2018 · 71 revisions

ベンチマーク

パソコンやスマホ向けに作られていて組込機器の動作環境として適切ではないものもあるが、比較検討用に使えるベンチマークと実行結果のメモです。

JavaScript ベンチマーク

JavaScript 単体の速度はそんなに重要じゃないと思うが一応。レシピが公開されている Chromium 40 の結果との比較も参考までに。応答のないスクリプトの警告 ダイアログが出てしまう場合は dom.max_script_run_time の設定を変更しておく (デフォルトは 10 秒だが十分に長い時間を設定する)。

SunSpider (Smaller is Faster)

Board Browser Result Note
Dragon Board 410c Firefox 45 1336.9ms aarch32
Dragon Board 410c Firefox 38 1239.0ms Android default
Dragon Board 410c Chromium 56 1716.1ms Android (aarch64)
SABRE Firefox 45 1873.9ms
SABRE Chromium 40 2424.9ms
iWave RZ/G1M Firefox 52 11754.5ms 201711 build, BSP2.0, Baseline JIT 無効化
iWave RZ/G1M Firefox 52 2611.6ms 201711 build, BSP2.0, IonMonkey 無効化
iWave RZ/G1M Firefox 52 1119.5ms 201711 build, BSP2.0
iWave RZ/G1M Firefox 60 1110.1ms
Raspberry Pi 3 Firefox 52 1733.7ms
R-Car M3 Starter Kit Firefox 60 1737.3ms (aarch64: IonMonkey未対応)

Octan 2.0 (Higher is better) - (Project Page)

Board Browser Result Note
Dragon Board 410c Firefox 45 2830 (aarch32)
Dragon Board 410c Chromium 56 2672 Android (aarch64)
iWave RZ/G1M Firefox 52 3715 201711 build, BSP2.0
iWave RZ/G1M Firefox 60 4680
Raspberry Pi 3 Chromium 60 2510
Raspberry Pi 3 Firefox 52 2700
R-Car M3 Starter Kit Firefox 60 820 (aarch64: IonMonkey未対応)

Octan (Higher is better, Obsolete)

Board Browser Result Note
SABRE Firefox 45 2325
SABRE Chromium 40 CRASH

Kraken (Smaller is Better)

Board Browser Result Note
Dragon Board 410c Firefox 45 13031.2ms
SABRE Firefox 45 16920.9ms
SABRE Chromium 40 17495.6ms
iWave RZ/G1M Firefox 52 7690.4ms 201711 build, BSP2.0
iWave RZ/G1M Firefox 52 6988.0ms, 7213.3ms 201712 build, BSP2.0
iWave RZ/G1M Firefox 60 7367.6ms
Raspberry Pi 3 Chromium 60 13840.4ms
Raspberry Pi 3 Firefox 52 13302.4ms
R-Car M3 Starter Kit Firefox 60 58018.3ms (aarch64: IonMonkey未対応)

JetStream (Higher is better)

Board Browser Result Note
Dragon Board 410c Firefox 45 (aarch32) 18.464
iWave RZ/G1M Firefox 52 26.990
iWave RZ/G1M Firefox 60 27.656
Raspberry Pi 3 Chromium 60 15.240
Raspberry Pi 3 Firefox 52 17.226
R-Car M3 Starter Kit Firefox 60 7.0776 (aarch64: IonMonkey未対応)

DOM ベンチマーク

Speedometer (Higher is Better)

Board Browser Result Note
iWave RZ/G1M Firefox 52 4.082 ±0.029 画面解像度: 800x480, GPU Composition OFF
iWave RZ/G1M Firefox 52 6.985 ±0.056 画面解像度: 800x480
iWave RZ/G1M Firefox 60 12.1 ±0.21 画面解像度: 800x480
Raspberry Pi 3 Chromium 60 15.26 ±0.10 画面解像度: 640x480
Raspberry Pi 3 Firefox XX 要計測
R-Car M3 Starter Kit Firefox 60 9.18 ±0.11 画面解像度: 1024x768
  • このベンチマークは Macbook Pro () の Firefox 59 で 79, Chrome 65 で 132 というように圧倒的に Chrome が得意

Style/Layout ベンチマーク

StyleBench

Board Browser Result Note
iWave RZ/G1M Firefox 52 3.77 ±0.061 画面解像度: 800x480, 201711 build, BSP2.0
iWave RZ/G1M Firefox 60 6.283 ±0.051 画面解像度: 800x480
Raspberry Pi 3 Chromium 60 ±0.10 画面解像度: 640x480
R-Car M3 Starter Kit Firefox 60 6.24 ±0.080 画面解像度: 1024x768
  • 正確な測定には最低 800x650 の解像度が必要とされていることに注意 (低解像度のモノは要再測定)

Graphics ベンチマーク

HTML5 Fish Bowl

多数の背景透過レイヤーを重ね合わせつつ移動させるアニメーションの FPS を測定する、伝統的な水槽デモのベンチ。

Board Browser Result Note
iWave RZ/G1M Firefox 52 13-14fps@1fish, 10-12fps@5fish, 8-11fps@10fish, 6fps@25fish, 4-5fps@50fish, 3-4fps@100fish 画面解像度: 800x480, GPU Composition OFF
iWave RZ/G1M Firefox 52 60fps@~5fish, 43-44fps@10fish, 13-14fps@25fish, 8fps@50fish 画面解像度: 800x480, GPU Composition OFF, fish & FPS only
iWave RZ/G1M Firefox 52 60fps@~25fish, 38-42fps@50fish, 19-21fps@100fish, 9-11fps@250fish, 5-6fps@500fish, 3-4fps@1000fish 画面解像度: 800x480
iWave RZ/G1M Firefox 60 60fps@~25fish, 44-54fps@50fish, 32-35fps@100fish, 14-15fps@250fish, 8fps@500fish, 3-4fps@100fish 画面解像度: 800x480
R-Car M3 Starter Kit Firefox 60 60fps@~50fish, 55 - 60fps@100fish, 26fps@250fish, 13-14fps@500fish, 7fps@1000fish 画面解像度: 800x600

Fish IE Tank

Board Browser Result Note
iWave RZ/G1M Firefox 52 30-56fps@10, 34-46fps@20, 20-29fps@50, 19-27fps@100, 10-12fps@250, 6fps@500 画面解像度: 800x480, GPU Composition OFF
iWave RZ/G1M Firefox 52 52-58fps@10, 53-59fps@20, 55-60fps@50, 41-46fps@100, 26-27fps@250, 15-16fps@500, 8-9fps@1000 画面解像度: 800x480
iWave RZ/G1M Firefox 60 59-60fps@20, 57-59@50, 49-51@100, 29-31fps@250, 18-19fps@500, 8-9fps@1000 画面解像度: 800x480
R-Car M3 Starter Kit Firefox 60 60fps@~20, 53-55fps@50, 49-50@100, 31-33@250, 20-21fps@500, 11fps@1000 画面解像度: 800x600

HTML5 Speed Reading (Shorter is Better)

Board Browser Result Note
iWave RZ/G1M Firefox 52 1348 sec (12fps, average draw 80ms) 画面解像度: 800x480, GPU Composition OFF
iWave RZ/G1M Firefox 52 873 sec (40fps, average draw 25ms) 画面解像度: 800x480
iWave RZ/G1M Firefox 60 727 sec (55fps, average draw 18ms) 画面解像度: 800x480
R-Car M3 Starter Kit Firefox 60 61 sec (52fps, average draw 19ms) 画面解像度: 800x600

Animation ベンチマーク

MotionMark

Board Browser Result Note
iWave RZ/G1M Firefox 52 1.04 ±8.95% 画面解像度: 800x480
iWave RZ/G1M Firefox 60 16.45 ±10.26% 画面解像度: 800x480
R-Car M3 Starter Kit Firefox 60 16.65 ±16.43% 画面解像度: 800x600

asm.js / WebAssembly ベンチマーク

重たい数値演算も JS 側でやる場合はこのあたりのパフォーマンスも重要になる

MASSIVE (Higher is better)

Board Browser Result Note
iWave RZ/G1M Firefox 52 1208
iWave RZ/G1M Firefox 60 1189

Firefox で WebAssemlby のサポートが入ったのは Firefox 52 から (ESR ではデフォルト無効化されているので注意)。

PSPDFKit WASM Benchmark

まだあまりない&これが定番というのが確定していない、Wasm の実アプリケーションベースベンチマーク。

解説ページ: https://pspdfkit.com/blog/2018/a-real-world-webassembly-benchmark/

GUIMark3 (Canvas 系ベンチマーク)

ゲーム的なコンテンツを作る場合じゃない限り重要性は高くないが、Canvas の描画安定性確認にも便利。 画面解像度がある程度大きくないと描画対象が一部だけになるため注意

GUIMark3 HTML5 Bitmap

Board Browser Result Note
Dragon Board 410c Firefox 45 (aarch32) 19.03fps
iWave RZ/G1M Firefox 52 42.49fps 画面解像度: 800x480
iWave RZ/G1M Firefox 60 59.15fps 画面解像度: 800x480
R-Car M3 Starter Kit Firefox 60 60.09fps 画面解像度: 800x600

GUIMark3 HTML5 Bitmap Cache

Board Browser Result Note
Dragon Board 410c Firefox 45 (aarch32) 20.05fps
iWave RZ/G1M Firefox 52 39.17fps 画面解像度: 800x480
iWave RZ/G1M Firefox 60 59.22fps 画面解像度: 800x480
R-Car M3 Starter Kit Firefox 60 59.89fps 画面解像度: 800x600

GUIMark3 Vector

Board Browser Result Note
Dragon Board 410c Firefox 45 (aarch32) 6.36fps
iWave RZ/G1M Firefox 52 46.27fps 画面解像度: 800x480
iWave RZ/G1M Firefox 60 59.16fps 画面解像度: 800x480
R-Car M3 Starter Kit Firefox 60 57.93fps 画面解像度: 800x600

GUIMark3 Compute (Canvas)

Board Browser Result Note
Dragon Board 410c Firefox 45 (aarch32) 19.17fps
iWave RZ/G1M Firefox 52 42.49fps 画面解像度: 800x480
iWave RZ/G1M Firefox 60 56.01fps 画面解像度: 800x480
R-Car M3 Starter Kit Firefox 60 16.28fps 画面解像度: 800x600

その他のベンチマーク (参考)

  • Basemark の Basemark Web 3.0: https://web.basemark.com/
    • 老舗ベンチマーク企業の総合ベンチマークだが重すぎて組み込みテストには向かない
  • WebAudio Benchmark https://github.com/padenot/webaudio-benchmark
    • Mozilla が自動テストで監視しているが WebAudio の処理速度は用途的に重要度が低いので計測不要

HTML5test (参考)

  • HTML5 test
    • 一般的な PC 版でのスコア例 (組み込みボードでは一部 API が動かなかったりするとスコアが低くなる):
    • Firefox 45 = 456
    • Firefox 40 = 429
    • Chromium 50 = 489
    • Chromium 40 = 456
    • Edge 13 = 433
    • Edge 12 = 377
    • IE 11 = 312
    • Safari 9.1 = 370
    • Safari 9.0 = 360
Board Browser Result Note
iWave RZ/G1M Firefox 52 201711 build, BSP2.0
iWave RZ/G1M Firefox 60 477 201810 build
R-Car M3 Starter Kit Firefox 60 477

計測環境

測定環境についてのメモ

関連リンク

You can’t perform that action at this time.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.
Press h to open a hovercard with more details.