Media Proxy を実装 #5649

SanMurakami · 2019-12-18T13:40:35Z

同じ画像を何個ものインスタンスでストレージに保存するのは非効率なので、以下のメディアプロキシを使える機能を実装しました。

syuilo · 2019-12-19T16:54:36Z

👍

mei23 · 2019-12-19T17:03:02Z

src/models/repositories/drive-file.ts

@@ -22,7 +23,11 @@ export class DriveFileRepository extends Repository<DriveFile> {
 	}

 	public getPublicUrl(file: DriveFile, thumbnail = false): string | null {
-		return thumbnail ? (file.thumbnailUrl || file.webpublicUrl || null) : (file.webpublicUrl || file.url);
+		let url = thumbnail ? (file.thumbnailUrl || file.webpublicUrl || null) : (file.webpublicUrl || file.url);
+		if (file.src !== null && file.userHost !== null && config.mediaProxy !== null) {


config.mediaProxyがundefinedの時にtrueになっちゃいそう
全ての演算子は!= nullでよさそう

なるほど

file.srcはローカルのURLからアップロードでも使用されそう
file.userHostのチェックがあるから最終的には大丈夫かもしれないけどfile.uriを検証した方がいいのかも

そもそもこ関数、let使わずreturnを2回使う記法の方が好ましいと思います

mei23 · 2019-12-19T17:04:42Z

src/models/repositories/drive-file.ts

-		return thumbnail ? (file.thumbnailUrl || file.webpublicUrl || null) : (file.webpublicUrl || file.url);
+		let url = thumbnail ? (file.thumbnailUrl || file.webpublicUrl || null) : (file.webpublicUrl || file.url);
+		if (file.src !== null && file.userHost !== null && config.mediaProxy !== null) {
+			url = `${config.mediaProxy}/${thumbnail ? 'thumbnail' : ''}?url=${file.src}`;


確認してないけどfile.srcURLエンコードが必要かも

mei23 · 2019-12-19T17:10:45Z

設定があればリモート分はとりあえずメディアプロキシに振り分けるという実装だと
メディアプロキシ側をオープンリダイレクトにせざるを得ないのがセキュリティ的に気になる
https://github.com/riku6460/media-proxy/blob/50991234b82380196b3ee604dbaa783d3f566c38/app.ts#L56-L61

mei23 · 2019-12-19T17:28:00Z

外部のメディアプロキシサーバーを指定する方法ではなくて

特定のオプション有効時に
/files/:fileIdのように非オブジェクトストレージと同じURLでアクセスさせるようにして
/files/:fileIdのハンドラでリモートファイル未保存だったらProxyしてあげるような実装ではどうかしら
つまりインスタンス自体にProxyさせる（キャッシュは前段のNginxなりCDNにまかせる）

これならインスタンスが認知してない未知のURLに対するアクセスが拒否できる。

インスタンス間でURLを共有する形にはならないけど
そもそもProxyをするときには「リモートファイル未保存」オプションを有効にして運用すると思うので、「各インスタンス間で同じファイル保存を行いたくない」という要件は満たすには問題ないと思うわ。

SanMurakami · 2019-12-19T17:32:15Z

1.misskey.local, 2.misskey.local, 3.misskey.local とあった場合にそれぞれでプロキシを行うって認識で大丈夫？
それなら複数ある場合に（少し特殊な環境かもしれないけど）無駄なリクエストが増える気がする

mei23 · 2019-12-19T17:38:52Z

1.misskey.local, 2.misskey.local, 3.misskey.local とあった場合にそれぞれでプロキシを行うって認識で大丈夫？

Yes

あまり「クライアントから見たURLを同じにする」を突き詰めると結局リモート直リンが最適解になっちゃう気がする。

1ユーザーが複数のインスタンスで同じリモート投稿を見るというのがあまりないパターンだから、インスタンスでキャッシュが別れていてもさほど不具合がない気がする。

SanMurakami · 2019-12-19T17:46:32Z

リモート直リンだと結構遅いサーバーがある（キャッシュをオフにしたら結構違いが出る）のと、サムネイルの生成が行われないのでモバイル等の従量課金制とか格安SIMとかのネットワークだと直ぐに容量を使い切りそう

Misskey側にリモートファイルのサムネイル（ビデオを含む）を生成するプログラムを組み込んでストレージに保存しないけどプロキシだけはするみたいなやつだと解決できそうな気がする

mei23 · 2019-12-19T17:52:24Z

Misskey側にリモートファイルのサムネイル（ビデオを含む）を生成するプログラムを組み込んでストレージに保存しないけどプロキシだけはするみたいなやつだと解決できそうな気がする

たぶんm544がそんな実装
基本はオブジェクトストレージのリモートファイルキャッシュを使うけど
期限切れ削除とか最初から保存してない場合は本体でProxy (with image/video thumbnail) して、キャッシュはNginxとCloudFlareに任せちゃう感じ

mei23 · 2019-12-19T17:53:29Z

↑たぶんメディアプロキシと競合するわけでもないから近日入れる…

SanMurakami · 2019-12-19T17:54:44Z

なるほど
複数インスタンスを運営するときにMedia Proxy自体はあったほうが帯域節約になるので実装後も残してくれると助かる

mei23 · 2019-12-19T18:02:25Z

統合すると

メディアプロキシ設定ありでメディアなMINEだったらそっちに移譲（このメディアプロキシ機能）
（下の本体プロキシが機能があるならば、メディア以外のMINEは拒否するようにしてもいいかも）
↓
リモートファイルのキャッシュが保存されてればそれを使用（今まで通り）
↓
リモートファイルのキャッシュなし（期限切れor最初から保存しないオプション）＆＆本体Proxyを許可する設定だったら本体Proxyする（本体プロキシオプション）
↓
直リン（今まで通り）

みたいなイメージ

acid-chicken · 2019-12-20T05:28:31Z

実装が標準仕様に基づくものでなさそう（→ id のように将来的に複数の実装をサポートするのを見越した方が良さそう）なのと、既存の config スタイルとの協調性を保つことを考えると、

mediaProxy: http://127.0.0.1:3000

よりは、

proxyMedia:
  protocol: github:riku6460/media-proxy
  url: http://127.0.0.1:3000

とかの方がいいかなと思ったりするのですが、いかがでしょうか。

CC: @CookieRamen @mei23 @riku6460

mei23 · 2019-12-20T06:07:11Z

プロトコルや実装アプリの説明もなしにいきなり
非標準かつ要件不明な設定が登場してるのはやはり不自然な気はします。

複数の実装を切り替え出来るように増やしていくよりは
特定の運用環境でしか使えない機能はforkで行ったほうがいいかなと思います

ioはメディアサーバーから返るサムネイルにwebp変換される機能等があり
既にメディア部分は完全にバニラかというと怪しいので、今更バニラにこだわる必要もないかなと思います。

ioが公式で公式はバニラで運用する前提があるのかどうかはわからないです。

SanMurakami · 2019-12-20T08:07:24Z

ioのメディア関連は出力部分に外部プログラムを経由させているだけでMisskey自体は公式のDockerイメージを利用してます。

forkして利用すると公式リポジトリの追従にラグが出るというのは置いといて、そもそも意外とMisskey自体複数インスタンスを運用している管理者が多いような気がするので必要と感じPRだしました。

もうmergeされてますが、必要ないと考えるならrevertして頂いて大丈夫です。

ただ、画像については外部プログラムを利用しないにしても、 https://images.weserv.nl/ を使うような実装があったほうが良いと思います。

mei23 · 2019-12-20T10:55:31Z

別に入れちゃったならいいかなというレベルです

mei23 · 2019-12-20T11:00:16Z

mediaProxy: http://127.0.0.1:3000

今見たら

127.0.0.1:3000って必ずMisskeyがいそうな気がする
config値の最後に/を含めるべきかどうか

と思いました

mei23 · 2019-12-20T11:01:38Z

クライアントが直接見るURLなので
例示は https かつドメイン名かつポート指定なしの方が親切かなと

mei23 · 2019-12-20T11:25:55Z

あくまでもURLなのでサンプルはmediaProxy: https://example.net/proxyみたいにして

パスに/thumbnailや/付加してると configで/を付けるか悩んじゃうので
与えられたパス自体は変更せずに、追加の情報はクエリで付加する

https://example.com/proxy?url=https://...&thumbnail=1
や
https://example.com/proxy?url=https://...

とかがいいかなと

* Media Proxy を実装 * サンプルを追加 * https://github.com/syuilo/misskey/pull/5649#discussion_r359967471 の修正 * https://github.com/syuilo/misskey/pull/5649#discussion_r359967966 の修正 * https://github.com/syuilo/misskey/pull/5649#discussion_r359968219 の修正 * 期限切れ/未保存リモートファイルのローカルプロキシ * 設定 * 説明 * comment out * fix Co-authored-by: 和風ドレッシング <37681609+CookieRamen@users.noreply.github.com>

SanMurakami added 2 commits December 18, 2019 21:56

Media Proxy を実装

6a941cc

サンプルを追加

14de383

syuilo merged commit 9bc07c1 into misskey-dev:develop Dec 19, 2019

mei23 reviewed Dec 19, 2019

View reviewed changes

SanMurakami referenced this pull request in MisskeyIO/misskey Dec 19, 2019

https://github.com/syuilo/misskey/pull/5649#discussion_r359967471 の修正

85ed00c

SanMurakami referenced this pull request in MisskeyIO/misskey Dec 19, 2019

https://github.com/syuilo/misskey/pull/5649#discussion_r359967966 の修正

9e98392

SanMurakami referenced this pull request in MisskeyIO/misskey Dec 19, 2019

https://github.com/syuilo/misskey/pull/5649#discussion_r359968219 の修正

ede61f2

mei23 mentioned this pull request Dec 20, 2019

期限切れ/未保存リモートファイルのローカルプロキシ #5655

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Media Proxy を実装 #5649

Media Proxy を実装 #5649

SanMurakami commented Dec 18, 2019

syuilo commented Dec 19, 2019

mei23 Dec 19, 2019

SanMurakami Dec 19, 2019

mei23 Dec 19, 2019

tamaina Dec 19, 2019

mei23 Dec 19, 2019

mei23 commented Dec 19, 2019

mei23 commented Dec 19, 2019

SanMurakami commented Dec 19, 2019

mei23 commented Dec 19, 2019

SanMurakami commented Dec 19, 2019

mei23 commented Dec 19, 2019

mei23 commented Dec 19, 2019

SanMurakami commented Dec 19, 2019

mei23 commented Dec 19, 2019

acid-chicken commented Dec 20, 2019

mei23 commented Dec 20, 2019 •

edited

Loading

SanMurakami commented Dec 20, 2019

mei23 commented Dec 20, 2019

mei23 commented Dec 20, 2019

mei23 commented Dec 20, 2019

mei23 commented Dec 20, 2019

Media Proxy を実装 #5649

Media Proxy を実装 #5649

Conversation

SanMurakami commented Dec 18, 2019

syuilo commented Dec 19, 2019

mei23 Dec 19, 2019

Choose a reason for hiding this comment

SanMurakami Dec 19, 2019

Choose a reason for hiding this comment

mei23 Dec 19, 2019

Choose a reason for hiding this comment

tamaina Dec 19, 2019

Choose a reason for hiding this comment

mei23 Dec 19, 2019

Choose a reason for hiding this comment

mei23 commented Dec 19, 2019

mei23 commented Dec 19, 2019

SanMurakami commented Dec 19, 2019

mei23 commented Dec 19, 2019

SanMurakami commented Dec 19, 2019

mei23 commented Dec 19, 2019

mei23 commented Dec 19, 2019

SanMurakami commented Dec 19, 2019

mei23 commented Dec 19, 2019

acid-chicken commented Dec 20, 2019

mei23 commented Dec 20, 2019 • edited Loading

SanMurakami commented Dec 20, 2019

mei23 commented Dec 20, 2019

mei23 commented Dec 20, 2019

mei23 commented Dec 20, 2019

mei23 commented Dec 20, 2019

mei23 commented Dec 20, 2019 •

edited

Loading