fix: ノート取得時にノート数がlimitよりも少ない事がある問題を修正

[hideki0403]

What

• API notes/timeline notes/local-timeline notes/hybrid-timeline notes/user-list-timeline users/notes にプロパティallowPartialを追加
  • これがfalseの場合かつ、Redis側にキャッシュしてあったノートがフィルタされ、返すことのできるノート数がlimitを下回った場合にデータベース側から不足分を取得するように

Why

Fix #12160

Additional info (optional)

Checklist

• Read the contribution guide
• Test working in a local environment
• (If needed) Add story of storybook
• (If needed) Update CHANGELOG.md
• (If possible) Add tests

[codecov]

Codecov Report

Attention: 30 lines in your changes are missing coverage. Please review.

Comparison is base (89389ad) 78.85% compared to head (abd6194) 78.82%.

Files	Patch %	Lines
...es/backend/src/server/api/endpoints/users/notes.ts	81.03%	22 Missing ⚠️
...d/src/server/api/endpoints/notes/local-timeline.ts	71.42%	8 Missing ⚠️

Additional details and impacted files

@@             Coverage Diff             @@
##           develop   #12254      +/-   ##
===========================================
- Coverage    78.85%   78.82%   -0.04%     
===========================================
  Files          947      945       -2     
  Lines       102287   102168     -119     
  Branches      8262     8270       +8     
===========================================
- Hits         80654    80529     -125     
- Misses       21633    21639       +6     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

[github-actions]

このPRによるapi.jsonの差分

差分はこちら

--- base
+++ head
@@ -42963,6 +42963,10 @@
                   "withReplies": {
                     "type": "boolean",
                     "default": false
+                  },
+                  "allowPartial": {
+                    "type": "boolean",
+                    "default": true
                   }
                 },
                 "required": []
@@ -43161,6 +43165,10 @@
                   },
                   "untilDate": {
                     "type": "integer"
+                  },
+                  "allowPartial": {
+                    "type": "boolean",
+                    "default": true
                   }
                 },
                 "required": []
@@ -45915,6 +45923,10 @@
                   "withRenotes": {
                     "type": "boolean",
                     "default": true
+                  },
+                  "allowPartial": {
+                    "type": "boolean",
+                    "default": true
                   }
                 },
                 "required": []
@@ -46475,6 +46487,10 @@
                     "type": "boolean",
                     "default": false,
                     "description": "Only show notes that have attached files."
+                  },
+                  "allowPartial": {
+                    "type": "boolean",
+                    "default": true
                   }
                 },
                 "required": [
@@ -56447,6 +56463,10 @@
                   "excludeNsfw": {
                     "type": "boolean",
                     "default": false
+                  },
+                  "allowPartial": {
+                    "type": "boolean",
+                    "default": true
                   }
                 },
                 "required": [

Get diff files from Workflow Page

[syuilo]

allowPartial はデフォルトで true でいい気がするわね

[hideki0403]

デフォルトをtrueに変更しました:pray:

[syuilo]

1つでも件数が足りないとDBにフォールバックする実装だと、多分結構なケースでフォールバックが発生してあまりFTTの意味がなくなりそうなので、足りない場合はDBではなくRedisに追加で問い合わせるようにした方が良いかもしれないですね

[hideki0403]

Redis側から取得するように変更しました:eyes:

ただ、今の実装だとミュートを多用されている方がTLを取得した場合に"データベース側から不足分のノート情報を取得→フィルタ→不足分のノート情報取得→フィルタ→・・・"のループに入り、データベースへの問い合わせが増えてしまうケースが少なからず存在する（特に不足しているノート数が少ない場合に顕著）ので、

• 不足分が一定数を下回った場合は不足分よりもN件多くノートを取得→フィルタ→余剰分は取り除いて追加（取得件数を犠牲に問い合わせ回数を減らす）
• 現状のまま（問い合わせ回数を犠牲に最低限のノートのみ取得するように）

のいずれかで対処しようと考えているのですが、どちらの方がよさそうでしょうか...？

[syuilo]

うーーーーーーーむ

[hideki0403]

根本的な部分から改善できそうなので一旦このPR閉じて作り直します:pray: