[Fanbox] New url_embed types

[ghost]

Some download links are not detected properly. In addition (or in absence of?) html.card, fanbox.post and html appear within post data. Will try to collect example data to get more insight if needed. Thank you for your efforts.

[Nandaka]

Can you provide the log file? also you can try update the content_provider.json

[ghost]

Managed to retrieve data from an affected post:

https://www.fanbox.cc/@kurikara/posts/4071336 => https://api.fanbox.cc/post.info?postId=4071336

(see urlEmbedMap bits, it's at least partially the funky iframely stuff again)

{
  "body": {
    "id": "4071336",
    "title": "【商業誌告知】ペンギンクラブ2022年8+9月号／今後のペンギンクラブの話",
    "coverImageUrl": "https://pixiv.pximg.net/c/1200x630_90_a2_g5/fanbox/public/images/post/4071336/cover/17bKPzVXhXtTz8dCeDMDg8qR.jpeg",
    "feeRequired": 100,
    "publishedDatetime": "2022-07-01T20:30:40+09:00",
    "updatedDatetime": "2022-07-01T20:31:30+09:00",
    "type": "article",
    "body": {
      "blocks": [
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "image",
          "imageId": "2OXovxk6HK5ZPGF9z4Ls6B4z"
        },
        {
          "type": "p",
          "text": "現在発売中のペンギンクラブ2022年8+9月合併号にて"
        },
        {
          "type": "p",
          "text": "「パイズリ専門風俗パイデルン」のep08を描かせて頂きました。"
        },
        {
          "type": "url_embed",
          "urlEmbedId": "78yxHUrgYFIHizV0kAi1Zsuo"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "こちらはep02に登場した「かりん」さんです。"
        },
        {
          "type": "url_embed",
          "urlEmbedId": "A9et1ap6tP8PI3bMSCxWb0JU"
        },
        {
          "type": "p",
          "text": "当時、プロフィールを公開そびれていましたので"
        },
        {
          "type": "p",
          "text": "改めてプロフィールを公開いたします。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "───────────────────────────────"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "女の子のプロフィール"
        },
        {
          "type": "p",
          "text": "源氏名\t\t\tかりん"
        },
        {
          "type": "p",
          "text": "本名\t\t\t可愛 華鈴（かわい かりん）"
        },
        {
          "type": "p",
          "text": "スリーサイズ \t\t107/68/95"
        },
        {
          "type": "p",
          "text": "職業\t\t\t風俗嬢"
        },
        {
          "type": "p",
          "text": "趣味\t\t\t家事全般"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "男を甘やかすことが生き甲斐のお姉さん。"
        },
        {
          "type": "p",
          "text": "何事もそつなくこなすことできてしまう才色兼備。"
        },
        {
          "type": "p",
          "text": "その才をどんな男にも甲斐甲斐しく尽くすことに使ってしまうダメンズメーカー。"
        },
        {
          "type": "p",
          "text": "彼女の前ではどんな男も赤ん坊のようなダメンズになってしまう。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "───────────────────────────────"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "可愛華鈴は才色兼備で天性のダメンズメーカーです。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "幼少時から母子家庭育ち。国立大学卒。"
        },
        {
          "type": "p",
          "text": "かりんの母は若い頃から恋多き女性で"
        },
        {
          "type": "p",
          "text": "結婚、離婚を繰り返し水商売でかりんを育てあげます。"
        },
        {
          "type": "p",
          "text": "しかもその過程で男の扱い方を一から十まで伝授してしまいました。"
        },
        {
          "type": "p",
          "text": "おかげで今では男の扱い方に関しては右に出る物がいないエキスパートです。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "その一方で幼い頃から父が居なかった寂しさから"
        },
        {
          "type": "p",
          "text": "近づいてくる男に対しては父性を求めてしまいます。"
        },
        {
          "type": "p",
          "text": "自身を包み込んで守ってくれる父のような男性。"
        },
        {
          "type": "p",
          "text": "それが彼女の理想の男性像です。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "しかしそのためにかりんが取る行動は極端です。"
        },
        {
          "type": "p",
          "text": "男が喜ぶ事を何でも率先してこなしてしまうのです。"
        },
        {
          "type": "p",
          "text": "あらゆる要求をこなし、それ以上に尽くしてしまいます。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "そんなかりんに対して大抵の男はえらく感動し"
        },
        {
          "type": "p",
          "text": "「この子は俺が守る！ 」という思考に陥るのですが"
        },
        {
          "type": "p",
          "text": "彼女はやり過ぎてしまうのです。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "率先して何でもかんでも尽くしてしまうため"
        },
        {
          "type": "p",
          "text": "暫くすると男側が尽くされて当然、といった態度になってしまい"
        },
        {
          "type": "p",
          "text": "その後はお決まりのDVコースや浮気コースに突入です。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "かりんはそんな酷いことをされても"
        },
        {
          "type": "p",
          "text": "「私が至らないから」と"
        },
        {
          "type": "p",
          "text": "更に尽くすコースに突入してしまいます。"
        },
        {
          "type": "p",
          "text": "もはや無間地獄。天性のダメンズメーカーです。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "かりんのダメンズメーカーぶりが天性なところは"
        },
        {
          "type": "p",
          "text": "男がとてもとても聖人だった場合にも発揮されます。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "かりんがどんなに尽くしても感謝を忘れず"
        },
        {
          "type": "p",
          "text": "あまつさえ家事を率先して手伝ってくれる。"
        },
        {
          "type": "p",
          "text": "常に彼女を尊重し大事にしてくれるような素敵な男性。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "そんな男性と暫く幸せに過ごしたかりんは"
        },
        {
          "type": "p",
          "text": "「この人には私は必要ない」というコースに突入して"
        },
        {
          "type": "p",
          "text": "自ら身を引いてしまいます。"
        },
        {
          "type": "p",
          "text": "完璧な男性だと彼女が尽くせないので駄目なのです。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "彼女と共に報われるには"
        },
        {
          "type": "p",
          "text": "駄目男と聖人の境目を絶妙なバランスで"
        },
        {
          "type": "p",
          "text": "綱渡りをし続けるしかないのですが"
        },
        {
          "type": "p",
          "text": "今のところそれを実践できた者はいません。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "彼女と付き合うと最初の内は無限に甘やかしてくれるし甘えてきます。"
        },
        {
          "type": "p",
          "text": "男として産まれてきて良かったと思わずにはいられない体験が待っています。"
        },
        {
          "type": "p",
          "text": "でも待っているのは必ず自己嫌悪に陥る破滅です。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "───────────────────────────────────"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "そんなわけで私が描いてきたキャラの中でも"
        },
        {
          "type": "p",
          "text": "最大級の地雷女であるかりんさんです。"
        },
        {
          "type": "p",
          "text": "私では彼女を幸せにするルートは思いつけなかったので"
        },
        {
          "type": "p",
          "text": "どなたか幸せにしてあげてくださいね。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "───────────────────────────────────"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "ここからは蛇足的な話。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "ペンギンクラブさん、今月は合併号で8月末発売の10月号から全面リニューアルしてからの再開です。"
        },
        {
          "type": "p",
          "text": "現在の編集部の方が別の雑誌に移るので、それに伴うリニューアルとなります。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "事の顛末は編集さんや出版社の方から直接聞いてはいるのですが"
        },
        {
          "type": "p",
          "text": "言ってしまえばこの業界によくある話というか……"
        },
        {
          "type": "p",
          "text": "成年向け商業誌というのは今の時代は難しいんだな……と思わされました。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "今までペンギンクラブで描いていた作家さん達も"
        },
        {
          "type": "p",
          "text": "このまま描き続けたり、新しい雑誌で続きを描き始めたり、これを機に休載されたりと様々ですね。"
        },
        {
          "type": "p",
          "text": "長く描かれている方ほど以前の編集部と共に新雑誌に付いていく感じでしょうか。"
        },
        {
          "type": "p",
          "text": "このままだと新しいペンギンクラブは別物になってしまいそう。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "私はどうするのか、というか「パイデルン」はどうなるの？"
        },
        {
          "type": "p",
          "text": "という話ですが、こちらは特に変わりなく続きます。多分。"
        },
        {
          "type": "p",
          "text": "今は新しい編集部への引き継ぎで少しごたついており"
        },
        {
          "type": "p",
          "text": "まだ詳細は決まっていないのですが"
        },
        {
          "type": "p",
          "text": "「パイデルン」自体はこのまま続けられる見込みです。"
        },
        {
          "type": "p",
          "text": ""
        },
        {
          "type": "p",
          "text": "詳細が決まり次第、しっかりとお知らせいたします。"
        },
        {
          "type": "p",
          "text": "これからもより良いパイズリを提供して参りますので応援して頂けると嬉しいです。"
        },
        {
          "type": "p",
          "text": "今後ともよろしくお願いいたします！"
        },
        {
          "type": "p",
          "text": ""
        }
      ],
      "imageMap": {
        "2OXovxk6HK5ZPGF9z4Ls6B4z": {
          "id": "2OXovxk6HK5ZPGF9z4Ls6B4z",
          "extension": "png",
          "width": 800,
          "height": 1102,
          "originalUrl": "https://downloads.fanbox.cc/images/post/4071336/2OXovxk6HK5ZPGF9z4Ls6B4z.png",
          "thumbnailUrl": "https://downloads.fanbox.cc/images/post/4071336/w/1200/2OXovxk6HK5ZPGF9z4Ls6B4z.jpeg"
        }
      },
      "fileMap": {},
      "embedMap": {},
      "urlEmbedMap": {
        "A9et1ap6tP8PI3bMSCxWb0JU": {
          "id": "A9et1ap6tP8PI3bMSCxWb0JU",
          "type": "fanbox.post",
          "postInfo": {
            "id": "2440017",
            "title": "【商業誌告知】ペンギンクラブ2021年08月号 「パイズリ専門風俗パイデルン」ep02",
            "feeRequired": "100",
            "hasAdultContent": true,
            "creatorId": "kurikara",
            "user": {
              "userId": "24176",
              "name": "くりから",
              "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/24176/icon/zB9nJnJXIzJZpKncOMcB7UqM.jpeg"
            },
            "coverImageUrl": "https://pixiv.pximg.net/c/1200x630_90_a2_g5/fanbox/public/images/post/2440017/cover/9UpNbKhFOxa07nw0x0TGhOHv.jpeg",
            "excerpt": "Twitterでも告知したのですがこちらでも改めまして。\n現在発売中のペンギンクラブ2021年08月号にて\n「パイズリ専門風俗パイデルン」のep02を描かせて頂きました。\nhttps://www.s2comix.com/Magazines/view/m01\n今回はおっとりとしたお姉さんに優しくちんちん挟んでもらえるお話です。\nぱふぱふ→授乳手コキ→馬乗りパイズ...",
            "publishedDatetime": "2021-07-03T21:02:31+09:00"
          }
        },
        "78yxHUrgYFIHizV0kAi1Zsuo": {
          "id": "78yxHUrgYFIHizV0kAi1Zsuo",
          "type": "html.card",
          "html": "
<iframe src=\"https://cdn.iframe.ly/tuxMEeA?language=ja-JP&app=1\" allowfullscreen></iframe>
"
        }
      }
    },
    "tags": [
      "オリジナル",
      "ペンギンクラブ",
      "パイズリ"
    ],
    "excerpt": "現在発売中のペンギンクラブ2022年8+9月合併号にて\n「パイズリ専門風俗パイデルン」のep08を描かせて頂きました。\nこちらはep02に登場した「かりん」さんです。\n当時、プロフィールを公開そびれていましたので\n改めてプロフィールを公開いたします。\n───────────────────────────────\n女の子のプロフィール\n源氏名\t\t\tか...",
    "isLiked": false,
    "likeCount": 64,
    "commentCount": 10,
    "restrictedFor": null,
    "isRestricted": false,
    "user": {
      "userId": "24176",
      "name": "くりから",
      "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/24176/icon/zB9nJnJXIzJZpKncOMcB7UqM.jpeg"
    },
    "creatorId": "kurikara",
    "hasAdultContent": true,
    "commentList": {
      "items": [
        {
          "id": "3756847",
          "parentCommentId": "0",
          "rootCommentId": "0",
          "body": "かりんさんに甘やかされすぎてダメ男になったですか…男の扱い方が上手、家事全般そして107cmのおっぱいと綺麗な顔…これは確かにダメ男になりそうですね…。\nしかし、107cmのおっぱいを持つ美人が自ら男を甘やかすなんて、これを拒否できる男はいないかもしれない...。\n\nこれからもパイデルンシリーズを楽しみにしています！",
          "createdDatetime": "2022-07-02T11:41:42+09:00",
          "likeCount": 1,
          "isLiked": false,
          "isOwn": false,
          "user": {
            "userId": "12828211",
            "name": "ビショップ",
            "iconUrl": null
          },
          "replies": [
            {
              "id": "3769122",
              "parentCommentId": "3756847",
              "rootCommentId": "3756847",
              "body": "これを拒否できたらもう男じゃありませんね！かりんさんは男を甘やかす天才です(*'-'*)\nパイデルンシリーズを楽しんでくださってありがとうございます！これからもより良いおっぱいをお届けできるように頑張ります！",
              "createdDatetime": "2022-07-04T17:01:23+09:00",
              "likeCount": 1,
              "isLiked": false,
              "isOwn": false,
              "user": {
                "userId": "24176",
                "name": "くりから",
                "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/24176/icon/zB9nJnJXIzJZpKncOMcB7UqM.jpeg"
              }
            }
          ]
        },
        {
          "id": "3755587",
          "parentCommentId": "0",
          "rootCommentId": "0",
          "body": "かりんさんにとことん甘やかされて心身共に堕落した人生…全然いいですね。むしろなりたいです。\n\nパイデルンシリーズを最初から拝見してる自分としては変わらず続くのはとても朗報でございます。他の方も仰っている通りいずれは単行本として出来ることを願っております。",
          "createdDatetime": "2022-07-02T06:06:07+09:00",
          "likeCount": 1,
          "isLiked": false,
          "isOwn": false,
          "user": {
            "userId": "78681714",
            "name": "にゃむにゃむ",
            "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/78681714/icon/jEvqBhQXqpAyPdNJQ1SJGc2K.jpeg"
          },
          "replies": [
            {
              "id": "3769119",
              "parentCommentId": "3755587",
              "rootCommentId": "3755587",
              "body": "良いと思って頂けたなら嬉しいです。ありがとうございます！めくるめく共依存の世界をお楽しみください。\n\nパイデルンシリーズを見続けてくださってありがとうございます！単行本に纏めて頂けるようにこれからも頑張ります！！",
              "createdDatetime": "2022-07-04T16:59:38+09:00",
              "likeCount": 0,
              "isLiked": false,
              "isOwn": false,
              "user": {
                "userId": "24176",
                "name": "くりから",
                "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/24176/icon/zB9nJnJXIzJZpKncOMcB7UqM.jpeg"
              }
            }
          ]
        },
        {
          "id": "3753719",
          "parentCommentId": "0",
          "rootCommentId": "0",
          "body": "Oh so amazing and cute! Such a wonderful illustration! ",
          "createdDatetime": "2022-07-01T23:12:47+09:00",
          "likeCount": 1,
          "isLiked": false,
          "isOwn": false,
          "user": {
            "userId": "6324290",
            "name": "Mali-sa",
            "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/6324290/icon/SpUibOoPJjdfjbdZydL8eSnE.jpeg"
          },
          "replies": [
            {
              "id": "3769112",
              "parentCommentId": "3753719",
              "rootCommentId": "3753719",
              "body": "Thank yo so much! I'm glad!!ヽ(´ヮ｀)ﾉ",
              "createdDatetime": "2022-07-04T16:58:24+09:00",
              "likeCount": 1,
              "isLiked": false,
              "isOwn": false,
              "user": {
                "userId": "24176",
                "name": "くりから",
                "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/24176/icon/zB9nJnJXIzJZpKncOMcB7UqM.jpeg"
              }
            }
          ]
        },
        {
          "id": "3752945",
          "parentCommentId": "0",
          "rootCommentId": "0",
          "body": "設定に書かれたかりんさんの半生に涙を禁じ得ない",
          "createdDatetime": "2022-07-01T21:31:17+09:00",
          "likeCount": 1,
          "isLiked": false,
          "isOwn": false,
          "user": {
            "userId": "54101137",
            "name": "せせらぎ丸",
            "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/54101137/icon/WAwt9NjD7guN1ZSHy5E31MzB.jpeg"
          },
          "replies": [
            {
              "id": "3769109",
              "parentCommentId": "3752945",
              "rootCommentId": "3752945",
              "body": "間違った方向に才能が開花してしまいました😢",
              "createdDatetime": "2022-07-04T16:57:46+09:00",
              "likeCount": 0,
              "isLiked": false,
              "isOwn": false,
              "user": {
                "userId": "24176",
                "name": "くりから",
                "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/24176/icon/zB9nJnJXIzJZpKncOMcB7UqM.jpeg"
              }
            }
          ]
        },
        {
          "id": "3752890",
          "parentCommentId": "0",
          "rootCommentId": "0",
          "body": "かりんママに赤ん坊のように甘やかされたい...\n\nパイデルンも続けられそうで良かったです！\nこのままパイズリだけの単行本が出来ますように！",
          "createdDatetime": "2022-07-01T21:23:30+09:00",
          "likeCount": 1,
          "isLiked": false,
          "isOwn": false,
          "user": {
            "userId": "5280068",
            "name": "ケイタ",
            "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/5280068/icon/cYaNaeh4d7RysJcFWm96dsYd.jpeg"
          },
          "replies": [
            {
              "id": "3769103",
              "parentCommentId": "3752890",
              "rootCommentId": "3752890",
              "body": "是非甘やかされてやってください！\nまた単行本に纏めて頂けるようこれからも頑張って参ります！",
              "createdDatetime": "2022-07-04T16:56:26+09:00",
              "likeCount": 0,
              "isLiked": false,
              "isOwn": false,
              "user": {
                "userId": "24176",
                "name": "くりから",
                "iconUrl": "https://pixiv.pximg.net/c/160x160_90_a2_g5/fanbox/public/images/user/24176/icon/zB9nJnJXIzJZpKncOMcB7UqM.jpeg"
              }
            }
          ]
        }
      ],
      "nextUrl": null
    },
    "nextPost": null,
    "prevPost": {
      "id": "4056697",
      "title": "【高画質版】宇宙で一番可愛いAI",
      "publishedDatetime": "2022-06-29T18:57:53+09:00"
    },
    "imageForShare": "https://pixiv.pximg.net/c/1200x630_90_a2_g5/fanbox/public/images/post/4071336/cover/17bKPzVXhXtTz8dCeDMDg8qR.jpeg"
  }
}

Logs would be incredibly large, but I can always get if it'd be helpful. I don't think the provider file is involved here, but I will remember to keep that in sync regardless, thanks.

[Nandaka]

updated the content_provider.json so it can parse new urlEmbedId by configuration.

get_link_keys is used for parsing links to be stored in descriptionUrlList
keys is used for string replacement in format
format is the template used for the content
ignore = set to true if you want to skip.

[Nandaka]

updated in https://github.com/Nandaka/PixivUtil2/releases/tag/v20220825