(u)pTeX で expl3 をサポートするために

[aminophen]

発端は latex3/pdfresources#18 あるいは latex3/latex3#939 の「expl3 が pTeX/upTeX の和文文字トークンを通してくれない」という件です。この問題により，近い将来 hyperref でメタデータに日本語を使えなくなる恐れが出てきています。また，現時点で既に biblatex で日本語エントリが通らない問題が発生しています。

• https://acetaminophen.hatenablog.com/entry/2021/06/18/022108

これに完全に対処するには #81 の「和文／欧文文字トークンが混同される問題」への対処も必要です（特に \detokenize で欧文が和文に化けるため）。現在の pTeX/upTeX ではうまくいかないので，「LaTeX team に当面の間は expl3 のルーチンを使わないことを依頼して，TL2022 までの間に pTeX/upTeX エンジンを修正して『expl3 が正常に和文文字トークンをサポートできる体制』を整える」が急務になっています。

直近起きる恐れのある hyperref に対しては

• TL2021 の間 … hyperref には古い変換コードを選べるインタフェースを用意してもらう＋ @h20y6m さんの upLaTeX 用コードを l3str-convert に送れば，致命的に「hyperref が pLaTeX でも upLaTeX でも全く使えない」は避けられそう。
• TL2022 に向けて … 「\ucs, \toucs を pTeX に入れて，それを活用して @h20y6m さんのコードを pLaTeX にも対応させる」+「pTeX / upTeX ともに，和欧文トークンの区別をつける改修 (バイト列と和文文字トークンの区別 #81) を頑張る」

が良いだろうということで #121 が持ち上がってきました。

[aminophen]

#81 でバイト列と欧文文字の区別をつけるようになり，TeX Live 2022 pretest も始まったので（TL2021 はまだ frozen ではありませんが），expl3 サポートの方も動き始めたいと思います。

@h20y6m さんの「コード その2」を pLaTeX の plexpl3 に取り込ませていただく方向で進めるとよいのでしょうか。あるいは，上流に取り込んでもらった方がいい部分がありますか？

[h20y6m]

上流に取り込んでもらった方がいい部分がありますか？

l3basics：\tex_toucs:D にはついては \toucs プリミティブが追加されたことを報告すれば追加されるだろうと思います。

l3str-convert：この部分はできれば latex3 側に取り込んでもらいたいと思っています。utf8 の encode/decode 関数内に和文文字フック用のスタブを差し込んでいます。

その他：pdfmanagement-testphase (l3pdftools) が default エンコーディングを utf8 に上書きしているのを変更してもらう。

あたりを想定しています。

[aminophen]

l3basics

\tex_toucs:D 他，TL2022 追加プリミティブは本家で登録されたようですね。