dlg 配下のいくつかのファイルを UTF-8 (BOM付) に単純変換

[kobake]

dlg フォルダ内で単純変換して支障のないものだけを対象に変換を行いました。

手順

cd sakura_core/dlg
nkf --overwrite --oc=UTF-8-BOM *.cpp
nkf --overwrite --oc=UTF-8-BOM *.h
git checkout CDlgPluginOption.cpp
git chcekout CDlgFavorite.cpp
git checkout CDlgCtrlCode.cpp
git checkout CDlgOpenFile.cpp

5b47e20 の行削除は手動対応。

変換対象外のファイル

• CDlgPluginOption.cpp … _T("\u2611") が気になったので変換保留
• CDlgFavorite.cpp … _T("▼") は別途対応が必要と思われるので変換保留
• CDlgCtrlCode.cpp … _T("・") は別途対応が必要と思われるので変換保留
• CDlgOpenFile.cpp … _T("変換なし"), // ダミー が気になったので変換保留 (コメントにはダミーとあるけど本当にダミーかどうか精査が必要)

[m-tmatma]

プロジェクトの文字コード指定は問題にならないですか？

[kobake]

プロジェクトの文字コード指定の影響受けないところだけ変更してます。

ファイルのエンコーディングを SJIS -> UTF-8 に変更しましたが、今回の変更内容に含まれる文字列定数は全部 ANSI 文字列なので影響無しです。

[berryzplus]

すみません。何のために変換するかついていけてないので教えてください →自己解決しました〜。

除外理由に挙がってるものは
全角文字が入ってるのは不安だからやめとく
と読めました。

sjisで文字化けしないすべての文字は正しくutf8に変換できます。
あと、¥uXXXXで指定した文字はエンコードの影響を受けません。

utf8のファイルに書かれた char* リテラルは、
ロケールに従ってANSI(=sjis)に変換されて埋め込まれる仕様のようです。

さっき確認してみたんですが、vs2017でconsoleプロジェクトを新規作成すると、cppの文字コードはUTF16になるようでした。日本語の場合、utf8よりもutf16の方がサイズ的に有利だった気がします。
あ、c++コードでコメントなしだと utf8 のが圧倒的に有利ですが 😄

[berryzplus]

検証したファイルあげときます。
[ConsoleApplication1.zip](https://github.com/sakura-editor/sakura/files/2089697/ConsoleApplication1.zip

[kobake]

sjisで文字化けしないすべての文字は正しくutf8に変換できます。
あと、¥uXXXXで指定した文字はエンコードの影響を受けません。

\uXXXX については知識としては把握しているのですが実際に試したことがなかったので
試すまでもなく修正影響が出ないことが自明なファイルだけ変換しました。

さっき確認してみたんですが、vs2017でconsoleプロジェクトを新規作成すると、cppの文字コードはUTF16になるようでした。日本語の場合、utf8よりもutf16の方がサイズ的に有利だった気がします。

なるほど。しかし現代の標準ってほぼ UTF-8 な気がするんですよね…。git diff も UTF16 だと binary 扱いになっちゃいますし。

サンプルとしてあげていただいた zip 内ソースコードは UTF-8 になっていましたが、これは手動変換したものですか？

[kobake]

除外した4ファイルについては別件として対応することを考えています

[berryzplus]

あっちこっちバラバラしててすみません。

• GitHubで誤判定されることがあるから文字コード変えます。
  → 了解です。githubで扱いやすくだからutf8なのも了解です。

[berryzplus]

懸賞で使ったzipは手作業でutf8に変換しました。

[berryzplus]

¥uXXXXについて、char* リテラルの一部として書かれている場合、ビルド時ロケールによっては化けるかも。Wcharリテラルなら化けないです。

[berryzplus]

MinGWは文字コード検出してくれなかった気がするので、変換除外で保留するとmakefileに手を入れないといけない気がしてきました。

[kobake]

変換除外したものは別件として処理することを考えています。
変換内容が混在しているとレビューが難しくなるため今回は影響のないことが自明なもののみのPRとさせてください。

[kobake]

これマージされたら他のファイル群も順次 UTF-8 にしていきます

[kobake]

これって今何かの待ちになってますか？

[berryzplus]

何も問題ないと思ってますが、中身何も見れてません。文字コードと空白以外で差分がなければokで良いです。iPhone だと判断厳しいですw

[m-tmatma]

文字コード、コメント内の句読点、 5b47e20 で削除された部分以外の差分がないことを確認しました。