enc=utf-8 時に外部コマンドに渡されるマルチバイト文字がutf-8である為、正しく実行されない。

[mattn]

ネタ元は

mattn/jvgrep#18

です。読んで頂ければだいたい分かると思いますが、utf-8 で引数を渡しているので DBCS の断片に判断された場合 ) が消えてエラーとなります。

[mattn]

解決方法としては、コマンドライン引数を GetACP() に合わせて DBCS に戻す方法ですが、どうでしょ？

[mattn]

または W 系関数を使うとか

[mattn]

https://gist.github.com/6153332

誰かレビューよろ

[mattn]

これは出来れば 7.4 までには入れたい

[Shougo]

すみません、この文字列変換というのはどういうときの外部ファイルの実行に適用されるのでしょうか。
system()の動作に影響がないのなら良いのですが、system()の挙動が変わる場合、後方互換性が失われます。

[mattn]

引数のみ変換します。

そもそもACPがutf-8でないのにutf-8の引数を渡すこと自体が問題なので、互換性が壊れるというより元々壊れていたというのが正解です。

[koron]

enc==ACPの時は未変換なのね。

CreateProcessのUTF-8対応 ついでに その他のencも対応した よ、
という位置付けなんですね。有りだと思います。

[k-takata]

FEAT_MBYTE ではない場合は、#define _create_process(...) CreateProcess(...) の方が無駄なコードがなくなって良い？（どっちでもいいですが。）

あと、GUIではない場合の以下の部分も対処が必要ではないでしょうか。

# define mch_system(c, o) system(c)

[koron]

メンテ性を考えれば今のほうが良いです。inline展開的な最適化はコンパイラの仕事ですし。

[Shougo]

そもそもACPがutf-8でないのにutf-8の引数を渡すこと自体が問題なので、互換性が壊れるというより元々壊れていたというのが正解です。

だいたい分かりました。つまり、utf-8を渡そうとした時に変換をするんですね。
となると、よくあるコードでVim script側でutf-8 -> ACPに変換したときは動作が変わらないという認識で良いでしょうか？

[mattn]

となると、よくあるコードでVim script側でutf-8 -> ACPに変換したときは動作が変わらないという認識で良いでしょうか？

はい。逆に正しく動きます。

[mattn]

では送ります。

[k-takata]

これは？

あと、GUIではない場合の以下の部分も対処が必要ではないでしょうか。

[Shougo]

はい。逆に正しく動きます。

了解です。

[mattn]

これは？

おっと忘れてた

[mattn]

パッチ更新

[mattn]

https://groups.google.com/d/msg/vim_dev/UsAv0LIIEug/GoD3DLbTDusJ

[k-takata]

となると、よくあるコードでVim script側でutf-8 -> ACPに変換したときは動作が変わらないという認識で良いでしょうか？

はい。逆に正しく動きます。

そうなんでしょうか？
今までのバグった動作に対するワークアラウンドとして、enc=utf-8 のときにVim script側で ACP に変換して system() を呼んでいたということであれば、そのワークアラウンドを削除しないと、このパッチを当てたあとは正しく動かない気がしますが。

[Shougo]

今までのバグった動作に対するワークアラウンドとして、enc=utf-8 のときにVim script側で ACP に変換して system() を呼んでいたということであれば、そのワークアラウンドを削除しないと、このパッチを当てたあとは正しく動かない気がしますが。

system()の実行にも影響があるので、コードを見る限りだと、たしかにそのとおりになりそうですね。
うーん、プラグインの検証の手間が大変になりそうな気がします。

[mattn]

そうなんでしょうか？
今までのバグった動作に対するワークアラウンドとして、enc=utf-8 のときにVim script側で ACP に変換して system() を呼んでいたということであれば、そのワークアラウンドを削除しないと、このパッチを当てたあとは正しく動かない気がしますが

それはありますね。

[Shougo]

system()以外の外部コマンド実行に関しては、プラグイン側でWork around する余地が少ないので問題が発生しにくいですが、system()に関しては、プラグイン側でどれだけ対応が必要になるのか見積もったほうが良いように思います。

[mattn]

Thanks. I wonder why nobody reported a problem with this before. Just
not so many users in this situation or are they not using multi-byte
characters with external commands?

:vimgrep works properly, right?

なぜ今まで誰も報告してこなかったんだろう。マルチバイト文字を外部コマンドで使っているユーザがそんなに多くなかったから？

:vimgrep がいい感じ動くから？

という質問が来てるけど、僕は cp932 使ってるので分からない。誰か答えてあげて。

[mattn]

system()以外の外部コマンド実行に関しては、プラグイン側でWork around する余地が少ないので問題が発生しにくいですが、system()に関しては、プラグイン側でどれだけ対応が必要になるのか見積もったほうが良いように思います。

見積もるって僕が？
そもそも見積もっても仕方ないと思うけど。

[Shougo]

なぜ今まで誰も報告してこなかったんだろう。マルチバイト文字を外部コマンドで使っているユーザがそんなに多くなかったから？

「Windows環境で、エンコーディングをutf-8にしていて、マルチバイト文字を外部コマンドに渡す」という再現条件が限定的だからでは？

[Shougo]

#179

外部コマンドのエンコーディングの話題はここで以前議論されていたと思っていて、

無駄ではありません。外部コマンドの入出力のlocaleが何になるかについてVim本体は絶対にわかりません。あくまでもその外部コマンドを実行したプラグインで制御すべきことです。

自動変換してしまうと、プラグイン側で制御する余地がなくなるのではないでしょうか。

[k-takata]

コマンドラインのエンコーディングと、標準入出力のエンコーディングは完全に分けて考える必要がありますが。

[k-takata]

これ以外にも enc=utf-8 でうまく動かないバグがないかが気になるところです。（私も何件か直しましたが。）

[k-takata]

これは出来れば 7.4 までには入れたい

残念！ todo入りになりました。

Patch to make external commands work with multi-byte characters on Win32 when
'encoding' differs from the active codepage. (Yasuhiro Matsumoto, 2013 Aug 5)

[k-takata]

7.4.122でマージされました。
https://groups.google.com/d/topic/vim_dev/KXzoTZz3-MY/discussion

[k-takata]

VCでビルドしたらwarningが出ました。

os_win32.c(3842) : warning C4090: 'function' : different 'const' qualifiers
os_win32.c(3856) : warning C4133: 'function' : incompatible types - from 'STARTUPINFO *' to 'LPSTARTUPINFOW'
os_win32.c(3865) : warning C4090: 'function' : different 'const' qualifiers

修正パッチ送付済み。
https://groups.google.com/d/msg/vim_dev/KXzoTZz3-MY/f6bGV2tA7e4J

[k-takata]

7.4.126で取り込まれました。
https://groups.google.com/d/topic/vim_dev/NDZKiIOR47U/discussion

[k-takata]

https://groups.google.com/d/msg/vim_dev/KXzoTZz3-MY/aBCzYETlBQIJ
flags と inherit_handles が逆だとの指摘。

[k-takata]

7.4.132で直りました。
https://groups.google.com/d/topic/vim_dev/o2zz22kRb58/discussion