if_python3 でスクリプトローカル関数名が UnicodeDecodeError の原因になる

[ichizok]

質問・報告の内容

test.vim

function! s:f()
endfunction
let g:F = function('s:f')
py3 vim.bindeval('g:F').name

vim -Nu test.vim

Error detected while processing /tmp/test.vim:
line    4:
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

Vim関数の PyObject (FunctionObject) の name 属性は、関数名 (C文字列) を PyUnicode_Decode() に通した値に設定される。
スクリプトローカル関数の場合、関数名は get_expanded_name() で変換した形式 \x80\xfd で始まっており、invalid UTF-8 sequence であるため UnicodeDecodeError になる。

[ichizok]

FunctionObject を作成する際、関数名 <SNR>1_f を get_expanded_name() で \x80\xfdR1_f の形式に変換していますが、これは必要でしょうか？
<SNR> のままで格納すると何か問題がある？

--- a/src/if_py_both.h
+++ b/src/if_py_both.h
@@ -2935,18 +2935,22 @@ FunctionNew(PyTypeObject *subtype, char_u *name, int argc, typval_T *argv,
                    N_("unnamed function %s does not exist"), name);
            return NULL;
        }
-       self->name = vim_strsave(name);
     }
     else
-       if ((self->name = get_expanded_name(name,
-                                   vim_strchr(name, AUTOLOAD_CHAR) == NULL))
-               == NULL)
+    {
+       char_u *p;
+
+       if ((p = get_expanded_name(name,
+                           vim_strchr(name, AUTOLOAD_CHAR) == NULL)) == NULL)
        {
            PyErr_FORMAT(PyExc_ValueError,
                    N_("function %s does not exist"), name);
            return NULL;
        }
+       vim_free(p);
+    }

+    self->name = vim_strsave(name);
     func_ref(self->name);
     self->argc = argc;
     self->argv = argv;

[ichizok]

python側で \x80\xfd 使って構築された場合に対応できない。

py3 <<EOS
f = vim.Function(b'\x80\xfdR1_f')
EOS

[ichizok]

https://github.com/vim/vim/compare/master...ichizok:fix/py3-vimfunc.diff

vim.Function() 構築時に prefix を "<SNR>" に変換する。

[ichizok]

PRed.
vim/vim#3681

[h-east]

pが3byte以上あるかチェックしなくてもOKでしょうか？

vim/vim@9c7cefc#diff-e30f7b2f6336d31826de211f8f86f376R2951

if (p[0] == K_SPECIAL && p[1] == KS_EXTRA && p[2] == (int)KE_SNR)

[ichizok]

その時点でpはNUL終端文字列であることが確実であるため、3byte以下なら途中で比較が失敗するので問題ないと思います。

[ichizok]

8.1.0627
vim/vim@9123c0b