TokenMeCab と TokenFilterStopWord とオプションつきの TokenFilterNFKC100を組みあわせると StopWordが効かない

[masudakz]

添付 test.txt を実行すると TokenFilterStopWordのチュートリアル の期待する結果になりません

DROP TABLE IF EXISTS memos, terms;
CREATE TABLE terms (
  term VARCHAR(64) NOT NULL PRIMARY KEY,
  is_stop_word BOOL NOT NULL
) Engine=Mroonga
COMMENT='tokenizer "TokenMeCab", normalizer "NormalizerNFKC100",
 token_filters "TokenFilterStopWord,TokenFilterNFKC100(''unify_kana'', true)"'
DEFAULT CHARSET=utf8;
CREATE TABLE `memos` (
  `id` int(11) NOT NULL,
  `content` text NOT NULL,
  PRIMARY KEY (`id`),
  FULLTEXT KEY `content` (`content`) COMMENT 'table "terms"'
 ) ENGINE=Mroonga DEFAULT CHARSET=utf8;
INSERT INTO terms VALUES ("AND", true);
INSERT INTO memos VALUES (1, "Hello"),(2, "Hello and Good-bye"),(3, "Good-bye");
SELECT * FROM memos WHERE MATCH (content) AGAINST ('+"Hello and"' IN BOOLEAN MODE);

>source test.txt
...
+----+--------------------+
| id | content            |
+----+--------------------+
|  2 | Hello and Good-bye |
+----+--------------------+
1 row in set (0.034 sec)

期待する結果は

+----+--------------------+
| id | content            |
+----+--------------------+
|  1 | Hello              |
|  2 | Hello and Good-bye |
+----+--------------------+

TokenFilterNFKC100 のオプション指定を外した test0.txt なら期待する結果になります。
token_filters "TokenFilterStopWord,TokenFilterNFKC100"

test.txt
test0.txt

[masudakz]

こちらの環境情報です

Server version: 10.4.17-MariaDB-log MariaDB Server
> show variables like 'mroonga_version';
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| mroonga_version | 10.10 |
+-----------------+-------+

[komainu8]

GroongaでMroongaから受け取った"TokenFilterStopWord,TokenFilterNFKC100(''unify_kana'', true)"をパースする箇所に問題がある。

token_filters "TokenFilterStopWord, TokenFilterNFKC130(''unify_kana'', true)"'

#<expr
  vars:{
    $1:#<record:pat:terms id:(no value)>
  },
  codes:{
    0:<push n_args:1, flags:0, modify:0, value:#<proc:token-filter TokenFilterStopWord arguments:[]>>,
    1:<push n_args:1, flags:0, modify:3, value:#<proc:token-filter TokenFilterNFKC130 arguments:[]>>,
    2:<push n_args:1, flags:0, modify:0, value:"unify_kana">,
    3:<push n_args:1, flags:0, modify:0, value:true>,
    4:<call n_args:3, flags:0, modify:0, value:(NULL)>,
    5:<comma n_args:2, flags:0, modify:0, value:(NULL)>
  }

Groonga内で"TokenFilterStopWord,TokenFilterNFKC100(''unify_kana'', true)"は上記のようにパースされるが、以下のように現状では、callが必ず最後にでてくることを想定した作りになっているため、無効な引数(GRN_INVALID_ARGUMENT)扱いになり、TokenFilterがGroongaのテーブルに登録されない。

  for (; codes < codes_end; codes++) {
    switch (codes[0].op) {
    case GRN_OP_PUSH :
      break;
    case GRN_OP_CALL :
      if (codes + 1 != codes_end) {
        return GRN_FALSE;
      }
      break;
    case GRN_OP_COMMA :
      break;
    default :
      return GRN_FALSE;
    }
  }

[komainu8]

Groongaのコードを修正して手元では動作するようになった。他の箇所へ影響がないかCIで確認中。
groonga/groonga#1175

[komainu8]

CIをパスしたのでPRした。
groonga/groonga#1175

[komainu8]

@masudakz 修正しました。
次のリリース(2021/4/29リリース予定)のGroongaをお使いいただければと思います！

[masudakz]

改修ありがとうございます。