Hiuchiの解析速度が遅い

[sonoisa]

次のコードにおいて、O(形態素 x 慣用句辞書のエントリ数)のマッチング処理が行われており、非効率的である。辞書の構造を枝刈りができるような形式にするなど、効率化を図りたい。

    def _get_candicate(self, morphs):
        candicate = []
        for morph in morphs:
            for idiom in self.idioms.dict:
                if self._is_match_pattern(morph, idiom.patterns[-1]):
                    candicate.append(idiom)
        return distinct(candicate)