A memory-efficient and fast hybrid matcher

[darsvador]

#587 implemented a fast domain matcher based on AC automata. It is much faster than the original matcher, but it takes up a lot of memory when patterns increase. I reimplemented a hybrid matcher, which is 10% slower than the pure AC automata method. But it is still 25% faster than the original matcher and more memory-efficient than the original matcher and pure AC automata. The figure below is a comparison of hybrid matcher and original matcher implementation benchmarks.

[LazyZhu]

现在要讨论的是只根据 . 分节点是否还适合, 因为对于域名这种数据有着特殊性, 根据最新数据 com 独占 51% 剩下的都在 5% 左右, 这种差距在域名排名中越靠前越大, 有兴趣可以找 top-1m domains 数据研究下.
在这种情况下只根据 . 分节点来提高查找效率效果非常有限. 解决方式就是除去 .tld 后采用按字符分节点, 最合适的是 radix-tree

          com
           /  \
          h    world
         / \
        el  y
        / \  \
       l   x  xxx
      / \   \
     o   x   o

[darsvador]

现在要讨论的是只根据 . 分节点是否还适合, 因为对于域名这种数据有着特殊性, 根据最新数据 com 独占 51% 剩下的都在 5% 左右, 这种差距在域名排名中越靠前越大, 有兴趣可以找 top-1m domains 数据研究下.
在这种情况下只根据 . 分节点来提高查找效率效果非常有限. 解决方式就是除去 .tld 后采用按字符分节点, 最合适的是 radix-tree

          com
           /  \
          h    world
         / \
        el  y
        / \  \
       l   x  xxx
      / \   \
     o   x   o

1. 这个pr的实现实际上并非按照.分隔的,而是统一将domain和full俩种规则都放入hashmap之中,特别地,substring规则则交由ac自动机处理.
2. 也许你可以把你的想法实现,benchmark一下.

[kslr]

Thanks for your work.