关于eval

[nuoma]

您好，

我只看到了一些主观的评测，不知道你们有没有尝试去跑一些benchmark？
因为我现在看来其实几个llama中文适配的语料都大差不差，百科啊新闻啊这种。你们和他们的区别就是没动词表，且增量的时候混了英文语料。那么我就很好奇这么做从eval的数字上和其他的方法相比如何。

谢谢！

[zxlzr]

您好，感谢关注

我们这个项目的主要目的是提供一个开源框架，同步发布一系列模型（如一期发布的抽取大模型）促进大家学术研究和应用，抽取大模型主要是针对知识抽取而非通用任务，所以我们没有在通用nlp任务上跑benchmark。我们会在项目二期发布通用的knowlm模型。

谢谢！

[nuoma]

了解了，谢谢。 issue closed.