Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

C-Eval 效果评测 #561

Closed
4 tasks done
Ricardokevins opened this issue Jun 11, 2023 · 2 comments · Fixed by #601
Closed
4 tasks done

C-Eval 效果评测 #561

Ricardokevins opened this issue Jun 11, 2023 · 2 comments · Fixed by #601

Comments

@Ricardokevins
Copy link

Ricardokevins commented Jun 11, 2023

详细描述问题

很惊喜的看到在C-eval上惊人的效果,Chinese-Alpaca的效果很好,基于这个模型我在自己的领域上也进行了微调,想问问会放出评测的脚本吗,可以很方便的比较微调带来的影响。

将[ ]中填入x,表示打对钩。提问时删除这行。 前三项请按自己的问题类型保留符合的选项。

  • [Alpaca-Plus ] 基础模型:LLaMA / Alpaca / LLaMA-Plus / Alpaca-Plus(同时说明模型大小:7B/13B/33B)
  • [Linux ] 运行系统:Windows / MacOS / Linux
  • [ 模型推理问题] 问题分类:下载问题 / 模型转换和合并 / 模型训练与精调 / 模型推理问题(🤗 transformers) / 模型量化和部署问题(llama.cpp、text-generation-webui、LlamaChat) / 效果问题 / 其他问题
  • 模型正确性检查:务必检查模型的SHA256.md,模型不对的情况下无法保证效果和正常运行。
  • (必选)由于相关依赖频繁更新,请确保按照Wiki中的相关步骤执行
  • (必选)我已阅读FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案
  • (必选)第三方插件问题:例如llama.cpptext-generation-webuiLlamaChat等,同时建议到对应的项目中查找解决方案
@ymcui
Copy link
Owner

ymcui commented Jun 11, 2023

是的,c-eval解码代码近期会开放给大家。

@Ricardokevins
Copy link
Author

是的,c-eval解码代码近期会开放给大家。

wow,非常感谢。期待您的工作。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging a pull request may close this issue.

2 participants