我对llama.cpp项目的观察与思考

[zhouwg]

我从2024年4月前后开始重度参与llama.cpp项目（前后投入了人民币近2万元购买硬件设备用于开发测试以及累计11个月接近大公司在职员工满负荷开发时间。按照购买力计算，2万元人民币大概等于1万美元或者2万美元），因为其官网的一些文字打动了我，最开始对这个项目抱有很高的期望，以为它与众不同。近3年的经历，让我深刻的理解到：说的比做的好听，不分国家/项目。

1. 对来自大公司/知名公司贡献的偏好

1.1 对来自高通这样的美国大公司的贡献非常宽容

高通技术专家提交且被merge的一个PR，被llama.cpp的作者revert，他们之间是如此宽容&大度。

ggml-org/llama.cpp#27433

1.2 对独立开发者的双重标准

ggml的官网写到：“We built ggml in the spirit of play. Contributors are encouraged to try crazy ideas, build wild demos, and push the edge of what’s possible”。

但是，在llama.cpp项目中，我想几乎每个参与者都能观察到维护者们对于来自大公司/知名公司贡献的偏好。

一个来自普通开发者/未注明作者背景的开发者的rknn硬件加速后端PR被维护者之一关掉，理由是该PR大量使用了AI辅助开发，但是我们可以看到llama.cpp中有一个已经被llama.cpp原始作者approve且merge的PR的作者声称该PR完全由AI生成。我看了以后非常震惊：这是赤裸裸的双标，可能是因为该PR是对ggml-metal后端提交的PR，而ggml-metal正是llama.cpp原始作者最喜欢的后端。

对于这个案例，我的理解：如果rknn硬件加速后端的PR来自Rockchip，我想该PR大概率会被维护者们接受。

2. 对ggml-metal后端与ggml-rpc后端的偏好

曾经我在llama.cpp项目中看到metal是llama.cpp的一等公民的表述，当时很震惊：这是一个来自欧洲的开发者应该说的话吗？

至于ggml-rpc后端，所有llama.cpp项目的参与者都理解这个后端的作者与llama.cpp作者的关系（我的账号第一次被封号，也与这个后端有关：裙带关系，在中国几千年的历史中屡见不鲜，没想到欧洲的顶尖开发者也概莫能外，但凡了解亚洲文化/中国文化的人，都会理解什么叫回避，不给掌握了巨大权力的亲属带来不必要的麻烦。因为对ggml-rpc的作者提交的一些PR有异议，与他发生了争论，叠加自己的其他失误，导致github主账号在2024年7月份遭遇第一次封号)。

3.FastRPC-based ggml-hexagon作者的3个github账号被封号

ggml的官网写到：“We built ggml in the spirit of play. Contributors are encouraged to try crazy ideas, build wild demos, and push the edge of what’s possible”。

FastRPC-based ggml-hexagon作者的3个github账号（GitHub: zhouwg / jeffzhou‑zhouwg / jeff‑zhouwg）被封号，第1个账号在2025年7月被封号的理由，我可以理解；第2个账号在2026年8月被封号，我也能理解并接受（我编辑了ggml-org/llama.cpp#26227 次数太多，可能触发了群发邮件通知给维护者们带来了麻烦）；但是第3个账号在2026年8月被封号，我完全无法理解，尤其是第3个账号根本没有提交任何PR的意图依然被无情封号:高通技术专家对我使用第3个github账号在 ggml-org/llama.cpp#26501 中的review做了回复，并没有封号的意图。

我的第3个github账号被无情&冷酷&没有道理封号，促使了我对这位我曾经顶礼膜拜现在依然对其强大技术实力抱着深深敬意的欧洲顶尖开发者的深度反思。西方很多国家的一些不明真相的人士对中国管理当局带着有色眼镜，看看llama.cpp原始作者的上述做法（尤其是对FastRPC-based ggml-hexagon的第3个github账号进行封号）之后，对于“独裁”这两个字是否会有不同的理解？

4. 对来自不同国家/地区的贡献的模糊处理

ggml-webgpu来自美国开发者，纯粹是一个玩具后端，在非常粗糙的阶段，ggml-webgpu的第一个PR，很快被llama.cpp的原始作者接受。

ggml-et来自中国台湾开发者，可以看作是一个玩具后端，ggml-et后端的第一个PR是一个超大型PR，并没有经过严格的review，很快被一些维护者接受。llama.cpp项目的原始作者以及一些不了解亚洲文化的维护者可能无法理解/很难理解：对于很多来自中国的开发者而言，无论PR多么好技术多么高，如果该PR作者是台独分子，不可能得到来自中国开发者的100%支持。

FastRPC-ggmlhexagon的作者来自中国，FastRPC-ggmlhexagon是当前被全世界广泛使用的高通Snapdragon芯片的加速后端，且在多个模型上比高通官方实现有性能优势，但是不知道什么原因（我猜测是llama.cpp的原始作者希望维持与高通的良好关系希望高通的在职员工更加积极的参与llama.cpp项目，这种为了所谓的“大局”放弃其在ggml.ai官网宣称的初心/引以为傲的价值观进而牺牲个体的做法，在中国几千年的历史中屡见不鲜），始终无法被接受。

当然，为了体现他们的“公平/平等/公正”等引以为傲的价值观，他们也会接受来自中国普通开发者/未注明作者背景信息开发者的贡献。

5. slaren去哪里了？

slaren是llama.cpp的重要贡献者之一，更是llama.cpp backend subsystem的原始作者，他去哪里了？为什么他突然从llama.cpp项目消失了？

虽然slaren在PR-12326中支持了PR-12326的竞争PR（与PR-12326没有本质区别，只是用漂亮的C++做了封装），我与他存在分歧，但我依然对他的强大技术实力抱有深深的敬意。我很好奇，在llama.cpp被huggingface收购之后，为什么他作为llama.cpp的重要贡献者，突然从这个项目消失了？

6.华为去哪里了？

一度我看到ggml-cann与ggml-opencl在llama.cpp项目共存，来自华为与高通的在职员工争相为llama.cpp做贡献，很感动：虽然华为与高通是众所周知的竞争对手，但是依然可以在同一个开源项目中共存；虽然人类有很多分歧，但是我们只有一个地球，相互尊重&求同存异多好。

华为作为ggml-cann的贡献者，为什么突然从llama.cpp消失了？

7.令人感动的瞬间

Intel ggml-sycl的维护者非常友好（我提交了一个后来被revert的PR，在提交PR后，我自己评估这个PR可能有问题，自己关掉了，但是没想到Intel维护者又re-open了那个PR并且approve，这令我非常感动）， Nvidia ggml-cuda的维护者很友好（我提交了一个后来我自己主动关掉的与Nvidia老显卡有关的PR，没想到Nvidia的维护者主动回复了我的帖子并给出了重要提示）。虽然我对高通技术专家的强大技术实力抱有深深的敬意，但Intel与Nvidia在llama.cpp项目中展现了与高通截然不同的价值观（强行关掉我的PR，直接误导了llama.cpp的原始作者的判断，最终导致我的第2个第3个github账号也被封号。一方面高通的人似乎将llama.cpp当作刷KPI的地方，提交大量的PR且基本上都能被merge，代码经常改来改去；一方面来自独立开发者基于高通Hexagon SDK与高通Hexagon算子做出的在某些模型上性能比高通官方还好的加速后端却无法被llama.cpp原始作者与高通接受；看了llama.cpp原始作者在其官网中的宣称，何其讽刺，任何一个有基本公平正义价值观的人看了，可能都会觉得这是巨大的双标）。

ggml-vulkan的原始作者很友好（我犯了低级错误，提交了被证明是不合适的PR，但他依然对我比较友好）。我对荷兰这个国家一向抱有好感，ggml-vulkan的原始作者再次令人感动。

我的第2个账号被封号后，没想到还有来自德国的开发者回复我，所以我注册了第3个github账号特意做了回复(万万没有想到，仅仅因为我对高通的一个PR做了review，再次遭遇封号）。

8.我的建议

一个有全球影响力的开源项目的核心维护者不一定是该项目的原始作者, FFmpeg就是最好的例子。

llama.cpp原始作者虽然技术实力非常强大为人类做出了重要贡献，但他在PR-27642上的重大误判与重大失误，再一次充分证明了他并不适合掌舵llama.cpp这样具有全球影响力的开源项目。他在2024年7月关掉PR-6869并在其个人项目中封掉我的github主账号（也是我的第一个github账号），我可以理解也能接受；他在2025年7月关掉 PR-12326并在ggml-org中封掉我的github主账号（也是我的第一个github账号） 我可以理解也能接受；但是他2026年8月在PR-27642上的错误判断与偏激行为（高通技术专家并没有封号的意图但是他为了迎合高通这样的美国大公司短时间内封掉了我新注册的两个github账号，尤其是封掉我最后一个新注册的根本没有提交PR意图的账号）再一次充分证明了他只是一个技术实力很强大且有强烈个人偏好的开发者，但并不具备领导有全球影响力的开源项目的能力（一个好的领导者应该能容纳不同的声音容纳不同背景的参与者，而非仅仅凭借个人的喜好就作出重大决策）。

ngxson是llama.cpp的重要贡献者同时也是mtmd subsystem的原始作者，他具备亚洲文化背景且在法国留学具备多元文化背景，他精通英语/中文/法语，精通C++，精通AI技术，熟悉Android开发。基于我近三年参与 llama.cpp 项目的经历，我认为他秉持更加公平、平等的价值取向，言行也较为一致。尤为可贵的是，面对来自高通在职人员提交的存在问题的 PR，他能够坚持原则予以拒绝，不会因为提交者的企业背景而妥协。在 llama.cpp 已经被 Hugging Face 收购的新阶段，我认为他十分适合承担llama.cpp的核心维护角色。

llama.cpp项目的管理需要改革，成立技术委员会（Technical Steering Committee, TSC)，尽量避免llama.cpp原始作者在重大决策上一个人说了算。llama.cpp项目有大量来自中国开发者的贡献，应该增加一位来自中国的开发者作为TSC的核心成员之一，具备在封号之类的重大决策上的一票否决权。llama.cpp被huggingface收购后，已经不再是其原始作者的个人项目，应该摈弃原始作者强烈的个人偏好，这样或许有助于llama.cpp走的更远&更加有影响力；一个顶尖开发者做出了具有全球影响力的项目，如果忘记了初心，那么或许已经不再适合做项目的核心维护者。只有不忘初心，才能行稳致远。

[zhouwg]

TODO:

1.添加原始链接，增加可信度

2.在中文版撰写完成后，由GLM-5.2/GLM-5.3翻译为英文，并考虑@ huggingface的CEO&CTO。

3.听说Nvidia打算收购huggingface，我希望Nvidia的人能够看到这个帖子，然后重新评估llama.cpp的价值或者重新评估llama.cpp项目的管理:我只是一个来自中国的普通开发者，在llama.cpp社区中算很遵守规则（除了因为英语不太好编辑PR与帖子次数过多导致邮件群发通知给维护者们带来一点麻烦），llama.cpp的一些维护者可以随意封我的号；他们敢于对高通/对美国大公司也这样吗？

[zhouwg]

https://blogs.nvidia.com/blog/nvidia-to-acquire-hugging-face/

Nvidia官宣收购了huggingface，期待能给llama.cpp项目带来一些变化，期待能够解封我的一个github账号，最好能将我10年前注册的github账号（也就是此账号）解封。

[zhouwg]

llama.cpp作者毫无疑问是不可世出的天才程序员，天才程序员可以继续做项目的tech leader，但项目管理最好由专门的community manager来负责，涉及到封号等问题的巨大权力不应该由llama.cpp的作者一个人说了算。