感谢开源，受益匪浅

[yauntyour]

前段时间，我针对现有的Linear Attention对softmax的近似带来的精度损失和训练不稳定的问题，提出了“Exact Linear Attention”——通过一类原生支持精确分解的核函数代替原有的近似理论，并在此基础上取得了一定的成果，成功利用小数据集和经典GPT对比训练测试，同时还有一些诸如超链路（Hyper-Link）、MoE bias（专家路由权重偏置）、记忆叶等等工程实现方面的创新。

在我的项目中，为了快速迭代验证核函数的收敛性能，使用一个比较小的tokenizer是不二之选，而minimind的tokenizer只有6400大小并且原生对接qwen的tokenizer，无论是快速简单训练还是后期扩展都相当不错。

基于ELA理论设计的模型已经成功由纯文本MoE模型推广到了yolo-latdet的视觉目标检测模型，可以说阶段性成功了也是，特此感谢伟大的开源神🖐️😭🤚

仓库地址：https://github.com/yauntyour/Exact-Linear-Attention