ninfer-actkv 1.5

dflash2，新增nvfp4格式支持
--port 18200 --model-id ninfer-27b ^
--max-context 262144 --kvmem-sink-tokens 1024 ^
--prefill-chunk 256 --no-cuda-graph --full-draft-head ^
--kvmem-budget 36864 --kvmem-gen-reserve 16384 --kvmem-host-mib 12288 ^
--kvmem-lrfu ^
--kv-dtype nvfp4 --temperature 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 ^
--spec dflash2 --draft-tokens 4 --ngram-draft-tokens 15 ^
--vision --vision-residency cpu --vision-max-merged 256 ^
--default-reasoning-effort xhigh --default-thinking-budget 16384

由于使用gsq iq3s模型，16g显存上限+dflash2模型容易爆，使用nvfp4的dflash2后，需要使用--no-cuda-graph，才能正常加载。
经过256k+鹈鹕测试，性能提升在10%左右，需要配合ngram，在dsh中，从原先的，55/t提升为61/t，存在一定浮动。
iq3s如果使用gguf的草稿，只能用q3km，dflash2，其他的绝对会爆显存
所以使用该方法只算另外一种兼容方式，相比mtp性能提升不明显。

mtp
--port 18200 --model-id ninfer-27b ^
--max-context 262144 --kvmem-sink-tokens 1024 ^
--prefill-chunk 256 ^
--kvmem-budget 36864 --kvmem-gen-reserve 16384 --kvmem-host-mib 12288 ^
--kvmem-lrfu ^
--kv-dtype int8 --temperature 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 ^
--spec mtp --draft-tokens 4 --ngram-draft-tokens 31 --adaptive-mtp --full-draft-head ^
--vision --vision-residency cpu --vision-max-merged 256 ^
--default-reasoning-effort xhigh --default-thinking-budget 16384

其他更新，可见主页，压缩包内为最新50系编译结果，其余显卡可自行git编译。
nvpf4需要使用，gguf.ninfer.dflash2.rar转换工具合并。
https://huggingface.co/maurienne-ai/Qwen3.8-27B-DFlash2-NVFP4-RTNcal/tree/main
这个模型，配合新上传的转换工具合并成ninfer，在win下可能存在显存不足的可能，linux下刚好够用。

https://huggingface.co/Anbeeld/Qwen3.8-27B-DFlash2-GGUF/tree/main
gguf格式的草稿，iq3s推荐q3km草稿，配合 --no-cuda-graph，速度与nvfp4接近。

ninfer-actkv 1.4

mtp bat

--port 18200 --model-id ninfer-27b ^
--max-context 262144 ^
--prefill-chunk 256 ^
--kvmem-budget 36864 --kvmem-gen-reserve 16384 --kvmem-host-mib 12288 ^
--kvmem-lrfu ^
--kv-dtype int8 --temperature 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 ^
--spec mtp --draft-tokens 4 --ngram-draft-tokens 31 --adaptive-mtp --full-draft-head ^
--vision --vision-residency cpu --vision-max-merged 256 ^
--default-reasoning-effort xhigh --default-thinking-budget 16384

dflash2 bat
--port 18200 --model-id ninfer-27b ^
--max-context 262144 --kvmem-sink-tokens 1024 ^
--prefill-chunk 256 ^
--kvmem-budget 36864 --kvmem-gen-reserve 16384 --kvmem-host-mib 12288 ^
--kvmem-lrfu ^
--kv-dtype rk8v4 --temperature 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 ^
--spec dflash2 --draft-tokens 3 --ngram-draft-tokens 31 ^
--vision --vision-residency cpu --vision-max-merged 256 ^
--default-reasoning-effort xhigh --default-thinking-budget 16384

本项目仅供技术研究，如需稳定日常使用，可使用 https://github.com/kvmem/kvmem/releases#release-v0.18.0

ninfer-actkv 1.1

--port 18200 ^
--max-context 262144 --kvmem-recent-tokens 1024 ^
--prefill-chunk 256 ^
--kvmem-budget 36864 --kvmem-gen-reserve 16384 --kvmem-host-mib 12288 ^
--kvmem-action-lrfu --model-id ninfer-27b ^
--kv-dtype int8 --temperature 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 ^
--spec mtp --draft-tokens 4 --ngram-draft-tokens 31 --adaptive-mtp ^
--vision --vision-residency cpu --vision-max-merged 256^
--default-reasoning-effort medium --default-thinking-budget 16384

convert-tool-gguf-ninfer.rar gguf 转换工具
ninfer-actkv-rtx50.rar 50系专用启动