Local Model Comparison

Local model results / Ergebnisse lokaler Modelle

English · Deutsch

English

The comparison used one Apple M4 Pro with 24 GB RAM and invented data (plus the public LongMemEval benchmark for embeddings). These are results for Recall's draft check, reranker and trigger expansion, not general model rankings. “Default” below means the gemma3:4b measurement baseline. The 1.1.0 installer offers tev1:4b from 16 GB and gemma4:12b from 32 GB (alternative from 24 GB); existing installs are never switched automatically. See Model Recommendations.

🟢 reliably better · 🔴 reliably worse · ⚪ no reliable difference against the baseline; ⚪ does not prove equality. The many comparisons are not corrected for multiple testing, so an isolated difference can be chance.

Result at a glance

Model	Draft check: questions right	Draft check: dangerous injection flips within production limits ↓	Reranker: right note picked	Reranker: “none” when missing	Expansion: hybrid first place (vs none)	Draft check: typical answer
gemma4:12b · 24 GB+ option	98 % 🟢	5/86 🟢	72 % 🟢	41 % 🟢	57.2 % ⚪	1231 ms
gemma4:12b-it-q4_K_M	98 % 🟢	6/86 🟢	71 % 🟢	47 % 🟢	57.8 % ⚪	1298 ms
qwen3-recall	97 % 🟢	22/86 ⚪	51 % 🟢	22 % 🟢	56.1 % ⚪	108 ms
qwen3.5:4b	96 % 🟢	0/86 🟢	51 % 🟢	1 % 🔴	56.1 % ⚪	455 ms
tev1:4b	96 % 🟢	1/86 🟢	62 % 🟢	37 % 🟢	56.7 % ⚪	447 ms
qwen3.5:9b	91 % 🟢	14/86 🟢	57 % 🟢	32 % 🟢	52.2 % ⚪	805 ms
granite4.2:8b	91 % 🟢	16/86 ⚪	49 % 🟢	29 % 🟢	55.0 % ⚪	210 ms
gemma3:4b · default	88 %	19/86	33 %	10 %	54.4 % ⚪	386 ms
granite4.2:3b	86 % ⚪	34/86 🔴	6 % 🔴	94 % 🟢	56.1 % ⚪	94 ms

Dots in this table compare with the default gemma3:4b; in the expansion column with recall without any expansion. "Draft check: questions right" covers both question sets (1,197 questions), the dot refers to the larger set. The injection column counts the 86 probes that fit the production length limits (59 new, 27 earlier), the dot refers to the 59 new ones.

• A small new model is reliably better than the measurement baseline at two of the three jobs. tev1:4b answers 96 % of the draft-check questions correctly (default gemma3:4b: 88 %), let 1 of 86 injected instructions through (default: 19), and as a reranker picks the right note almost twice as often (62 % against 33 %), at a similar answer time and a download 1.2 GB larger. At trigger expansion there is no reliable difference between the two (hybrid first place 56.7 % against 54.4 %; 15 queries won, 11 lost, p = 0.56), and tev1:4b left 16 of 180 notes without phrases (default: 1).
• The large option is still ahead, but not reliably everywhere. gemma4:12b is reliably ahead of tev1:4b on the known question set (912 against 889 of 927) and at picking the right note as a reranker (72 % against 62 %). On the fresh question set (265 against 262 of 270) and at saying "none" for queries with other wording (41 % against 37 %) the difference is not reliable. It takes about three times as long per answer. Within the production limits it let 5 of 86 injected instructions through against 1 for tev1:4b; that difference is not reliable either.
• No larger new model is reliably more accurate than tev1:4b at any job. qwen3.5:9b and granite4.2:8b are reliably behind it on the known question set and on the injection probes, granite4.2:8b also at reranking queries with other wording or in the other language; everywhere else there is no reliable difference. granite4.2:8b is slightly ahead in two reranker results for queries that share words with the note (168 against 165 of 180 picked, 77 against 74 of 180 declined), not reliably.
• Trigger expansion did not move hybrid recall reliably, whichever model wrote it. That is no proof that it has no effect; this sample shows none.
• The new embedding model is reliably worse on the invented notes when the query uses other wording. On the public LongMemEval benchmark there is no reliable difference. What does help needs no new model: with its documented task prefixes embeddinggemma puts the right note first reliably more often (other wording 66.7 % against 56.7 %, other language 50.6 % against 44.4 %, vectors only). Every note would have to be embedded again.
• Refreshed gemma4:12b weights show one reliable difference to the weights at comparison time across the draft check, the injection probes and the reranker: as a reranker they say "none" more often when the right note is missing and the query shares words with the notes (123 against 110 of 180). With this many comparisons, one such result can be chance.

Full results, limits and reproduction.

Deutsch

Der Vergleich lief auf einem Apple M4 Pro mit 24 GB RAM und erfundenen Daten (plus öffentlichem LongMemEval-Benchmark für Embeddings). Das sind Ergebnisse für Recalls Entwurfsprüfung, Nachsortierung und Trigger-Erweiterung, keine allgemeinen Modellranglisten. „Standard“ meint unten die Messbaseline gemma3:4b. Der 1.1.0-Installer bietet tev1:4b ab 16 GB und gemma4:12b ab 32 GB an (Alternative ab 24 GB); bestehende Installationen werden nie automatisch umgestellt. Siehe Model Recommendations.

🟢 verlässlich besser · 🔴 verlässlich schlechter · ⚪ kein verlässlicher Unterschied zum Vergleichswert; ⚪ beweist keine Gleichheit. Die vielen Vergleiche sind nicht für Mehrfachtests korrigiert, ein einzelner Unterschied kann deshalb Zufall sein.

Ergebnis auf einen Blick

Modell	Entwurfs-Prüfung: Fragen richtig	Entwurfs-Prüfung: gefährlich gekippt, innerhalb der Produktionsgrenzen ↓	Nachsortierung: richtige Notiz gewählt	Nachsortierung: „keine“, wenn sie fehlt	Erweiterung: Hybrid Platz 1 (gegen ohne)	Entwurfs-Prüfung: typische Antwort
gemma4:12b · Option ab 24 GB	98 % 🟢	5/86 🟢	72 % 🟢	41 % 🟢	57.2 % ⚪	1231 ms
gemma4:12b-it-q4_K_M	98 % 🟢	6/86 🟢	71 % 🟢	47 % 🟢	57.8 % ⚪	1298 ms
qwen3-recall	97 % 🟢	22/86 ⚪	51 % 🟢	22 % 🟢	56.1 % ⚪	108 ms
qwen3.5:4b	96 % 🟢	0/86 🟢	51 % 🟢	1 % 🔴	56.1 % ⚪	455 ms
tev1:4b	96 % 🟢	1/86 🟢	62 % 🟢	37 % 🟢	56.7 % ⚪	447 ms
qwen3.5:9b	91 % 🟢	14/86 🟢	57 % 🟢	32 % 🟢	52.2 % ⚪	805 ms
granite4.2:8b	91 % 🟢	16/86 ⚪	49 % 🟢	29 % 🟢	55.0 % ⚪	210 ms
gemma3:4b · Standard	88 %	19/86	33 %	10 %	54.4 % ⚪	386 ms
granite4.2:3b	86 % ⚪	34/86 🔴	6 % 🔴	94 % 🟢	56.1 % ⚪	94 ms

Die Punkte in dieser Tabelle vergleichen mit dem Standard gemma3:4b, in der Spalte Erweiterung mit der Suche ganz ohne Erweiterung. „Entwurfs-Prüfung: Fragen richtig“ umfasst beide Fragensätze (1.197 Fragen), der Punkt bezieht sich auf den größeren Satz. Die Spalte „gefährlich gekippt“ zählt die 86 Proben, die in die Längengrenzen der Produktion passen (59 neue, 27 frühere), der Punkt bezieht sich auf die 59 neuen.

• Ein kleines neues Modell ist bei zwei der drei Aufgaben verlässlich besser als der damalige Standard. tev1:4b beantwortet 96 % der Fragen der Entwurfs-Prüfung richtig (Standard gemma3:4b: 88 %), lässt 1 von 86 eingeschleusten Anweisungen durch (Standard: 19) und wählt beim Nachsortieren fast doppelt so oft die richtige Notiz (62 % gegen 33 %), bei ähnlicher Antwortzeit und einem um 1,2 GB größeren Download. Bei der Stichwort-Erweiterung gibt es zwischen beiden keinen verlässlichen Unterschied (Hybrid Platz 1: 56,7 % gegen 54,4 %; 15 Anfragen gewonnen, 11 verloren, p = 0,56), und tev1:4b ließ 16 von 180 Notizen ohne Phrasen (Standard: 1).
• Die große Option liegt weiter vorn, aber nicht überall verlässlich. gemma4:12b liegt im bekannten Fragensatz verlässlich vor tev1:4b (912 gegen 889 von 927) und wählt beim Nachsortieren verlässlich öfter die richtige Notiz (72 % gegen 62 %). Im frischen Fragensatz (265 gegen 262 von 270) und beim „keine“ für Anfragen mit anderer Formulierung (41 % gegen 37 %) ist der Unterschied nicht verlässlich. Es braucht je Antwort etwa dreimal so lange. Innerhalb der Produktionsgrenzen ließ es 5 von 86 eingeschleusten Anweisungen durch, tev1:4b 1; auch dieser Unterschied ist nicht verlässlich.
• Kein größeres neues Modell ist bei irgendeiner Aufgabe verlässlich genauer als tev1:4b. qwen3.5:9b und granite4.2:8b liegen im bekannten Fragensatz und bei den Einschleusproben verlässlich dahinter, granite4.2:8b auch beim Nachsortieren von Anfragen mit anderer Formulierung oder in der anderen Sprache; überall sonst gibt es keinen verlässlichen Unterschied. granite4.2:8b liegt bei zwei Ergebnissen der Nachsortierung für Anfragen mit gleichen Wörtern knapp vorn (168 gegen 165 von 180 gewählt, 77 gegen 74 von 180 abgelehnt), nicht verlässlich.
• Die Stichwort-Erweiterung hat die Hybrid-Suche nicht verlässlich bewegt, egal welches Modell sie schrieb. Das beweist nicht, dass sie nichts bewirkt; diese Stichprobe zeigt keine Wirkung.
• Das neue Einbettungsmodell ist auf den erfundenen Notizen verlässlich schlechter, wenn die Anfrage anders formuliert ist. Auf dem öffentlichen Benchmark LongMemEval gibt es keinen verlässlichen Unterschied. Was hilft, braucht kein neues Modell: Mit seinen dokumentierten Aufgaben-Präfixen setzt embeddinggemma die richtige Notiz verlässlich öfter auf Platz 1 (andere Formulierung 66,7 % gegen 56,7 %, andere Sprache 50,6 % gegen 44,4 %, nur Vektor). Dafür müsste jede Notiz neu eingebettet werden.
• Die aufgefrischten Gewichte von gemma4:12b zeigen einen verlässlichen Unterschied zu denen zum Vergleichszeitpunkt, über Entwurfs-Prüfung, Einschleusproben und Nachsortierung hinweg: Beim Nachsortieren sagen sie öfter „keine“, wenn die richtige Notiz fehlt und die Anfrage Wörter mit den Notizen teilt (123 gegen 110 von 180). Bei so vielen Vergleichen kann ein solches Einzelergebnis Zufall sein.

Vollständige Ergebnisse, Grenzen und Reproduktion.