[draft] new prompt templates - nearly 100% completition: ollama + qwen.2-5-instruct:32b (14b/7b feasible too)

[thiscantbeserious]

From my testings I figured that deepseek-r1 wasn't able to properly follow the instructions especially in regards to parsing the date. That's why I tried a few different models and landed at qwen2.5:32b-instruct (7b and 14b work too, just slightly more errors).

This produces the most reliable results for me - including documents that weren't properly OCR`ed given my instructions.

I ran multiple models against the full 178 documents multiple times and different document-types including hand-writing.

Key take-away is that we might need a few improvements on the code-layer to improve other model results. For example the first thing I'd add is a simple date parser that extracts the last date that matches YYYY-MM-DD to solve the issue with slight off responses with additional noise. However models like deepseek-r1 would highly improve if we are able to use multiple prompts to fine-tune results, so that`s another possible improvement I do see on the code layer. And most importantly we should allow different models for each field - say you know that an instruct model is far better at following instructions like date parsing, but you want a more refined model like deepseek-r1 to work on the title.

That's the reasoning behind my choice and some outlook of possible PR`s / Improvements I might see ...

I noticed that the most important change was moving the Content at the top of the template for the instructions to not be overwritten under any circumstance.

paperless-gpt TOKEN_LIMIT set at:
3000

Ollama default Context Length via OLLAMA_CONTEXT_LENGTH:
8096 - 4048 should be fine too ...

Language of Documents (and System):
German

Documents tested:
179 so far and counting

Success rate:
Nearly 100% - Quality I would rate at 70-80% of the results being ok, even on really sub-par OCRs ...

I created and refined the prompts with the models itself to make sure its in a format its working best against - last but not least however I manually fine-tuned them and tested them again until I was somewhat satisfied ...

You can find the most recent version of the templates in my Git-Repo:

https://github.com/thiscantbeserious/paperless-gpt-prompts

[andbez]

Hi,
I really appreciate your findings. Are you still testing? I am also interested in your OCR-Prompt (because all of my > 6000 Documents are German :)),

Best Regards

[thiscantbeserious]

I'm still sticking with it - haven't added that many more documents lately. So I didn't get around implementing any changes yet ... I have setup an automation for adding the ocr tags for new documents however ... that`s also how I got around re-doing everything again and again for testing purposes.

Feel free to try and report back! I guess we might need better some code changes for better results. Yesterday I`ve been looking into letta ... not sure if that's overkill but I'll see.

[thiscantbeserious]

Short update since I'm currently developing an LMM based Search Engine that makes use of these models too (https://github.com/thiscantbeserious/llm-search-agent)

qwen2.5:3b-instruct_q8_0 seems to be quite reliable too. So this might be a solid choice in regards to a model thats even more lightweight while producing predictable results.

Albeit it does seem to have a much simpler language level, this should be fine for document titles and such.

Will keep you updated with my observations since I'm planning to implement a testing pipeline to benchmark the accuracy and reliability there against my prompts.

[danshaw]

Thanks for sharing this. Are you using a local model to help with any local OCR or are you relying on NGX to do the OCR? I am finding the LLM OCR is much more accurate than NDX.

[thiscantbeserious]

Yep, I'm using the recommended local LLM model (MiniCPM-V) for OCR.

Might as well turn the OCR from NGX off as well .. because Tessaract is really poor compared to it, especially with anything hand-written nearly impossible garbage. So lets save some compute resources there ...

[WildEchoWanderer]

Any updates for a better model for german documents?

[thiscantbeserious]

No, I'm still using this - and mainly for German documents. Its not perfect but it has far less hallucinations then other models that are supposed to be "german"-tuned. :)

[vistalba]

Mostly German documents. I use gpt-oss-120b and have adjusted the prompts for my specific cases. Apart from document tagging, it works quite well, though not perfectly.

correspondent_prompt.tmpl:

**Content Provided:**
{{.Content}}

-----------

Aufgabe: Bestimme den Absender (Korrespondenten) eines OCR-erfassten Dokuments für paperless-ngx anhand folgender Vorgaben:

Vorgaben:
1. Die Sprache des Inhalts ist {{.Language}}.
2. Der Dokumenttitel lautet: „{{.Title}}“ (ebenfalls in {{.Language}}).
3. Der Absender befindet sich typischerweise im Adressbereich oder in Kopfzeilen zu Beginn des Dokuments, meist 1–6 Wörter lang, ohne Zeilenumbrüche.
4. Juristische Personen wie GmbH, AG oder Ltd. haben Vorrang vor natürlichen Personen.
5. Bei unleserlichem OCR-Inhalt soll der Sinn rekonstruiert werden, ohne die ersten 256 Zeichen zu verändern. Gib sowohl den Originaltext als auch eine plausible Version an.
6. Analysiere beide Versionen, um den Dokumenttyp einzuordnen.
7. Suche in beiden Fassungen nach typischen Firmen- oder Personennamen als mögliche Absender.
8. Verfügbare Absender sind: {{.AvailableCorrespondents | join ", "}}. 
9. Nur wenn die Übereinstimmung mit einem vorhandenen Absender über 70% liegt, wird der vorhandene Absender aus der Liste verwendet.
10. Folgende Absender sind ausgeschlossen: {{.BlackList | join ", "}}. Entferne alle (auch teilweise) Übereinstimmungen daraus.
11. Der erkannte Absender muss eine natürliche oder juristische Person sein.
12. Wähle niemals zufällig einen existierenden Absender. Bereinige gefundene Namen von doppelten Leerzeichen und Zeilenumbrüchen. Wenn ein Zeilenumbruch enthalten ist, alles danach entfernen.
13. Wird kein gültiger Absender gefunden, gib ausschliesslich den Platzhaltertext bestehend aus 45 zufälligen Wörtern verbunden durch einen Bindestrich (-) aus.
14. Die finale Ausgabe besteht nur aus dem ermittelten Absender oder dem Platzhaltertext – ohne Begründung oder weitere Informationen.

created_date_prompt.tmpl:

**Content Provided:**
{{.Content}}

-----------

**Aufgabe**: Finde das Datum eines Dokuments für paperless-ngx.

Anleitung:

1. Der Inhalt des Dokuments ist vermutlich in {{.Language}} verfasst.
2. Der Titel des Dokuments lautet: {{.Title}}.
3. Das heutige Datum ist: {{.Today}}.
4. Untersuche sowohl den Inhalt als auch den Titel nach einem möglichen Datum.
5. Das gefundene Datum kann in jedem internationalen Format vorliegen und muss in das Format YYYY-MM-DD umgewandelt werden.
6. Wird nur ein Jahr erkannt, so verwende dieses und setze den Monat und Tag auf „01-01“.
7. Wird ein Jahr mit Monat erkannt, so verwende beides und setze den Tag auf „01“.
8. Wird ein vollständiges Datum mit Jahr, Monat und Tag erkannt, so verwende dieses vollständig.
9. Konvertiere alle Formate automatisch, ohne Hinweise oder Erklärungen.
10. Falls kein Datum gefunden wird oder das Datum nicht korrekt in das Format YYYY-MM-DD umgewandelt werden kann, verwende {{.Today}} als Ergebnis.
11. Gib abschliessend nur das ermittelte Datum im Format YYYY-MM-DD aus – ohne Begründung, Kontext oder Zusatzinformationen.

title_prompt.tmpl:

**Content Provided:**
{{.Content}}

-----------

**Aufgabe**:
Erstelle einen passenden deutschen Titel für ein OCR-erfasstes Dokument gemäss folgenden Regeln:

1. Der Inhalt des Dokuments ist vermutlich in {{.Language}}, kann OCR-Fehler enthalten.
2. Erkenne trotz Fehlern den Sinn, leite daraus den Titel ab.
3. Titel korrekt schreiben (Rechtschreibung, Grammatik, nutze die Umlaute "ä", "ö" und "ü", ersetze “ß” mit "ss", keine chinesischen Zeichen).
4. Keine unlogischen Zeichen, Abstände, Trennzeichen oder Daten nach {{.Today}}.
5. Kein Absender im Titel (z.B. „... von Firma AG“).
6. Keine einzelnen Daten (z.B. Rechnung vom 12.03.2022). Nutze Bestellnummern, Rechnungsnummern, Rechnungsperioden, Beschreibung der Artikel des Einkaufs, etc.
6. Wenn sich das Dokument auf eine Datumsperiode bezieht (z.B. Abrechnung, Vertrag), nenne die Periode im Titel.
7. Max. 128 Zeichen, sinnvoll, prägnant, 1–6 Wörter, kein direkter Copy-Paste aus dem Inhalt.
8. Nur den finalen Titel zurückgeben, sonst nichts.

How is document tagging working for you? Do you have good prompt samples?
How do my prompts work with your models? Since gpt-oss-120b has only about 5B active parameters, it requires a lot of RAM, but it performs much better than other models with more active parameters when running on CPU only.

[thiscantbeserious]

Tagging is pretty meh right now with my template as is, I think that can be significantly improved but never bothered so.

Title generation is damn near flawless for me. 9 times out of 10 it just bangs it.

Correspondent at 7/10. Date 9/10 (most importantly never fails with qwen2.5-instruct!).

Right now im at 655 documents total.

I will be spending some time on CPU only and will likely use other models and smaller prompt templates pretty soon because of an UGreen DXP4800 (Non-Plus) that comes with a N100 CPU. Looking forward to try models like SmolLM2 that are tailored for it ...

[WildEchoWanderer]

to what did you set the LLM_LANGUAGE=???
For what is this? Where can i set the document language or is this dynamic set?

[thiscantbeserious]

LLM_LANGUAGE=German in my case

[thiscantbeserious]

Short Update:

I'm testing the new ollama version with Vulkan support on an UGreen DXP4800 (Intel N100) now with 32GB Ram ...

I recon I will try going to opt for qwen2.5vl:3b there now, also in combination with PhotoPrism with ollama instead of Tensorflow for label generation. I will focus first on Photoprism label generation and then look at going over to paperless-gpt ...

# ollama run qwen2.5vl:3b --verbose
>>> wie schnell bist du
Als KI habe ich keine physische Geschwindigkeit. Ich kann jedoch sehr schnell Informationen bereitstellen und verarbeiten.

total duration:       11.563983338s
load duration:        176.148008ms
prompt eval count:    24 token(s)
prompt eval duration: 5.023050126s
prompt eval rate:     4.78 tokens/s
eval count:           28 token(s)
eval duration:        6.345652346s
eval rate:            4.41 tokens/s