Unterstützung von textuellen Datumsformat #6

erd82 · 2023-03-28T17:28:53Z

Hi Stephan,

die automatische Datumserkennung ist wirklich ein großartiges Feature und in meinen Augen ein Game-Changer! (im Vergleich zu vor einem Jahr). Denn genau das kostet bei der Digitalisierung und Umbenennen von Dokumenten sehr viel Zeit.

Wenn im Dokument das Format TT.MM.JJJJ (z.B. 13.04.2023) verwendet wird, funktioniert das Feature bei mir derzeit fabelhaft!

Wenn jedoch das Datumsformat TT. MMM JJJJ (z.B. 13. Okt 2023) oder TT. MMMM JJJJ (z.B. 13. Oktober 2023) vorliegt, wird derzeit das Datum nicht erkannt und es wird lediglich das Datum des Dokuments verwendet.

Ist es geplant, dieses Datumsformat auch zu erkennen?

Viele Grüße

geimist · 2023-03-28T17:35:52Z

Welche synOCR Version nutzt du?
Auf dem ersten Blick sieht es auch so aus, als ob du nur mit der internen RegEx-Suche suchst, aber nicht mit dem Pythonmodule.

erd82 · 2023-03-28T17:45:24Z

ich verwende die Version 1.3.1. Und ja du hast Recht, ich verwende aktuell die RegEx-Suche laut GUI:

Also würdest du empfehlen auf Python umzustellen? Ist dies schon irgendwo dokumentiert? Vielleicht hätte ich da auch selbst drauf stoßen können :-).

Update: Ja hätte ich wohl selbst herausfinden können, da es in der Information am entsprechenden Feld Dokumentiert war :-). Aber vielleicht wäre das Thema "Konfiguration der Datumserkennung" (als Gesamtes) mal etwas für die Doku im Wiki.

geimist · 2023-03-28T17:49:12Z

Ja, das solltest du umstellen, um davon profitieren zu können. Zu Beginn haben wir RegEx noch als Default Einstellung belassen. Aber du hast recht: dass sollte man mal umstellen (greift dann aber nur bei Neuinstallationen).

Bitte berichte mal, ob dein gewünschtes Format gefunden wird.

erd82 · 2023-03-28T17:54:13Z

Mmmh, aus irgendeinem Grund läuft er bei mir in einen Fehler.

Hast du eine Idee?

geimist · 2023-03-28T17:59:51Z

Kannst du mir mal bitte ein komplettes Log schicken?

erd82 · 2023-03-28T18:05:05Z

Habs dir hochgeladen. Ist das komplett bzw. ausreichend?

geimist · 2023-03-28T18:10:14Z

Ja, ist da - aber lässt mich grübeln ... 🤔
An so einen Fehler kann ich mich die letzten Monate auch nicht wirklich erinnern (ist ja auch nicht gerade sehr aussagekräftig).
Hättest du mal ein Testfile?

Edit:
Bzw. mal bitte mit dem Loglevel 2 (debug mode) laufen lassen. Die Einstellung dafür findest du ganz unten im Konfigurationsprofil.

erd82 · 2023-03-28T18:21:42Z

Ich hab dir mal ein Test-File hochgeladen, welches aktuell zum gleichen Ergebnis führt.
Zudem hab ichs jetzt mit log level 2 durchgeführt und dir auch das log hochgeladen.

geimist · 2023-03-28T18:24:02Z

Loglevel 2 war schon besser.
Kannst du mir mal bitte deinen Pfad zum Logordner schreiben?

erd82 · 2023-03-28T18:27:12Z

Das ist der Log-Ordner: /volume1/data/# Document Inbox/# synOCR/Log

Was mir auch auffällt, dass nach der Umstellung auf Python die RegEx Regeln (also Verschiebung, Umbenennung) nicht mehr funktionieren.

Und kann es einen Einfluss haben, dass ich gestern lediglich die neuere Version (1.3.1) über die damalige Version 1.1.902 drüber installiert habe? Gibt es vielleicht noch ungewollte (alte) Einstellungen?

geimist · 2023-03-28T18:31:47Z

Das Update sollte kein Problem sein. Ich vermute, dass uns hier die Raute # im Pfad ärgert. Wäre es ein großer Aufwand, das mal zu checken? (Vielleicht nur mal das aktuelle Profil clonen und zum Test einen anderne Quell- und Logpfad ohne Raute probieren).

@Gthorsten65 kann es sein, dass es hier ein Problem bei der Übergabe der Parameter gibt?

  -----------------------------------------------------------------------------------
  | search for a valid date in ocr text:                                            |
  -----------------------------------------------------------------------------------

ERROR at line 1007: founddatestr=$( python3 ./includes/find_dates.py -fileWithTextFindings "$searchfile" $arg_searchnearest -dateBlackList "$ignoredDate" -dbg_file $current_logfile -dbg_lvl "$loglevel" -minYear "$minYear" -maxYear "$maxYear" 2>&1)
                find_dates.py result:
                usage: find_dates.py [-h] [-fileWithTextFindings FILEWITHTEXTFINDINGS]
                                     [-dateBlackList DATEBLACKLIST]
                                     [-searchnearest SEARCHNEAREST] [-dbg_file DBG_FILE]
                                     [-dbg_lvl {0,1,2}] -minYear MINYEAR -maxYear MAXYEAR
                find_dates.py: error: unrecognized arguments: Document Inbox/# synOCR/Log/synOCR_2023-03-28_20-19-58.log
                ERROR at line 1007: python3 ./includes/find_dates.py -fileWithTextFindings "$searchfile" $arg_searchnearest -dateBlackList "$ignoredDate" -dbg_file $current_logfile -dbg_lvl "$loglevel" -minYear "$minYear" -maxYear "$maxYear" 2>&1

Edit:
Ich sehe gerade auch, dass ich den Logpfad nicht maskiert an das Pythonskript übergebe. Hier vermute ich den Auslöser

Gthorsten65 · 2023-03-28T18:39:59Z

@geimist Hmm, hast du mal den Python teil des log files?
Kann aus deinem post nicht erkennen wie die Parameter sind.
Im logile, also das was ich logge, sollte alle drin stehen.
Welcher Parameter hat denn ein#? Kann das mal ausprobieren

geimist · 2023-03-28T18:43:33Z

Das ist ja dein Log Part. Du gibst nur die Hilfe zurück.
Aber dadurch, dass eine Raute im Pfad ist und ich den Pfad unmaskiert übergebe, wird der Aufruf vor der Raute enden (ab der Raute gilt es als Kommentar) und du bekommst ein ungültiges Parameterset. Das wäre für mich jetzt die naheliegendste Ursache.

erd82 · 2023-03-28T18:45:44Z

Vielleicht nur mal das aktuelle Profil clonen und zum Test einen anderne Quell- und Logpfad ohne Raute probieren.

Das habe ich mal gemacht und du hast völlig Recht. Ohne der Raute im Pfad funktioniert die Datumserkennung.
Wie oben beschrieben funktionieren nach der Umstellung auf Python die Regeln nicht mehr (vielleicht auch ein wichtiger Hinweis).

geimist · 2023-03-28T18:47:20Z

Schön und nicht schön - aber Fehler gefunden. Das ist gut. Funktionieren die Regeln beim Test wieder? Eigentlich sollte die Umstellung auf die Pythonsuche damit nichts zu tun haben.

Gthorsten65 · 2023-03-28T18:49:50Z

Habe gerade mal geschaut. So wie Du den lognamen übergibst geht das nicht. Das sieht das Pythonscript als mehrere Parameter.
Es sind Leerzeichen vorhanden.
Dann musst du das in "" oder '' setzen.

erd82 · 2023-03-28T18:55:05Z

Schön und nicht schön - aber Fehler gefunden. Das ist gut. Funktionieren die Regeln beim Test wieder? Eigentlich sollte die Umstellung auf die Pythonsuche damit nichts zu tun haben.

Ich hab auch noch mal hin und her getestet. Du hattest Recht! Ich hatte wohl in meiner Regeldatei einen Typo drin, sodass die Regeln nicht mehr gezogen haben. Also das Datums-Problem ist wohl lediglich durch die Raute im Pfad verursacht.

geimist · 2023-03-28T18:56:33Z

Dann musst du das in "" oder '' setzen.

Korrekt, das mache ich eigentlich auch schon aus Prinzip. Ist hier wohl verloren gegangen und keiner hat's gemerkt 🙈

Wie oben beschrieben funktionieren nach der Umstellung auf Python die Regeln nicht mehr (vielleicht auch ein wichtiger Hinweis).

Im originalen Profil wird deine Krankenkasse gefunden. Im geclonten gibt es Fehlermeldungen, die ich jetzt gerade auch nicht zuordnen kann.

Hier ist eine BETA, die diesen Fehler fixen sollte. bitte checke mal, ob mit dem default Profil auch wieder die Regeln funktionieren.

erd82 · 2023-03-28T19:05:11Z

Wie oben beschrieben funktionieren nach der Umstellung auf Python die Regeln nicht mehr (vielleicht auch ein wichtiger Hinweis).

Ja wie gesagt war das mein Fehler. Ich hatte einen Typo in der Regeldatei.

Hier ist eine BETA, die diesen Fehler fixen sollte. bitte checke mal, ob mit dem default Profil auch wieder die Regeln funktionieren.

Die Beta habe ich installiert und das Monitoring neu gestartet (müsste doch reichen oder?).

Leider wird das Datum noch nicht korrekt verarbeitet. Aber könnte es an den zwei Rauten im Pfad (sowohl für Logs als auch für Input/Output Ordner) liegen?

geimist · 2023-03-28T19:07:30Z

Die Beta habe ich installiert und das Monitoring neu gestartet (müsste doch reichen oder?).

Korrekt.

Für das Datumsproblem bräuchte ich wieder das Log, bzw. den unmittelbaren Teil ab hier:

  -----------------------------------------------------------------------------------
  | search for a valid date in ocr text:                                            |
  -----------------------------------------------------------------------------------

Gthorsten65 · 2023-03-28T19:07:49Z

Genau das würde helfen

erd82 · 2023-03-28T19:10:48Z

habs Stephan hochgeladen. Aber auch hier der direkte Abschnitt:

geimist · 2023-03-28T19:11:44Z

Du hast die Standardregexsuche aktiv (bist glaube auch in deinem Testprofil) 😉

erd82 · 2023-03-28T19:16:00Z

Ich habe wieder mein Default Profil laufen, extra nochmal das Monitoring neu gestartet.
Und weiterhin läuft die Datumssuche mittels Python.

Im Ergebnis kommt leider noch das falsche Datum heraus:

geimist · 2023-03-28T19:17:55Z

Bitte ein Log 😃
(gespeichert hast du ja dein Profil?)

geimist · 2023-03-28T19:20:13Z

Dein Logfile:

current Profil: clone

Bitte beachte: Alle Profile sind gleichberechtigt. Es ist also unerheblich, welches in der GUI ausgewählt wird.

erd82 · 2023-03-28T19:20:52Z

Hab dir das Log hochgeladen (mache dann nur noch einen Daumen auf deinen Comment, wenn ich es hochgeladen habe, Dann bläht es die Konversation nicht weiter auf).

Explizites Speichern des Profils werde ich noch mal versuchen. Da ich aber nicht mehr das Profil (Methode der Datumsuche) geändert habe, schließe ich das nahezu aus. Aber ein Versuch ist es Wert :).

geimist · 2023-03-28T19:23:12Z

Möglicherweise musst du das Testprofile clone mal deaktivieren, wenn es noch falsch konfiguriert ist und vielleicht immer vor deinem Default-Profil abgearbeitet wird. Denn es scheint mir, dass es die gleichen Pfade wie dein Default-Profil nutzt.

erd82 · 2023-03-28T19:27:46Z

Absolut korrekt ! Das Problem sitzt wohl manchmal vorm Rechner ! :-o
Ich hatte beide Profile verwechselt und dachte, ich arbeite im anderen Profil.

Jetzt hat es super funktioniert 👍.

Entschuldigt bitte die Umstände und danke für die super schnelle Hilfe !!

geimist · 2023-03-28T19:29:00Z

Alles gut - schön, wenn es jetzt funktioniert. 🙂

Dein ursprünglich gesuchtes Datum ist da?

erd82 · 2023-03-28T19:32:54Z

Jap, funktioniert jetzt korrekt und das Datum ist da 👍.
Ich habe gerade auch mal mit anderen Dokumente getestet, die einen textuellen Monat hatten. Hat auch bisher super geklappt bei allen fünf Versuchen. :)

TOP!

if the path to the log file contained a hash, the date search via Python failed #6

geimist · 2023-03-29T13:08:37Z

@erd82

Hier ist eine BETA, die diesen Fehler fixen sollte.

Wie ich heute gesehen hatte, gab es einen Fehler in dieser Version, der zu einer Endlosschleife führte, sofern kein Datum gefunden werden konnte. Unter demselben Link gibt es eine aktualisierte Version.

erd82 · 2023-03-29T13:44:15Z

cool, ganz vielen Dank für den Fix und die neue Version ! Ich habe sie gleich installiert 👍. Merci & viele Grüße

geimist added question Further information is requested python issue affects the language python labels Mar 28, 2023

geimist added the bug Something isn't working label Mar 28, 2023

geimist closed this as completed Mar 28, 2023

geimist added a commit that referenced this issue Mar 28, 2023

failed date search

248b313

if the path to the log file contained a hash, the date search via Python failed #6

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Unterstützung von textuellen Datumsformat #6

Unterstützung von textuellen Datumsformat #6

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 •

edited

Loading

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 •

edited

Loading

Gthorsten65 commented Mar 28, 2023

geimist commented Mar 28, 2023 •

edited

Loading

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

Gthorsten65 commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 •

edited

Loading

erd82 commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

Gthorsten65 commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 •

edited

Loading

erd82 commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

erd82 commented Mar 28, 2023

geimist commented Mar 29, 2023

erd82 commented Mar 29, 2023

Unterstützung von textuellen Datumsformat #6

Unterstützung von textuellen Datumsformat #6

Comments

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023 • edited Loading

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 • edited Loading

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 • edited Loading

Gthorsten65 commented Mar 28, 2023

geimist commented Mar 28, 2023 • edited Loading

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

Gthorsten65 commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 • edited Loading

erd82 commented Mar 28, 2023 • edited Loading

geimist commented Mar 28, 2023 • edited Loading

Gthorsten65 commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 • edited Loading

geimist commented Mar 28, 2023 • edited Loading

erd82 commented Mar 28, 2023

geimist commented Mar 28, 2023 • edited Loading

erd82 commented Mar 28, 2023 • edited Loading

geimist commented Mar 28, 2023 • edited Loading

erd82 commented Mar 28, 2023

geimist commented Mar 29, 2023

erd82 commented Mar 29, 2023

erd82 commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

erd82 commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading

erd82 commented Mar 28, 2023 •

edited

Loading

geimist commented Mar 28, 2023 •

edited

Loading