OpenCloud app and web version supported fuzzy search

[LHBL2003]

I am referring to my introduction to this post, in which I had already mentioned that I had tested quite a few FileSync cloud solutions. So here is my idea for the search.

https://github.com/orgs/opencloud-eu/discussions/3126

Summary:

It would be a unique selling point if the web and app versions were still able to find search terms that were misspelt or words in PDF scans that had been misrecognised.

EN:
We have personally digitised around 5,000 pages or more in PDF format, covering the period from 1992 to the present day. Our files are currently synchronised on our Mac via Google Drive. The full-text search in Google Drive works better than in OneDrive, both in the app and in the web version, provided the word appears in full within the PDF or document. (Zero-error tolerance)

On a Mac, the search works almost flawlessly, provided the documents have been processed with OCR using Abbyy FineReader. The recognition is so good that even text fields – whether typed or in scanned documents – hardly matter anymore.
To date, there is no web, app or cloud file-syncing solution that can reliably handle text recognition errors, imprecise searches or fuzzy searches.
It would therefore be great if the OpenCloud app and web version supported fuzzy search. This would be a real unique selling point for OpenCloud, as other cloud file-syncing services do not currently offer this feature.

Provided that the PDFs contain OCR data, the Finder search on the Mac is currently unbeatable and indispensable. It finds practically everything – regardless of how incorrectly a word has been recognised in the scanned document.
At present, however, no app or web solution offers this level of convenience when you’re on the move.

OpenCloud apparently offers a powerful full-text search even for non-OCR PDF documents. The only thing missing now is the ability to handle misrecognised and misspelled words.

DE:
Wir haben privat etwa 5.000 Seiten oder mehr aus dem Zeitraum von 1992 bis heute via PDF digitalisiert. Unsere Dateien werden aktuell über Google Drive auf dem Mac synchronisiert. Die Volltextsuche funktioniert in Google Drive sowohl in der App als auch in der Web-Version besser als bei OneDrive. Sofern das Wort vollständig im PDF / Schreiben angegeben wurde. (0 Fehler Toleranz)

Auf dem Mac funktioniert die Suche nahezu einwandfrei, sofern die Dokumente mit OCR durch Abbyy FineReader verarbeitet wurden. Die Erkennung ist so gut, dass selbst Textfelder beim Tippen oder in eingescannten Dokumenten kaum noch eine Rolle spielen.
Bisher gibt es keine Web-, App- oder Cloud-File-Sync-Lösung, die zuverlässig mit Texterkennungsfehlern, unscharfer Suche oder Fuzzy Search umgehen kann.
Es wäre daher großartig, wenn die App und die Web-Version von OpenCloud eine unscharfe Suche bzw. Fuzzy Search unterstützen würden. Dies wäre ein echtes Alleinstellungsmerkmal von OpenCloud, da andere File-Sync-Cloud-Dienste diese Funktion derzeit nicht bieten.

Vorausgesetzt, dass OCR-Daten in den PDFs enthalten sind, ist die Finder-Suche auf dem Mac aktuell unschlagbar und unverzichtbar. Sie findet praktisch alles – unabhängig davon, wie fehlerhaft ein Wort im eingescannten Dokument erkannt wurde.
Derzeit bietet jedoch keine App- oder Web-Lösung diesen Komfort für unterwegs.

OpenCloud bietet ja scheinbar eine starke Volltextsuche auch bei nicht OCR PDF Dokumenten. Jetzt fehlt zu dem Thema nur noch das es mit Falsch erkannten und falsch geschriebenen Wörtern umgehen kann.

[micbar]

@fschade Could we implement something like that via our OpenSearch backend?

[fschade]

fuzziness is not a problem!
i would like to even go a step further and add support for RAG (similarities) results!

I have a POC running here that uses dGraph as a vector store and enables this kind of thing... but theoretically, it could also be done using standard OpenSearch features....

but as usual it depends what we wanna do, we have to pick the tools depending on that... if we wanna have relational matches weaviate would be a good fit too...

[LHBL2003]

German text, Click here.

Privat hatte ich vor vielen Jahren einmal ein Programm geschrieben, das Dateinamen-Vorschläge erzeugt hat. Damals hatte ich dafür bereits Fuzzy Search verwendet. Mir war allerdings nicht bewusst, wie weit die Suchtechnologien inzwischen entwickelt wurden. 🙂 So wie ich es verstehe, unterstützt OpenSearch heute nicht nur klassische Volltextsuche und Fuzzy Search, sondern auch Vektorsuche bzw. semantische Suche.

Damit könnte man – je nach Implementierung :
• exakte Treffer finden,
• Tippfehler und OCR-Fehler tolerieren,
• ähnlich geschriebene Wörter finden,
• semantische bzw. kontextbezogene Treffer finden, indem man ganze Suchanfragen oder Sätze eingibt.

---

Das wäre insgesamt ein großer Mehrwert gegenüber den Suchfunktionen vieler heutiger File-Sync-Lösungen.
Zudem erinnert mich das an die neue Bildersuche von Immich. Dort kann man beispielsweise nach „romantisches Bild am Strand“ suchen, ohne dass diese Begriffe irgendwo hinterlegt sein müssen. Stattdessen wird der Bildinhalt analysiert und nach semantischer Ähnlichkeit bewertet.
Immich hat dies sehr gut gelöst: Man kann zwischen verschiedenen Suchmodi wechseln. Neben klassischen Suchmethoden wie OCR-Text, Dateinamen und Metadaten (Beschreibungstext) gibt es die Option „Suche nach Kontext“. Diese nutzt eine lokale semantische KI-Suche, die den Bildinhalt versteht und nicht nur nach exakten Begriffen sucht. Das verwendete Modell kann konfiguriert werden und unterstützt moderne Hardware-Beschleunigung wie NPU und GPUs aktueller Intel-Prozessoren.
Auch Microsoft baut die semantische Suche so viel ich gesehen habe in Windows (25H2) zunehmend aus. Nach meinem Kenntnisstand werden entsprechende Funktionen mit neueren Windows-Versionen immer stärker in das Betriebssystem integriert und sind wohl auch in der Suche nach Dateien und Inhalten implementiert. Man kann es wohl an der Copilot Lupe erkennen. (Bild aus einem YouTube-Video)

Übertragen auf Dokumente in OpenCloud wäre eine semantische Suche natürlich besonders im Unternehmensumfeld interessant. Mitarbeiter kommen und gehen, Dokumente werden über Jahre hinweg in unterschiedlichsten Ordnerstrukturen abgelegt, und häufig kennt niemand mehr den exakten Dateinamen oder Speicherort.
Gleichzeitig gibt es viele Menschen, die ihre Dokumente eher chaotisch organisieren. Auch für sie könnte eine semantische Suche hilfreich sein: Solange man noch weiß, worum es in einem Dokument ging, könnte man es möglicherweise wiederfinden – selbst wenn man die konkreten Schlagwörter oder Formulierungen im Dokument längst vergessen hat. 😊

FAZIT: Meiner Meinung nach sollte sich ein File-Sync-System auf seine Kernaufgabe konzentrieren – und genau das macht OpenCloud Gott sei Dank bereits: Dateien zuverlässig zu speichern, zu organisieren, zu synchronisieren und wieder auffindbar zu machen. Genau hier können moderne Suchfunktionen einen echten Mehrwert schaffen.

Welche technische Lösung dafür letztlich die beste und zukunftssicherste ist, kann ich nicht beurteilen. Ich möchte an dieser Stelle lediglich meine Gedanken und Ideen aus der Sicht eines interessierten Endanwenders einbringen.
ndanwenders einbringen.

EN
On a personal note, many years ago I wrote a program that generated file name suggestions. Back then, I had already used fuzzy search for that purpose. However, I wasn’t aware of just how far search technologies had advanced in the meantime. 🙂
As I understand it, OpenSearch today supports not only classic full-text search and fuzzy search, but also vector search and semantic search.

Depending on the implementation, this would allow you to:
• find exact matches,
• tolerate typos and OCR errors,
• find words that are spelled similarly,
• find semantic or context-based results by entering entire search queries or sentences.

---

Overall, this would represent significant added value compared to the search functions of many current file-sync solutions.
It also reminds me of Immich’s new image search. There, for example, you can search for “romantic picture on the beach” without these terms having to be stored anywhere. Instead, the image content is analyzed and evaluated based on semantic similarity.
Immich has implemented this very well: You can switch between different search modes. In addition to traditional search methods like OCR text, filenames, and metadata (descriptive text), there’s a “Search by Context” option. This uses a local semantic AI search that understands the image content and doesn’t just search for exact terms. The model used can be configured and supports modern hardware acceleration such as NPUs and GPUs in current Intel processors.
As far as I’ve seen, Microsoft is also increasingly expanding semantic search in Windows (25H2). To the best of my knowledge, corresponding features are becoming more deeply integrated into the operating system with newer Windows versions and are likely also implemented in file and content search. You can probably tell by the Copilot magnifying glass. (Image from a YouTube video)

Applied to documents in OpenCloud, semantic search would naturally be particularly interesting in an enterprise environment. Employees come and go, documents are stored over the years in a wide variety of folder structures, and often no one remembers the exact file name or location anymore.
At the same time, many people organize their documents in a rather chaotic manner. Semantic search could be helpful for them as well: as long as you still know what a document was about, you might be able to find it again—even if you’ve long since forgotten the specific keywords or phrases in the document. 😊

CONCLUSION: In my opinion, a file-sync system should focus on its core task—and thankfully, that’s exactly what OpenCloud already does: reliably storing, organizing, syncing, and making files retrievable. This is precisely where modern search functions can add real value.

I can’t judge which technical solution is ultimately the best and most future-proof. At this point, I simply want to share my thoughts and ideas from the perspective of an interested end user.
end user.

Translated with DeepL.com (free version)