[priorita nel ranking risultati] migliorare ricerca

[lucatastrophe]

No description provided.

[freerafiki]

scriviamo una funzione vera che funzioni sul database!

[lucatastrophe]

Quello che manca adesso è aggiungere le keywords (quando cerchiamo nei poi e nelle streets prefiltriamo in base a parole chiave contenute nella ricerca - ponte, campo, bar, chiesa, pontile, ecc...) che dovrebbero essere un notevole boost delle performance, ma anche della precisione. Tolgo "help wanted" perché penso non sia urgente, magari già sul server girerà più veloce.

[Lychfindel]

La ricerca ora difficilmente restituisce risultati sbagliati perché abbiamo criteri molto stretti per dare un risultato unico. Sposto quindi la issue alla versione beta.

[freerafiki]

Stavo leggendo (per il corso di NLP) alcune cose su testo/ricerche/matching, e poi sono entrato nel vortice e trovato alcune cose che potrebbero esserci utili per la ricerca - lascio qui un paio di rifereimenti:

• rapidfuzz / repo - un'implementazione di fuzzywuzzy in C++ che sembra essere piu rapida, potrebbe aiutarci per ridurre i tempi, qui una benchmark
• articolo scritto in maniera terribile, ma con contenuti interessanti, su matching con machine learning
• articolo scritto meglio con un approccio piu solido, pero molto puntato su nomi simile (es. Al o Alan). Relativa repo. Molto interessante, soprattutto se si potesse ritrainare o fine-tuning sul nostro database per avere piu precisione sui nomi veneziani.
• FastText un sistema creato da facebook per efficient learning of word representations and sentence classification. Non e proprio per quello che vogliamo noi, ma sembra avere una sezione interessante per le OOV words. Se questo e incomprensibile: il modello impara usando il nostro dizionario (tutte le stringhe) e una ricerca di una parola che non esiste gia da noi (sia un typo o qualcosa di simile ma non uguale) viene considerata OOV (out of vocabulary). Usando RNN (recurrent neural networks) o per la maggior parte delle applicazioni, le OOV vengono buttate via perche in un contesto di una frase o di un testo non servono, ma a noi servono eccome. Quindi ci serve la creazione di un vettore per una OOV - che e un problema interessante ma complesso. FastText sembra essere una soluzione perche usa parti delle parole (es. canna in cannaregio come canna in cannareggio e dovrebbe trovarle), qui una discussione e un'articolo.
• un articolo che sembra interessante sull'uso di vettori per correggere il missspelling - non l'ho finito, ma sembra una cosa che potrebbe fare al caso nostro.
• articolo gensim vs fasttext gensim e molto popolare, ma e per frasi, non per singole parole, quindi ha il problema descritto sopra
• paper sulla rappresentazione delle parole in uno spazio vettoriale non l'ho ancora letto
• paper sulle subword tipo frammenti di parola, che e un po anche quello che fa fuzzywuzzy, non l'ho letto am sono curioso

Li lascio qui per non perderli (avevo troppe finestre aperte sul browser), per ora mi manca il tempo per testarli/implementarli, ma magari un giorno lo faccio/facciamo