Test only show single word, without any sentences whatsoever

[Nick0w7]

When testing myself, I only get the word or even some dots like °°°° without any sentence around.

Steps to reproduce the behavior:

1. Go to 'Test'
2. Click on '[Language] or ...[L1]... or [°°]'
3. Error : No sentences, only words and °°°°

Expected behavior
The word should be surrounded by the sentence as it appears in the text

• LWT version: LWT-master

[HugoFara]

Thanks for the bug report. It's not a bug I have met, so maybe some sentences in your source text are parsed as one-word sentence.

I will investigate a bit on my side, could you send here the text from which you get this wrong behaviour?

[Nick0w7]

Here's the text where the bug occurs :

Er is een ongelijke situatie tussen gevaccineerden en niet gevaccineerden.
Dus, ge kunt die ook eigenlijk, ongelijk behandelen.
Vandaag mag je kiezen, maar als je fout kiest, mag je morgen niet meer op een café.
Gij wilt mij ziek maken, gij moogt niet meer binnen in mijn huis.
Als ik op het einde van de periode blijf dat ik één persoon zijn leven heb geraakt door mijn maatregelen te volgen, dan is dit voor mij het persoonlijk waard geweest.
Het CovidSafe ticket. Een QR-code die moet bepalen wat je wel en niet mag doen.
Waar je wel of niet binnen mag.
De ene vindt de coronapas geen probleem.
Het zorgt ervoor dat onze sociale contacten veilig zijn. De andere vindt dat het verdeeldheid zaait en mensen uitsluit.
Maar wat met onze vrijheid?
Is het CovidSafe ticket moreel verdedigbaar?
De coronapas is het meest polariserende onderwerp van het moment.
Daar ga ik vandaag over babbelen met Marie Baten. Jij bent 22 jaar en studeert Gender en Diversiteit aan de UGent.
Ja, en ik ben voor het gebruik van de coronapas. Ja.
Sjijf Druits, jij bent 20 jaar en studeert Politieke Wetenschappen aan de KU Leuven.
Jij zit hier omdat jij wel gevaccineerd bent.
Ja, ik ben wel gevaccineerd, maar dat weerhoudt mij niet om toch een beetje kritisch te zijn naar de gevolgen voor de samenleving met deze coronapas.
Eva Albers, jij bent 28, je bent jurist en je doctoreert in de mensenrechten aan de KU Leuven. En jij zit hier om wat meer uitleg te geven over onze rechten, wat kan en niet kan met dat COVID-safe ticket.
Ik ben hier voor de droge juridische toets, ja.
Roxanne Welles, hallo. Jij bent 23, journaliste en auteur. Jij bent niet gevaccineerd.
Ja, klopt. En ik voel me daardoor ook gediscrimineerd. En ik vind het ook schandalig hoe de regering omgaat met niet-gevaccineerden. Dus daarom ben ik hier.
Welkom allemaal.
Sinds 1 november moet je in heel het land het CovidSafe-ticket voorleggen om op café te gaan, in de fitness of om de cinema binnen te mogen. Ik kan me inbeelden dat dat wel een grote impact heeft op jouw leven, Roxanne. Ja, enorm groot, inderdaad. Alle leuke dingen, of toch het grootste deel van die leuke dingen, is eigenlijk niet meer mogelijk. Tenzij ik een test laat doen, dat kost toch ook wel wat. Dus ja, een groot deel van mijn vrije tijdsbesteding en het plezier dat ik normaal gezien haal uit die activiteiten. En die valt nu gewoon weg. En hoe voelt dat? Ik heb al heel veel gevoeld de laatste twee jaar eigenlijk gewoon al. Maar nu zou ik zeggen vooral machteloos, boos, teleurgesteld. Ja, een beetje verdrietig ook. Marie, gij vindt het maar normaal eigenlijk dat mensen een COVID-safe ticket moeten voorleggen om op café te gaan? Ja allee, het is altijd een moeilijk gesprek, maar ik ben daar wel in theorie voor. Waarom? Er zijn verschillende mensen die ook niet gevaccineerd zijn, mensen die wel gevaccineerd zijn. Ik denk, de alternatieven waar ze nu al over spreken, zoals een lockdown, ik denk niet dat iemand dat nog terug wil. En ge kunt ook niet zeggen dat ge zomaar geen maatregelen neemt. Ge kunt wel iets doen. En natuurlijk is het in het begin moeilijk aftasten. Wat werkt wel en wat niet. Maar het COVID-safe ticket heeft wel in het begin, waarvoor het in het begin ontworpen is, met het reizen en naar het buitenland mogen gaan en over de grenzen gaan, wel bewezen dat het werkt. Voelt ge u daar zelf veiliger bij als ge op een evenement zijt waar COVID-safe tickets worden gebruikt? Het is een beetje half vals, half wel. Van mensen die gevaccineerd zijn, ge weet dat de kans groter is als ze het doorbrengen. De kans is ook kleiner dat ze het krijgen, maar het gebeurt wel. Wat ge wel weet, zijn mensen die niet gevaccineerd zijn, ge weet dat de kans groter is als ze het doorbrengen. De kans is ook kleiner dat ze het krijgen, maar het gebeurt wel. Wat ge wel weet, zijn mensen die niet gevaccineerd zijn geweest, daar zijt ge wel zeker van dat ze niet covid-positief zijn. Dus ja, er is een deel van waar ge weet en zekerheid hebt van, ja, die gaan mij niet besmetten. Het andere deel zijt ge niet honderd procent zeker van, maar ge weet wel dat de kans kleiner is als ze het hebben en het doorgeven. Maar de kans bestaat inderdaad. Waardoor nu ook de mondmasker plicht is ingevoerd. Er is nu sprake van COVID-safe ticket plus, waar ge om op café te gaan ook een mondmasker moet dragen. Denkt ge dat dat gaat werken, die maatregelen? Ik denk sowieso dat mondmaskers heel belangrijk zijn. Het is altijd al heel belangrijk geweest. Ge merkt ook in de proles van mondmaskers dat er echt veel minder besmettingen zijn, ook in de proles van mondmaskers, dat er echt veel minder besmettingen zijn als beide partijen altijd een mondmasker dragen. Ik vind dat niet ideaal. Ik ben al zelf flauwgevallen door mondmaskers te dragen, maar ik zal het blijven doen. Ge ziet dat dat belangrijk is, maar ik denk ook dat we heel goed moeten opzetten op verluchting. Volgens mij nog even belangrijk, bijna als mondmaskers. Dus ik denk dat we ook gewoon moeten inzetten op al die soort dingen. En hoe meer we daarop inzetten, hopelijk hoe vlugger dit allemaal gedaan kan zijn. Wat uiteindelijk, denk ik, is wat iedereen wil.

[HugoFara]

Hi @Nick0w7 ! I had some time to review the issue and fix it, thank you for your sample text by the way.

Basically what happened is that when testing a word as part of a sentence, LWT checks if you know at least 70% of the words in the sentence. This threshold is arbitrary, as we (with some community members) considered that the sentence would not be intelligible below 70% of words comprehension (see #52 and #53). Below this threshold the sentence is not displayed, as being distracting.

When reviewing you case, I realized that seeing a plain "[°°°°]" does not make sense, and I was a bit dissatisfied with the user requesting a sentence and the system outputting a word. So I changed the system, here is how it works now:

1. Sentences containing a word are selected, and we count the ratio of words known in the sentence (as before).
2. Sentences are separated in two groups, those with 70% of known words, and the rest.
3. We select any sentence from the first group if it is not empty, second group otherwise.

So now you will always see sentences (as with the official LWT), but they will very likely contain words you know (new system). I hope it better system, until next iteration.

Have a great day and happy learning!