Skip to content

Commit

Permalink
Sentence splitting pre-processing broken, remove hard newlines
Browse files Browse the repository at this point in the history
  • Loading branch information
Pontus Stenetorp committed Nov 6, 2012
1 parent 90056ea commit 401f65a
Show file tree
Hide file tree
Showing 10 changed files with 10 additions and 293 deletions.
31 changes: 1 addition & 30 deletions example-data/corpora/CoNLL-ST_2002/ned/ned.train-doc-118.txt
@@ -1,30 +1 @@
WWW : www.costreduction.nl/cvs/vergouw.html en www.strafschop.nl
Douglas De Coninck
De Focus
Uitspraak : ' Structureel oefenen op strafschokken kost nochtans niet zo verschrikkelijk veel tijd.
pagina
auteur
Algemeen
Vooraf had Oranje nochtans vrachten raad gekregen van bedrijfsconsultant en strafschopdeskundige Gyuri Vergouw.
)
Geknakte droom : voetballer worden.
Voor de derde keer op rij ging Nederland tijdens een groot voetbaltoernooi ten onder na het nemen van strafschoppen.
Maakte binnen het Nederlandse bedrijfsleven vooral furore met zijn pleidooien voor onthaasting, en de objectieve voordelen hiervan voor zowel werknemer als werkgever.
Voor de derde keer op rij ging Nederland tijdens een groot voetbaltoernooi ten onder na het neme
editie
Zie www.
zaterdag, 1 juli 2000
sectie
Boek : ' De Strafschop, Zoektocht naar de ultieme penalty ', 144 blz. (Bestellen?
De Morgen
publicatiedatum
Tenzij je telkens achter een door Jaap Stam getrapte strafschopbal moet gaan aanlopen, natuurlijk. '
publicatie
Conclusie : ' Geen enkele speler kon de toets der kwaliteit doorstaan. '
Dat is wel gebleken. '
Naam : Gyuri Vergouw
Curriculum vitae : vermeldt als specialiteiten begrippen als Management Accounting, Activity Based Costing, Benchmarking, Balanced Scorecard en SWOT-analyse.
Geboren : 1961
Hobby : strafschopdeskundige.
' Helaas hebben ze mijn boek niet gelezen.
Zijn beoordeling, donderdagavond : eerste van de Boer (5 op 10), eerste van Kluivert (5,5), tweede van de Boer (0), Stam (3), tweede van Kluivert (6), Bosvelt (4).
WWW : www.costreduction.nl/cvs/vergouw.html en www.strafschop.nl Douglas De Coninck De Focus Uitspraak : ' Structureel oefenen op strafschokken kost nochtans niet zo verschrikkelijk veel tijd. pagina auteur Algemeen Vooraf had Oranje nochtans vrachten raad gekregen van bedrijfsconsultant en strafschopdeskundige Gyuri Vergouw. ) Geknakte droom : voetballer worden. Voor de derde keer op rij ging Nederland tijdens een groot voetbaltoernooi ten onder na het nemen van strafschoppen. Maakte binnen het Nederlandse bedrijfsleven vooral furore met zijn pleidooien voor onthaasting, en de objectieve voordelen hiervan voor zowel werknemer als werkgever. Voor de derde keer op rij ging Nederland tijdens een groot voetbaltoernooi ten onder na het neme editie Zie www. zaterdag, 1 juli 2000 sectie Boek : ' De Strafschop, Zoektocht naar de ultieme penalty ', 144 blz. (Bestellen? De Morgen publicatiedatum Tenzij je telkens achter een door Jaap Stam getrapte strafschopbal moet gaan aanlopen, natuurlijk. ' publicatie Conclusie : ' Geen enkele speler kon de toets der kwaliteit doorstaan. ' Dat is wel gebleken. ' Naam : Gyuri Vergouw Curriculum vitae : vermeldt als specialiteiten begrippen als Management Accounting, Activity Based Costing, Benchmarking, Balanced Scorecard en SWOT-analyse. Geboren : 1961 Hobby : strafschopdeskundige. ' Helaas hebben ze mijn boek niet gelezen. Zijn beoordeling, donderdagavond : eerste van de Boer (5 op 10), eerste van Kluivert (5,5), tweede van de Boer (0), Stam (3), tweede van Kluivert (6), Bosvelt (4).
34 changes: 1 addition & 33 deletions example-data/corpora/CoNLL-ST_2002/ned/ned.train-doc-123.txt
@@ -1,33 +1 @@
Hoverspeed zegt dat het de vaste bedoeling is om de lijn Oostende - Dover operationeel te houden met een vaste en permanente dienst.
Afschaffing taxfree verlaagt inkomsten
pagina
Bij Hoverspeed werken nu 321 werknemers.
De Morgen
editie
De Financiële Morgen
publicatiedatum
Deze winter
Door het 's winters afschaffen van één van de twee catamarans worden 86 personeelsleden van Hoverspeed in de wintermaanden tijdelijk werkloos.
De maatregel gaat in op 1 oktober en is geldig tot april 2001.
publicatie
Maar volgens Hoverspeed hebben er toch heel wat mensen afgehaakt.
Hoverspeed derft naar eigen zeggen flink wat inkomsten door het verdwijnen van taxfree.
sectie
Algemeen
Volgens Ivan Victor (ABVV) is de kans groot dat het personeel dat in de winter niet aan de slag kan, ander werk zoekt.
Hij pleit dan ook voor een pool waarin het personeel opgenomen wordt tijdens de winter, om in het voorjaar weer aan de slag te kunnen.
Dat raakte gisteren bekend op een bijzondere ondernemingsraad.
De socialistische vakbond ABVV heeft al de aanstelling van een sociaal bemiddelaar gevraagd.
Geert Sciot
Terwijl de luchthavenshops (zie ook pagina 37) het afschaffen van de taxfree vlot verwerken, gaat de rederij Hoverspeed juist wegens het wegvallen van de belastingvrije verkoop haar afvaarten volgende winter flink beperken.
auteur
Belga
Nochtans blijft het accijnsverschil tussen België en Groot-Brittannië de overtocht aantrekkelijk maken.
Als gevolg van een overeenkomst tussen Hoverspeed en de staat moeten er minstens 195 mensen in dienst blijven.
De rederij trok voorheen heel wat, voornamelijk Britse, dagjesmensen aan die het Kanaal overstaken om aan boord en in Oostende voordelig te shoppen.
zaterdag, 1 juli 2000
Verkeer
"Buiten de zomerse piekmomenten is de lijn minder rendabel dan in het verleden", zo luidt het bij Hoverspeed.
Hoverspeed bouwt af
Het aantal is flink gedaald nu er belastingen moeten worden betaald op tabak en alcohol.
Financiële cijfers werden niet bekendgemaakt.
Hoverspeed zegt dat het de vaste bedoeling is om de lijn Oostende - Dover operationeel te houden met een vaste en permanente dienst. Afschaffing taxfree verlaagt inkomsten pagina Bij Hoverspeed werken nu 321 werknemers. De Morgen editie De Financiële Morgen publicatiedatum Deze winter Door het 's winters afschaffen van één van de twee catamarans worden 86 personeelsleden van Hoverspeed in de wintermaanden tijdelijk werkloos. De maatregel gaat in op 1 oktober en is geldig tot april 2001. publicatie Maar volgens Hoverspeed hebben er toch heel wat mensen afgehaakt. Hoverspeed derft naar eigen zeggen flink wat inkomsten door het verdwijnen van taxfree. sectie Algemeen Volgens Ivan Victor (ABVV) is de kans groot dat het personeel dat in de winter niet aan de slag kan, ander werk zoekt. Hij pleit dan ook voor een pool waarin het personeel opgenomen wordt tijdens de winter, om in het voorjaar weer aan de slag te kunnen. Dat raakte gisteren bekend op een bijzondere ondernemingsraad. De socialistische vakbond ABVV heeft al de aanstelling van een sociaal bemiddelaar gevraagd. Geert Sciot Terwijl de luchthavenshops (zie ook pagina 37) het afschaffen van de taxfree vlot verwerken, gaat de rederij Hoverspeed juist wegens het wegvallen van de belastingvrije verkoop haar afvaarten volgende winter flink beperken. auteur Belga Nochtans blijft het accijnsverschil tussen België en Groot-Brittannië de overtocht aantrekkelijk maken. Als gevolg van een overeenkomst tussen Hoverspeed en de staat moeten er minstens 195 mensen in dienst blijven. De rederij trok voorheen heel wat, voornamelijk Britse, dagjesmensen aan die het Kanaal overstaken om aan boord en in Oostende voordelig te shoppen. zaterdag, 1 juli 2000 Verkeer "Buiten de zomerse piekmomenten is de lijn minder rendabel dan in het verleden", zo luidt het bij Hoverspeed. Hoverspeed bouwt af Het aantal is flink gedaald nu er belastingen moeten worden betaald op tabak en alcohol. Financiële cijfers werden niet bekendgemaakt.
33 changes: 1 addition & 32 deletions example-data/corpora/CoNLL-ST_2002/ned/ned.train-doc-134.txt
@@ -1,32 +1 @@
Journaal
Algemeen
publicatiedatum
Privé-partners mogen uiteraard nog wel samenwerken met de lokale besturen, maar een zitje in de intercommunales zit er niet meer in.
De Vlaamse regering voorziet wel in een uitdoofscenario van maximaal zestien jaar, om te verhinderen dat gemeenten in financiële problemen zouden komen.
Ze kunnen kiezen uit losse interlokale verenigingen, of intercommunales met rechtspersoonlijkheid.
Ministers en parlementsleden zullen geen zitje meer krijgen in een intercommunale raad van bestuur.
auteur
Bart Eeckhout
De beslissing over de belangrijkste thema's verschuift van het schepencollege naar de gemeenteraad.
Privé-sector niet meer gewenst in intercommunales
Bestuurders zullen ook maximaal twee mandaten mogen uitvoeren.
Dat er een hervorming van de samenwerking tussen gemeenten op komst is, kondigde Vlaams minister van Binnenlandse Aangelegenheden Johan Sauwens (VU & ID) al eerder aan (DM 23 / 06).
In haar ontwerpdecreet over de hervorming van de intergemeentelijke samenwerking kiest de Vlaamse regering immers nog enkel voor zuivere intercommunales, zonder privé-inbreng.
Brussel
Eigen berichtgeving
pagina
Ten laatste over zestien jaar afgelopen met gemengde intercommunales
Het privé-aandeel in intercommunales bedraagt immers 70 miljard en dat kan niet van vandaag op morgen opgebracht worden door de gemeenten.
sectie
editie
In dat geval wordt een onderscheid gemaakt tussen projectverenigingen, dienstverlenende verenigingen of opdrachthoudende verenigingen.
zaterdag, 1 juli 2000
Het bestuur van de intercommunales wordt tevens gedemocratiseerd.
Bij Agalev, dat zelf een decreetvoorstel in die zin had ingediend, werd gisteren uiterst tevreden gereageerd op de regeringsbeslissing.
publicatie
Vanaf 1 januari mogen geen nieuwe gemengde intercommunales opgericht worden en ten laatste over zestien jaar moet de laatste bestaande het licht uitdoen.
De Vlaamse regering gaat echter verder dan oorspronkelijk gedacht.
(BE)
De gemeenten krijgen voortaan een samenwerkingsmenu aangeboden.
Op termijn zal er geen plaats meer zijn voor privé-partners in intercommunales.
De Morgen
Journaal Algemeen publicatiedatum Privé-partners mogen uiteraard nog wel samenwerken met de lokale besturen, maar een zitje in de intercommunales zit er niet meer in. De Vlaamse regering voorziet wel in een uitdoofscenario van maximaal zestien jaar, om te verhinderen dat gemeenten in financiële problemen zouden komen. Ze kunnen kiezen uit losse interlokale verenigingen, of intercommunales met rechtspersoonlijkheid. Ministers en parlementsleden zullen geen zitje meer krijgen in een intercommunale raad van bestuur. auteur Bart Eeckhout De beslissing over de belangrijkste thema's verschuift van het schepencollege naar de gemeenteraad. Privé-sector niet meer gewenst in intercommunales Bestuurders zullen ook maximaal twee mandaten mogen uitvoeren. Dat er een hervorming van de samenwerking tussen gemeenten op komst is, kondigde Vlaams minister van Binnenlandse Aangelegenheden Johan Sauwens (VU & ID) al eerder aan (DM 23 / 06). In haar ontwerpdecreet over de hervorming van de intergemeentelijke samenwerking kiest de Vlaamse regering immers nog enkel voor zuivere intercommunales, zonder privé-inbreng. Brussel Eigen berichtgeving pagina Ten laatste over zestien jaar afgelopen met gemengde intercommunales Het privé-aandeel in intercommunales bedraagt immers 70 miljard en dat kan niet van vandaag op morgen opgebracht worden door de gemeenten. sectie editie In dat geval wordt een onderscheid gemaakt tussen projectverenigingen, dienstverlenende verenigingen of opdrachthoudende verenigingen. zaterdag, 1 juli 2000 Het bestuur van de intercommunales wordt tevens gedemocratiseerd. Bij Agalev, dat zelf een decreetvoorstel in die zin had ingediend, werd gisteren uiterst tevreden gereageerd op de regeringsbeslissing. publicatie Vanaf 1 januari mogen geen nieuwe gemengde intercommunales opgericht worden en ten laatste over zestien jaar moet de laatste bestaande het licht uitdoen. De Vlaamse regering gaat echter verder dan oorspronkelijk gedacht. (BE) De gemeenten krijgen voortaan een samenwerkingsmenu aangeboden. Op termijn zal er geen plaats meer zijn voor privé-partners in intercommunales. De Morgen
22 changes: 1 addition & 21 deletions example-data/corpora/CoNLL-ST_2002/ned/ned.train-doc-181.txt
@@ -1,21 +1 @@
Derde ronde : Raymond (VS) - Jeyaseelan (Can) 6 - 2 6 - 1 -- Appelmans - Smashnova (Isr) 6 - 3 6 - 4 -- Tanasugarn (Tha) - Sidot (Fra) 6 - 1 4 - 6 6 - 4 -- Hingis (Zwi / 1) - Talaja (Cro) 6 - 2 6 - 2 -- Barabanschikova (W-Rus) - Frazier (VS) 6 - 3 6 - 2 -- Huber (Dui / 11) - Pisnik (Slo) 6 - 2 6 - 3.
Sport
Derde ronde : Gambill (VS) - Goldstein (VS) 7 - 6 (12 - 10) 6 - 2 6 - 2, Ferreira (Z-A) - Pavel (Roe) 3 - 6 7 - 6 (7 - 3) 7 - 5 6 - 3, Bjorkman (Zwe) - Godwin (Z-A) 6 - 3 6 - 4 6 - 4 -- Pozzi (Ita) - O. Rochus 6 - 3 3 - 6 7 - 6 (7 - 3) 6 - 2 -- Voltchkov (W-Rus) - El Aynaoui (Mar) 7 - 6 (7 - 4) 7 - 5 7 - 6 (7 - 4) -- B. Black (Zim) - Portas (Spa) 6 - 2 6 - 0 6 - 4.
Vrouwen :
editie
auteur
Wimbledon
Dubbel gemengd :
publicatie
Eerste ronde : Horn / Montalvo (Z-A / Arg)-Asagoe / Reeves (Jap / VS) 6 - 1 4 - 6 6 - 4.
publicatiedatum
Vrouwen dubbel :
Eerste ronde : Hewitt (Aus) / K. Clijsters - Orsanic / Vis (Arg / Ned) 6 - 1 6 - 4
sectie
Algemeen
Tweede ronde : Kournikova / Zvereva (Rus / W-Rus) - Hrdlickova / Rittner (Tsj / Dui) 6 - 3 6 - 3 -- Boogert / Oremans (Ned) - Coetzer / McNeil (VS) 6 - 3 4 - 6 9 - 7 -- Pascual / Suarez (Spa / Arg) - Bachmann / Dyrberg (Dui / Den) 7 - 5 2 - 6 6 - 2 -- Capriati / Dokic (VS / Aus) - Martinez / Tarabini (Spa / Arg) 6 - 3 6 - 4.
De Morgen
zaterdag, 1 juli 2000
Tweede ronde : Agassi (VS / 2) - Martin (VS) 6 - 4 2 - 6 7 - 6 (7 - 3) 2 - 6 10 - 8.
pagina
Mannen :
Derde ronde : Raymond (VS) - Jeyaseelan (Can) 6 - 2 6 - 1 -- Appelmans - Smashnova (Isr) 6 - 3 6 - 4 -- Tanasugarn (Tha) - Sidot (Fra) 6 - 1 4 - 6 6 - 4 -- Hingis (Zwi / 1) - Talaja (Cro) 6 - 2 6 - 2 -- Barabanschikova (W-Rus) - Frazier (VS) 6 - 3 6 - 2 -- Huber (Dui / 11) - Pisnik (Slo) 6 - 2 6 - 3. Sport Derde ronde : Gambill (VS) - Goldstein (VS) 7 - 6 (12 - 10) 6 - 2 6 - 2, Ferreira (Z-A) - Pavel (Roe) 3 - 6 7 - 6 (7 - 3) 7 - 5 6 - 3, Bjorkman (Zwe) - Godwin (Z-A) 6 - 3 6 - 4 6 - 4 -- Pozzi (Ita) - O. Rochus 6 - 3 3 - 6 7 - 6 (7 - 3) 6 - 2 -- Voltchkov (W-Rus) - El Aynaoui (Mar) 7 - 6 (7 - 4) 7 - 5 7 - 6 (7 - 4) -- B. Black (Zim) - Portas (Spa) 6 - 2 6 - 0 6 - 4. Vrouwen : editie auteur Wimbledon Dubbel gemengd : publicatie Eerste ronde : Horn / Montalvo (Z-A / Arg)-Asagoe / Reeves (Jap / VS) 6 - 1 4 - 6 6 - 4. publicatiedatum Vrouwen dubbel : Eerste ronde : Hewitt (Aus) / K. Clijsters - Orsanic / Vis (Arg / Ned) 6 - 1 6 - 4 sectie Algemeen Tweede ronde : Kournikova / Zvereva (Rus / W-Rus) - Hrdlickova / Rittner (Tsj / Dui) 6 - 3 6 - 3 -- Boogert / Oremans (Ned) - Coetzer / McNeil (VS) 6 - 3 4 - 6 9 - 7 -- Pascual / Suarez (Spa / Arg) - Bachmann / Dyrberg (Dui / Den) 7 - 5 2 - 6 6 - 2 -- Capriati / Dokic (VS / Aus) - Martinez / Tarabini (Spa / Arg) 6 - 3 6 - 4. De Morgen zaterdag, 1 juli 2000 Tweede ronde : Agassi (VS / 2) - Martin (VS) 6 - 4 2 - 6 7 - 6 (7 - 3) 2 - 6 10 - 8. pagina Mannen :
25 changes: 1 addition & 24 deletions example-data/corpora/CoNLL-ST_2002/ned/ned.train-doc-184.txt
@@ -1,24 +1 @@
publicatiedatum
Algemeen
Zijn kabinet volgt wel nauwgezet de cijfers vanuit toeristisch oogpunt en werkt deze gegevens dagelijks bij. "
19
Landuyt had net het tegenovergestelde gezegd.
Hij stelde dat het idyllische beeld dat de toeristische diensten hadden proberen op te hangen van de speelsteden, getorpedeerd was door beelden van hardhandig optredende politieagenten en een voor het publiek afgesloten Brusselse Grote Markt.
Sport
sectie
Volgens staatssecretaris van Buitenlandse Handel Pierre Chevalier (VLD) heeft Euro 2000 wel degelijk een positieve invloed gehad op het Belgische imago in het buitenland.
Dat zei hij gisteren op Radio 1 in een reactie op de negatieve balans die Vlaams minister van Toerisme Renaat Landuyt maakte in De Morgen.
Volgens Chevalier is die visie wat kortzichtig : hij is ervan overtuigd dat Euro 2000 vooral op lange termijn zal renderen.
Gisteravond verstuurde het kabinet van Vlaamse minister Landuyt een ' rechtzetting ' op het artikel ' Euro 2000 ramp voor Belgisch imago ' : "De minister heeft het woord ramp nooit in de mond genomen.
zaterdag, 1 juli 2000
De Morgen
publicatie
Chevalier countert Landuyt over Euro 2000
editie
Landuyt wees er ook op dat de economische motor die Euro 2000 op toeristisch vlak had moeten zijn, flink had gesputterd.
De redactie van De Morgen blijft erbij dat Landuyt de weergegeven woorden wel degelijk heeft gebruikt tijdens een telefonisch interview.
Afgaande op zijn ervaring zei hij dat de bezoekers "een gastvrij" land was getoond.
pagina
Chevalier zei dat de handelscontacten goed waren geweest om de buitenlandse bezoekers onze manier van handel drijven uit te leggen.
Vooral de hotels zouden niet hebben kunnen profiteren van het voetbaltoernooi.
auteur
publicatiedatum Algemeen Zijn kabinet volgt wel nauwgezet de cijfers vanuit toeristisch oogpunt en werkt deze gegevens dagelijks bij. " 19 Landuyt had net het tegenovergestelde gezegd. Hij stelde dat het idyllische beeld dat de toeristische diensten hadden proberen op te hangen van de speelsteden, getorpedeerd was door beelden van hardhandig optredende politieagenten en een voor het publiek afgesloten Brusselse Grote Markt. Sport sectie Volgens staatssecretaris van Buitenlandse Handel Pierre Chevalier (VLD) heeft Euro 2000 wel degelijk een positieve invloed gehad op het Belgische imago in het buitenland. Dat zei hij gisteren op Radio 1 in een reactie op de negatieve balans die Vlaams minister van Toerisme Renaat Landuyt maakte in De Morgen. Volgens Chevalier is die visie wat kortzichtig : hij is ervan overtuigd dat Euro 2000 vooral op lange termijn zal renderen. Gisteravond verstuurde het kabinet van Vlaamse minister Landuyt een ' rechtzetting ' op het artikel ' Euro 2000 ramp voor Belgisch imago ' : "De minister heeft het woord ramp nooit in de mond genomen. zaterdag, 1 juli 2000 De Morgen publicatie Chevalier countert Landuyt over Euro 2000 editie Landuyt wees er ook op dat de economische motor die Euro 2000 op toeristisch vlak had moeten zijn, flink had gesputterd. De redactie van De Morgen blijft erbij dat Landuyt de weergegeven woorden wel degelijk heeft gebruikt tijdens een telefonisch interview. Afgaande op zijn ervaring zei hij dat de bezoekers "een gastvrij" land was getoond. pagina Chevalier zei dat de handelscontacten goed waren geweest om de buitenlandse bezoekers onze manier van handel drijven uit te leggen. Vooral de hotels zouden niet hebben kunnen profiteren van het voetbaltoernooi. auteur

0 comments on commit 401f65a

Please sign in to comment.