This repository has been archived by the owner. It is now read-only.
A Python script to extract the plain-text data from the NVdB PDF file.
Switch branches/tags
Nothing to show
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
.gitignore
20170108.nvdb.pdf
LICENSE
README.md
VERSION
article.md
cleanraw.py
nvdb.full.txt
nvdb.split.justified.txt
nvdb.split.txt
nvdb.words.txt
raw.txt

README.md

nvdb

A Python script to extract the plain-text data from the NVdB PDF file.

  • Version: 1.0.0
  • Date: 2017-01-08
  • Author: Alberto Pettarin (contact)
  • License: Public Domain / CC BY 4.0 / AGPLv3 (see below)

This project is dedicated to the memory of Professor Tullio De Mauro.

The NVdB

The Nuovo vocabolario di base della lingua italiana (NVdB, 2016-11-23), curated by Isabella Chiari and Tullio De Mauro with the help of Francesca Ferrucci, contains the roughly 7,000 most common (or perceived as such by native speakers) Italian words.

See the Web page for details, or consult the markdown version available in this repository.

For archival purposes, a copy of the PDF file is also stored in this repository, as 20170108.nvdb.pdf. This PDF file was retrieved from the URL https://dl.dropboxusercontent.com/u/236058/nuovovocabolariodibase.pdf (contained in the page linked above) on 2017-01-08.

Processed Files

This repository contains the following processed files:

  1. raw.txt, which is the raw text extracted from the NVdB PDF file:

    Internazionale | url
    Dizionario
    Il Nuovo vocabolario di base
    della lingua italiana
    
    A cura di Tullio De Mauro
    23 novembre 2016
    
    A
    
    1a s.f. e m.inv., 2a prep., abbagliante p.pres., agg., s.m., abbaiare v.intr. e tr., abbandonare v.tr., abbandonato p.pass., agg., s.m.,
    abbandono s.m., abbassare v.tr., abbasso avv., inter., abbastanza avv., abbattere v.tr., abbeverare v.tr., abbigliamento s.m.,
    abbinare v.tr., abbonamento s.m., 1abbonare v.tr., abbondante p.pres., agg., abbondare v.intr., abbottonare v.tr., 1abbracciare
    v.tr., abbraccio s.m., abbreviare v.tr., abbronzare v.tr., abete s.m., abile agg., abilità s.f.inv., abisso s.m., abitante p.pres., agg.,
    s.m., abitare v.intr. e tr., s.m., abitazione s.f., abito s.m., abituale agg., abituare v.tr., abitudine s.f., abolire v.tr., abortire v.in-
    tr., aborto s.m., abruzzese agg., s.m. e f., abusare v.intr., abuso s.m., acca s.f. e m.inv., accademia s.f., accademico agg., s.m.,
    accadere v.intr., accampamento s.m., accanto avv., accappatoio s.m., accarezzare v.tr., accattone s.m., accavallare v.tr., acceca-
    re v.tr., v.intr., accedere v.intr., accelerare v.tr. e intr., acceleratore agg., s.m., accelerazione s.f., accendere v.tr., accendino s.m.,
    accennare v.tr. e intr., accenno s.m., accentare v.tr., accertamento s.m., accertare v.tr., acceso p.pass., agg., accesso s.m., acces-
    sorio agg., s.m., accetta s.f., accettabile agg., accettare v.tr., acchiappare v.tr., acciacco s.m., acciaio s.m., accidente s.m., acciuga
    ...
    
  2. nvdb.full.txt, containing the full info, one word per line:

    a s.f. e m.inv.
    a prep.
    abbagliante p.pres., agg., s.m.
    abbaiare v.intr. e tr.
    abbandonare v.tr.
    abbandonato p.pass., agg., s.m.
    abbandono s.m.
    abbassare v.tr.
    abbasso avv., inter.
    abbastanza avv.
    ...
    
  3. nvdb.words.txt, containing just the words, one word per line:

    a
    abbagliante
    abbaiare
    abbandonare
    abbandonato
    abbandono
    abbassare
    abbasso
    abbastanza
    abbattere
    ...
    
  4. nvdb.split.txt, containing the full info, one word per line, with word and grammar info separated by a tab character:

    a       s.f. e m.inv.
    a       prep.
    abbagliante     p.pres., agg., s.m.
    abbaiare        v.intr. e tr.
    abbandonare     v.tr.
    abbandonato     p.pass., agg., s.m.
    abbandono       s.m.
    abbassare       v.tr.
    abbasso avv., inter.
    abbastanza      avv.
    ...
    
  5. nvdb.split.justified.txt similar to nvdb.split.txt, but with space-based left justification instead of tabs:

    a                  s.f. e m.inv.
    a                  prep.
    abbagliante        p.pres., agg., s.m.
    abbaiare           v.intr. e tr.
    abbandonare        v.tr.
    abbandonato        p.pass., agg., s.m.
    abbandono          s.m.
    abbassare          v.tr.
    abbasso            avv., inter.
    abbastanza         avv.
    ...
    

The following commands were used to obtain the files:

$ wget https://dl.dropboxusercontent.com/u/236058/nuovovocabolariodibase.pdf
$ pdftotext nuovovocabolariodibase.pdf > raw.txt
$ python cleanraw.py raw.txt nvdb.full.txt
$ python cleanraw.py raw.txt nvdb.words.txt -w
$ python cleanraw.py raw.txt nvdb.split.txt -s
$ python cleanraw.py raw.txt nvdb.split.justified.txt --split-justify

License

This document is released under the CC BY 4.0 License.

The processed files are released in the public domain.

cleanraw.py is released under the AGPLv3 License.

All materials should be used for research and/or personal purposes only, and according to the Terms of Service of the NVdB.