Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Use new GND and EntityFacts dumps #183

Closed
acka47 opened this issue Mar 15, 2019 · 5 comments
Closed

Use new GND and EntityFacts dumps #183

acka47 opened this issue Mar 15, 2019 · 5 comments
Assignees
@acka47

Comments

@acka47
Copy link
Contributor

acka47 commented Mar 15, 2019

Email to the LDS list from today:

On 15.03.19 12:50, Datendienste wrote:

*** Bitte entschuldigen Sie evtl. Mehrfachempfang ***

Sehr geehrte Damen und Herren,

es stehen aktualisierte RDF-Dumps der Gemeinsamen Normdatei (GND), der Titeldaten der Deutschen Nationalbibliothek (DNB), der Zeitschriftendatenbank (ZDB) und der Adressdatei (ISIL- und Sigelverzeichnis) in verschiedenen Serialisierungsformen (RDF/XML, Turtle, JSON-LD, HDT-Datei und als N-Triples) bereit [1]. Details der Formataenderung im Release 2019.01 entnehmen Sie bitte der Ankuendigung [2]. Informationen rund um den Linked Data Service der Deutschen Nationalbibliothek finden Sie unter [3].

Bitte beachten Sie, dass sich die Struktur der Dateibenennung geaendert hat. Diese besteht aus dem OAI-Datensetbezeichner mit Bindestrich statt Doppelpunkt bei Untersets [4], Profil (z. B. lds, ldsprov, entityfacts), Datum des Datenabzugs (8-stellig) und zum MIME-Type gehoerende Dateiendung (z. B. ttl).
Beispiel: authorities-person_lds_20190213.rdf.gz

Alle Daten werden kostenfrei zur Verfuegung gestellt und unter Creative-Commons-Zero-Bedingungen (CC0 1.0) [5] zur freien Nachnutzung angeboten. Seit Ende Januar 2014 enthalten einige geografische Normdaten in der GND unveraenderte Koordinaten aus der Datenbank GeoNames [6, die als Bestandteil der GND seit Juni 2014 ebenfalls unter Creative-Commons-Zero-Bedingungen nachgenutzt werden koennen. Dies gilt ebenfalls für die in einigen Titeldaten der DNB seit Oktober 2015 enthaltenen Klassenangaben der thema-Buchklassifikation [7].

Um die Herkunft der einzelnen Metadatenangaben in den RDF-Daten transparent zu gestalten, gibt es ergaenzend Metadatenprovenienz-Dumps für die DNB-Titeldaten, erkennbar an der Dateibenennung „dnb-all_ldsprov ...“. Darin enthalten sind Entstehungsangaben fuer alle Aussagen mit den Properties dcterms:subject und dcterms:language. Wir werden den Umfang und die Aussagekraft dieser Angaben kontinuierlich weiter erhoehen und diese grundlegend in unsere Dienste integrieren. Die Planung dafuer sowie die Dokumentation der Modellierung sind unter [8] verfuegbar.

Entity Facts:
Der aktualisierte Gesamtabzug der Daten des Services „Entity Facts“ [9] wurde ebenfalls bereitgestellt [1].

Fuer weitere Fragen erreichen Sie uns per E-Mail unter datendienste@dnb.de und unter den bekannten Telefonnummern.

[1] https://data.dnb.de/opendata/
[2] https://www.dnb.de/SharedDocs/Downloads/DE/DNB/service/rundschreiben20181127AenderungenRDFFormat.html
[3] https://www.dnb.de/lds
[4] https://www.dnb.de/oai, Abschnitt „Über OAI verfügbare Kataloge (sets) der Deutschen Nationalbibliothek“
[5] https://creativecommons.org/publicdomain/zero/1.0/
[6] https://www.geonames.org/
[7] https://vlb.de/hilfe/vlb-onix-empfehlungen/schlagw%C3%B6rter-und-produktklassifikation#Thema-Klassifikation
[8] https://wiki.dnb.de/x/46G5C
[9] https://www.dnb.de/entityfacts
@acka47 acka47 added the ready label Mar 15, 2019
@fsteeg fsteeg added working and removed ready labels Mar 25, 2019
@fsteeg
Copy link
Member

fsteeg commented Mar 26, 2019

@dr0i New EntityFacts dump is at https://data.dnb.de/opendata/authorities_entityfacts_20190305.jsonld.gz, could you create a new index?

@dr0i
Copy link
Member

dr0i commented Mar 26, 2019

Configured via crontab. Running, should be finished at ~ 13:45.

fsteeg added a commit that referenced this issue Mar 26, 2019
@fsteeg
Update README for new GND dumps and details
be7b1bf 
See #183
@dr0i
Copy link
Member

dr0i commented Mar 26, 2019

Index seems to be fine. Unassigning myself.

@dr0i dr0i removed their assignment Mar 26, 2019
fsteeg added a commit to hbz/lobid-resources that referenced this issue Apr 3, 2019
@fsteeg
Tweak creation of internal Elasticsearch ID
160555c 
The `describedBy.@id` values in the latest EntityFacts dump have
switched from HTTP to HTTPS URIs, causing the ID creation to break.

This change creates the internal ID from the top-level `@id` field.

See hbz/lobid-gnd#183
@fsteeg fsteeg mentioned this issue Apr 3, 2019
Merged
@fsteeg fsteeg added review and removed working labels Apr 5, 2019
fsteeg added a commit that referenced this issue Apr 5, 2019
@fsteeg
Merge branch '183-dumps' of https://github.com/hbz/lobid-gnd
208b36e 
See #183
@fsteeg
Copy link
Member

fsteeg commented Apr 5, 2019

Deployed to production (to avoid additional manual updates on Monday): http://lobid.org/gnd

@acka47: if everything is good, you can just close this issue.

@fsteeg fsteeg assigned acka47 and unassigned fsteeg Apr 5, 2019
@acka47
Copy link
Contributor Author

acka47 commented Apr 8, 2019

Everything looks good. Closing.

@acka47 acka47 closed this as completed Apr 8, 2019
@acka47 acka47 removed the review label Apr 8, 2019
@acka47 acka47 mentioned this issue Jul 11, 2019
Closed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@acka47 acka47

Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@fsteeg @acka47 @dr0i