DNB_SRU_Tutorial.ipynb

{"cells":[{"metadata":{"nbpresent":{"id":"d0d72cd5-034d-4b94-a4e2-54f7753cb9f0"}},"cell_type":"markdown","source":"# DNBLab Jupyter Notebook Tutorial"},{"metadata":{"nbpresent":{"id":"558898c3-e162-4e46-92d5-b4c914325790"}},"cell_type":"markdown","source":"## SRU - Schnittstellenabfrage, Datenauslieferung und Ergebnisanzeige"},{"metadata":{"nbpresent":{"id":"ee78241c-36e7-45e6-b015-0ef46f1e777d"}},"cell_type":"markdown","source":"Dieses DNBLab-Tutorial beschreibt eine Beispielabfrage über die SRU-Schnittstelle mit Python. In der Jupyter Notebook Umgebung kann der dokumentierte Code direkt ausgeführt und angepasst werden. Das Tutorial umfasst die exemplarische Anfrage und Ausgabe der Daten in MARC21-xml zur weiteren Verarbeitung. "},{"metadata":{},"cell_type":"markdown","source":"Die Daten können über die SRU-Schnittstelle als XML-Antwort in folgenden Formaten ausgeliefert werden: \n* MARC21-xml http://www.loc.gov/standards/marcxml/schema/MARC21slim.xsd\n* DNB Casual (oai_dc)\thttp://www.openarchives.org/OAI/2.0/oai_dc.xsd\n* RDF (RDFxml) http://www.w3.org/2000/07/rdf.xsd"},{"metadata":{"nbpresent":{"id":"3c6f6024-cb7c-4b65-8646-a753069cb5a4"}},"cell_type":"markdown","source":"## Einrichten der Arbeitsumgebung <a class=\"anchor\" id=\"Teil1\"></a>\n\nUm die Arbeitsumgebung für die folgenden Schritte passend einzurichten, sollten zunächst die benötigten Python-Bibliotheken importiert werden. Für Anfragen über die SRU-Schnittstelle wird BeautifulSoup https://www.crummy.com/software/BeautifulSoup/ und zur Verarbeitung der XML-Daten etree https://docs.python.org/3/library/xml.etree.elementtree.html verwendet. Mit Pandas https://pandas.pydata.org/ können Elemente aus dem MARC21-Format ausgelesen werden."},{"metadata":{"trusted":false},"cell_type":"code","source":"import requests\nfrom bs4 import BeautifulSoup as soup\nimport unicodedata\nfrom lxml import etree\nimport pandas as pd","execution_count":5,"outputs":[]},{"metadata":{},"cell_type":"markdown","source":"## SRU-Abfrage mit Ausgabe in MARC21-xml<a class=\"anchor\" id=\"Teil2\"></a>\n\nDie Funktion dnb_sru nimmt den Paramter \"query\" der SRU-Abfrage entgegen und liefert alle Ergebnisse als eine Liste von Records aus. Bei mehr als 100 Records werden weitere Datensätze mit \"&startRecord=101\" abgerufen (mögliche Werte 1 bis 99.000). Weitere Informationen und Funktionen der SRU- Schnittstelle werden unter https://www.dnb.de/sru beschrieben."},{"metadata":{"trusted":false},"cell_type":"code","source":"def dnb_sru(query):\n    \n    base_url = \"https://services.dnb.de/sru/dnb\"\n    params = {'recordSchema' : 'MARC21-xml',\n          'operation': 'searchRetrieve',\n          'version': '1.1',\n          'maximumRecords': '100',\n          'query': query\n         }\n    r = requests.get(base_url, params=params)\n    xml = soup(r.content)\n    records = xml.find_all('record', {'type':'Bibliographic'})\n    \n    if len(records) < 100:\n        \n        return records\n    \n    else:\n        \n        num_results = 100\n        i = 101\n        while num_results == 100:\n            \n            params.update({'startRecord': i})\n            r = requests.get(base_url, params=params)\n            xml = soup(r.content)\n            new_records = xml.find_all('record', {'type':'Bibliographic'})\n            records+=new_records\n            i+=100\n            num_results = len(new_records)\n            \n        return records","execution_count":6,"outputs":[]},{"metadata":{},"cell_type":"markdown","source":"## Durchsuchen eines MARC-Feldes<a class=\"anchor\" id=\"Teil3\"></a>\n\nDie Funktion parse_records nimmt als Parameter jeweils ein Record entgegen und sucht über xpath die gewünschte Informationen heraus und liefert diese als Dictionary zurück. Die Schlüssel-Werte-Paare können beliebig agepasst und erweitert werden. In diesem Fall werden Elemente für IDN und Titel geliefert."},{"metadata":{"trusted":false},"cell_type":"code","source":"def parse_record(record):\n    \n    ns = {\"marc\":\"http://www.loc.gov/MARC21/slim\"}\n    xml = etree.fromstring(unicodedata.normalize(\"NFC\", str(record)))\n    \n    #idn\n    idn = xml.xpath(\"marc:controlfield[@tag = '001']\", namespaces=ns)\n    try:\n        idn = idn[0].text\n    except:\n        idn = 'fail'\n    \n    # titel\n    titel = xml.xpath(\"marc:datafield[@tag = '245']/marc:subfield[@code = 'a']\", namespaces=ns)\n    \n    try:\n        titel = titel[0].text\n        #umfang = unicodedata.normalize(\"NFC\", umfang)\n    except:\n        titel = \"unkown\"\n        \n    meta_dict = {\"idn\":idn,\n                 \"titel\":titel}\n    \n    return meta_dict","execution_count":7,"outputs":[]},{"metadata":{},"cell_type":"markdown","source":"Über die verschiedenen Indices https://services.dnb.de/sru/dnb?operation=explain&version=1.1 kann die SRU-Abfrage mittels CQL gezielt z.B. über das Titelstichwort \"Klimawandel\" in Kombination mit dem Standort \"online frei verfügbar\" eingeschränkt werden. Auf diese Art kann durch Anpassen des Codes nach verschiedenen Begriffen in beliebigen MARC-Feldern gesucht werden. "},{"metadata":{"trusted":false},"cell_type":"code","source":"records = dnb_sru('tit=Klimawandel and location=onlinefree')\nprint(len(records), 'Ergebnisse')","execution_count":8,"outputs":[{"output_type":"stream","text":"468 Ergebnisse\n","name":"stdout"}]},{"metadata":{},"cell_type":"markdown","source":"## Beispielanzeige zur weiteren Bearbeitung <a class=\"anchor\" id=\"Teil4\"></a>\n\nMit der \"Python Data Analysis Library\" Pandas für Python werden die Ergebnisse (Dictionary-Elemente) als Dataframe ausgegeben. Die ersten 5 und letzten 5 Zeilen des Dataframes können mit dem Befehl \"df = pd.DataFrame() angezeigt werden. "},{"metadata":{"trusted":false},"cell_type":"code","source":"output = [parse_record(record) for record in records]\ndf = pd.DataFrame(output)\ndf","execution_count":9,"outputs":[{"output_type":"execute_result","execution_count":9,"data":{"text/plain":"            idn                                              titel\n0    1230754067                       Das Klima macht uns krank!\n1    1230754121     Fällt uns das Dach der Welt bald auf den Kopf?\n2    1230754253             Folgen des Klimawandel in Mitteleuropa\n3    1228535671  How does climate change affect human behavior?...\n4    123123976X  Identifizierung von für Deutschland relevanten...\n..          ...                                                ...\n463  1127681362  Namibia: Biodiversitätsmanagement und Klimawandel\n464  1228308977    Naturschutz und Klimawandel im Leipziger Auwald\n465  1217229078  Neue Herausforderungen für die Anästhesie durc...\n466  1142648214                     Peru Leben mit dem Klimawandel\n467  1209833719  Tadschikistan: Nachhaltige Waldbewirtschaftung...\n\n[468 rows x 2 columns]","text/html":"<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>idn</th>\n      <th>titel</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>1230754067</td>\n      <td>Das Klima macht uns krank!</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>1230754121</td>\n      <td>Fällt uns das Dach der Welt bald auf den Kopf?</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>1230754253</td>\n      <td>Folgen des Klimawandel in Mitteleuropa</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>1228535671</td>\n      <td>How does climate change affect human behavior?...</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>123123976X</td>\n      <td>Identifizierung von für Deutschland relevanten...</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>463</th>\n      <td>1127681362</td>\n      <td>Namibia: Biodiversitätsmanagement und Klimawandel</td>\n    </tr>\n    <tr>\n      <th>464</th>\n      <td>1228308977</td>\n      <td>Naturschutz und Klimawandel im Leipziger Auwald</td>\n    </tr>\n    <tr>\n      <th>465</th>\n      <td>1217229078</td>\n      <td>Neue Herausforderungen für die Anästhesie durc...</td>\n    </tr>\n    <tr>\n      <th>466</th>\n      <td>1142648214</td>\n      <td>Peru Leben mit dem Klimawandel</td>\n    </tr>\n    <tr>\n      <th>467</th>\n      <td>1209833719</td>\n      <td>Tadschikistan: Nachhaltige Waldbewirtschaftung...</td>\n    </tr>\n  </tbody>\n</table>\n<p>468 rows × 2 columns</p>\n</div>"},"metadata":{}}]},{"metadata":{},"cell_type":"markdown","source":"Mit der folgenden Funktion df.to_csv() werden die Ergebnisse als SRU_Titel.csv in das Jupyter-Verzeichnins der Einstiegsseite abgelegt und können dort heruntergeladen werden. "},{"metadata":{"trusted":false},"cell_type":"code","source":"df.to_csv(\"SRU_Titel.csv\", index=False)","execution_count":10,"outputs":[]}],"metadata":{"anaconda-cloud":{},"kernelspec":{"name":"python3","display_name":"Python 3","language":"python"},"language_info":{"name":"python","version":"3.7.10","mimetype":"text/x-python","codemirror_mode":{"name":"ipython","version":3},"pygments_lexer":"ipython3","nbconvert_exporter":"python","file_extension":".py"}},"nbformat":4,"nbformat_minor":2}