better dcterms:{abstract,identifier} scraping from regeringen index.h…

…tml pages
staffanm · Jan 26, 2018 · f14369a · f14369a
1 parent 8358f47
commit f14369a
Show file tree

Hide file tree

Showing 7 changed files with 20 additions and 20 deletions.
diff --git a/ferenda/sources/legal/se/direktiv.py b/ferenda/sources/legal/se/direktiv.py
@@ -137,6 +137,8 @@ def sanitize_rubrik(self, rubrik):
         return Literal(rubrik, lang="sv")
 
     def sanitize_identifier(self, identifier):
+        if not identifier:
+            return identifier # allow infer_identifier to do it's magic later
         # "Dir.1994:111" -> "Dir. 1994:111"
         if re.match("Dir.\d+", identifier):
             identifier = "Dir. " + identifier[4:]

diff --git a/ferenda/sources/legal/se/regeringen.py b/ferenda/sources/legal/se/regeringen.py
@@ -321,7 +321,7 @@ def extract_metadata(self, rawhead, basefile):
         else:
             identifier_node = content.find("span", "h1-vignette")
             if identifier_node:
-                identifier = identifier_node.text
+                identifier = identifier_node.text.strip()
             else:
                 identifier = ""  # infer_metadata calls
                                  # infer_identifier if this is falsy,
@@ -343,7 +343,7 @@ def extract_metadata(self, rawhead, basefile):
             if self.rdf_type != RPUBL.Kommittedirektiv:  # postprocess_doc has us covered
                 self.log.warning("%s: No ansvarig departement found" % basefile)
             ansvarig = None
-        s = content.find("div", "has-wordExplanation")
+        s = content.find(("div","p"), "has-wordExplanation")
         for a in s.find_all("a"):  # links in summary are extra tacked-on bogus
             a.decompose()
         sammanfattning = " ".join(s.strings)

diff --git a/test/files/repo/dirregeringen/parsed/2016/15.xhtml b/test/files/repo/dirregeringen/parsed/2016/15.xhtml
@@ -1,7 +1,7 @@
 <?xml version='1.0' encoding='utf-8'?>
 <html xmlns:bibo="http://purl.org/ontology/bibo/" xmlns:dcterms="http://purl.org/dc/terms/" xmlns:owl="http://www.w3.org/2002/07/owl#" xmlns:prov="http://www.w3.org/ns/prov#" xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#" xmlns:rpubl="http://rinfo.lagrummet.se/ns/2008/11/rinfo/publ#" xmlns:xsd="http://www.w3.org/2001/XMLSchema#" xmlns="http://www.w3.org/1999/xhtml" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.w3.org/1999/xhtml http://www.w3.org/MarkUp/SCHEMA/xhtml-rdfa-2.xsd" version="XHTML+RDFa 1.1" xml:lang="sv">
   <head about="https://lagen.nu/dir/2016:15">
-    <meta property="dcterms:abstract" content="Utredaren ska bland annat undersöka vilka kompletterande nationella föreskrifter, exempelvis processuella bestämmelser, som förordningen kräver, analysera vilka bestämmelser om administrativa sanktionsavgifter och andra sanktioner som Sverige behöver eller bör införa, överväga vilka kompletterande bestämmelser om till exempel behandling av känsliga personuppgifter och personnummer som bör införas i den svenska generella regleringen, undersöka om det finns behov av generella bestämmelser för personuppgiftsbehandling utanför EU-rättens tillämpningsområde, och lämna sådana författningsförslag som är behövliga och lämpliga. I uppdraget ingår inte att överväga eller lämna förslag till grundlagsändringar. Uppdraget ska redovisas senast den 12 maj 2017." xml:lang="sv"/>
+    <meta property="dcterms:abstract" content="Inom kort förväntas EU besluta om en förordning som utgör en ny generell reglering för personuppgiftsbehandling inom EU. En särskild utredare ska föreslå de anpassningar och kompletterande författningsbestämmelser på generell nivå som denna förordning ger anledning till. Syftet är att säkerställa att det finns en ändamålsenlig och välbalanserad kompletterande nationell reglering om personuppgiftsbehandling på plats när förordningen börjar tillämpas." xml:lang="sv"/>
     <meta property="dcterms:identifier" content="Dir. 2016:15" xml:lang=""/>
     <meta property="dcterms:issued" content="2016-02-29" datatype="xsd:date"/>
     <title property="dcterms:title">Dataskyddsförordningen</title>

diff --git a/test/files/repo/dirtrips/parsed/1994/103.xhtml b/test/files/repo/dirtrips/parsed/1994/103.xhtml
@@ -18,17 +18,15 @@
     <meta property="prov:wasGeneratedBy" content="lagen.nu.direktiv.DirTrips" xml:lang=""/>
   </head>
   <body about="https://lagen.nu/dir/1994:103">
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US1" property="dcterms:title" content="Dir. 1994:103" typeof="bibo:DocumentPart">
+    <p>Dir. 1994:103</p>
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US1" property="dcterms:title" content="Beslut vid regeringssammanträde den 15 september 1994" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US2" property="dcterms:title" content="Beslut vid regeringssammanträde den 15 september 1994" typeof="bibo:DocumentPart">
-      <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
-    </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US3" property="dcterms:title" content="Sammanfattning av uppdraget" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US2" property="dcterms:title" content="Sammanfattning av uppdraget" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>En särskild utredare skall genomföra en genomgripande översyn av den svenska rymdverksamheten. Därvid skall målen för den statliga satsningen på såväl nationell som internationell rymdverksamhet analyseras. Som grund för detta skall ligga en omvärldsanalys, en analys av den nuvarande inriktningen samt en konsekvensanalys av eventuella förändringar i det statliga åtagandet. Utredningen skall genomföras så att den kan utgöra underlag för dels regeringens ställningstagande rörande rymdverksamheten för treårsperioden 1997-1999, dels ett planerat ministerrådsmöte inom European Space Agency, ESA, hösten 1995.  Arbetet skall redovisas till regeringen senast den 31 maj 1995.</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US4" property="dcterms:title" content="Bakgrund" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US3" property="dcterms:title" content="Bakgrund" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>Rymdverksamhet har i allt väsentligt drivits fram av den konkurrens som funnits mellan USA och f.d. Sovjetunionen om att ligga främst i den vetenskapliga och teknologiska utvecklingen. Detta har kommit att prägla även den europeiska rymdverksamhetens inriktning. Verksamheten inriktades mot stora spektakulära satsningar som innefattade bemannade rymdfärder. I dag har stormakternas konkurrens avlösts av samarbete och rymdverksamheten täcker ett brett spektrum av aktiviteter innefattande både grundforskning och tillämpningar, t.ex. satellitbaserade telekommunikationer och jordobservationer.</p>
       <p>I syfte att utveckla en gemensam och oberoende rymdkapacitet i Europa bildades år 1964 European Space Research Organization (ESRO) som ett samarbetsorgan för rymdforskningen. År 1975 bildades den mer tillämpningsinriktade Euro-pean Space Agency (ESA) som efterföljare till ESRO. Inom ESA samverkar länderna i Europa kring gemensam forskning och utveckling inom rymdområdet. Totalt deltar 15 länder i ESA-samarbetet.</p>
@@ -37,12 +35,12 @@
       <p>Dessutom avsätts inom Kommunikationsdepartementets verksamhetsområde årligen ca 50 miljoner kronor för internationella rymdaktiviteter, vilka kanaliseras via Sveriges meteorologiska och hydrologiska institut (SMHI) och Telestyrelsen. Resultaten nyttiggörs inom flera olika samhällssektorer bl.a. miljövården, utbildningen, forskningen, jordbruket och näringslivet.</p>
       <p>Rymdstyrelsen är ansvarig myndighet för frågor som gäller den svenska rymd- och fjärranalysverksamheten. Rymdstyrelsen skall bl.a. initiera forsknings- och utvecklingsarbete samt verka för att olika intressenters verksamhet på rymd- och fjärranalysområdet samordnas. Rymdstyrelsen fördelar också statligt stöd till rymdforskning, rymdtekniskt utvecklingsarbete och fjärranalysverksamhet. Rymdstyrelsen ansvarar för det svenska deltagandet i ESA. Merparten av de statliga resurserna avser internationellt samarbete, främst inom ramen för ESA.</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US5" property="dcterms:title" content="Motiv och mål för rymdverksamheten" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US4" property="dcterms:title" content="Motiv och mål för rymdverksamheten" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>Riksdagen har i samband med olika forskningspolitiska beslut redovisat motiv och mål för den svenska rymdverksamheten. Dessa mål och motiv, som vid olika tidsperioder givits varierande tyngd, har i huvudsak varit av närings-, forsknings-, regional- och utrikespolitisk natur. De näringspolitiska målen och motiven är de som har  betonats starkast.</p>
       <p>I 1993 års proposition om forskning för kunskap och framsteg (<a href="https://lagen.nu/prop/1992/93:170" rel="dcterms:references">prop. 1992/93:170</a>, bet. 1992/93:NU 30, <a href="https://lagen.nu/rskr/1992/93:399" rel="dcterms:references">rskr. 1992/93:399</a>) konstaterar regeringen att Rymdstyrelsens och rymdindustrins verksamhet genererar värdefulla effekter för samhället, företag och enskilda medborgare när det gäller att utnyttja rymdens resurser. Vidare anförs att rymdverksamhet skall ses som en sektor för uppbyggnad av samhällets infrastruktur för bl.a. telekommunikation, fjärranalys och olika övervakningssystem.</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US6" property="dcterms:title" content="Näringspolitiska motiv" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US5" property="dcterms:title" content="Näringspolitiska motiv" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>De näringspolitiska målen har preciserats av riksdagen vid ett flertal tillfällen. År 1986 angavs i proposition om riktlinjer för industripolitiken på rymdområdet, m.m. (<a href="https://lagen.nu/prop/1985/86:127" rel="dcterms:references">prop. 1985/86:127</a>, <a href="https://lagen.nu/bet/1985/86:NU21" rel="dcterms:references">bet. 1985/86:NU21</a>, <a href="https://lagen.nu/rskr/1985/86:305" rel="dcterms:references">rskr. 1985/86:305</a>) att syftet med de näringspolitiska satsningarna var att genom utveckling av den avancerade rymdtekniken</p>
       <ul class="strecksatslista">
@@ -60,33 +58,33 @@
       </ul>
       <p>Ökad konkurrenskraft uppnås genom att svensk industri ges förutsättningar att utveckla konkurrenskraftiga rymdtjänster och rymdprodukter. Den ökade teknikspridningen skall ge positiva näringspolitiska effekter även utanför rymdindustrin. Ett ökat Europasamarbete förutsätter att Sverige är en attraktiv partner i det europeiska industrisamarbetet. Rymdverksamheten skall bidra till näringslivets utveckling i Kirunaregionen.</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US7" property="dcterms:title" content="Forskningspolitiska motiv" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US6" property="dcterms:title" content="Forskningspolitiska motiv" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>I 1986 års proposition om riktlinjer för industripolitiken på rymdområdet, m.m. fastslås att svenska forskare skall få möjlighet att utnyttja de speciella förhållanden som råder i rymden. Rymdverksamheten skall vidare ge svenska forskare möjlighet att delta i internationella samarbetsprojekt.</p>
       <p>Inriktningen av rymdforskningen för innevarande planeringsperiod fattades våren 1993 av riksdagen enligt propositionen om forskning för kunskap och framsteg (<a href="https://lagen.nu/prop/1992/93:170" rel="dcterms:references">prop. 1992/93:170</a>, bet. 1992/93: UbU 15, <a href="https://lagen.nu/rskr/1992/93:388" rel="dcterms:references">rskr. 1992/93:388</a>).</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US8" property="dcterms:title" content="Regionalpolitiska motiv" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US7" property="dcterms:title" content="Regionalpolitiska motiv" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>Enligt propositionen år 1986 om riktlinjer för industripolitiken på rymdområdet, m.m. har den svenska rymdverksamheten en särskild betydelse för de nordligaste delarna av landet. Det slogs fast att Kiruna och Esrange även i framtiden skall spela en central roll i svensk och europeisk rymdverksamhet. Insatser förutsågs härför även inom rymd- utbildningen och rymdforskningen inom regionen. Bedömningen var att antalet sysselsatta inom rymdanknuten verksamhet i Kirunaområdet skulle öka.</p>
       <p>Propositionen om särskilda regionalpolitiska insatser i Norrbottens län m.m. (<a href="https://lagen.nu/prop/1987/88:86" rel="dcterms:references">prop. 1987/88:86</a>, <a href="https://lagen.nu/bet/1987/88:NU38" rel="dcterms:references">bet. 1987/88:NU38</a>, <a href="https://lagen.nu/rskr/1987/88:348" rel="dcterms:references">rskr. 1987/88:348</a>) innebar åtgärder för att utveckla den tekniska nationella kompetensen vad gäller sondraketer och försök med kurser i fjärranalystillämpningar, allt i syfte att ytterligare konsolidera verksamheten och dess regionalpolitiska effekter.</p>
       <p>I 1990 års beslut ansåg regeringen det viktigt att även fortsättningsvis satsa på utvecking av rymdverksamheten i Kiruna.</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US9" property="dcterms:title" content="Utrikespolitiska motiv" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US8" property="dcterms:title" content="Utrikespolitiska motiv" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>ESA:s medlemsländer har vid flera  tillfällen understrukit att besluten på ministernivå om ESA:s program innebär en solidarisk europeisk uppslutning kring det långsiktiga målet att bygga upp en oberoende rymdkapacitet för framtida användning. Detta har vägt tungt vid statsmakternas ställningstagande till det svenska rymdprogrammets utveckling i 1990 års proposition om forskning. Sverige har som ESA-medlem anslutit sig till de Europapolitiska mål organisationen har. Detta innebär att Sverige har förbundit sig att delta i uppbyggnad och utveckling av en gemensam och oberoende rymdkapacitet för Europa inom såväl forskning som industri och tillämpningar.</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US10" property="dcterms:title" content="Omvärldsförändringar" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US9" property="dcterms:title" content="Omvärldsförändringar" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>Under de senaste åren har betydande politiska och ekonomiska förändringar som i hög grad berör rymdverksamheten ägt rum internationellt. Minskade militära spänningar har öppnat vägen för nya och ökade samarbetsmöjligheter för rymdverksamheten. Exempel är den planerade internationella rymdstationen, större rymdforskningsprojekt och fjärranalysens tillämpningar i ett globalt perspektiv.</p>
       <p>På det europeiska planet har EU allt mer intresserat sig för rymdfrågorna och kan förväntas vilja ha en starkare roll i framtiden. En omstrukturering av rymdindustrin mot större konsortier och starkare specialisering pågår. Många länder har ett ansträngt budgetläge vilket innebär press på tillgängliga medel för rymdverksamhet. Detta har tagit sig uttryck i bl.a. en något minskande budget för ESA under kommande år.</p>
       <p>Detta innebär sammantaget att den fortsatta utvecklingen för den internationella rymdverksamheten innehåller betydande inslag av osäkerhet.</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US11" property="dcterms:title" content="Behovet av översyn" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US10" property="dcterms:title" content="Behovet av översyn" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>Riksdagens revisorer har granskat vissa aspekter av den svenska rymdverksamheten. Revisorerna anförde i sitt förslag till riksdagen (1993/94:RR:4) att någon förutsättningslös prövning eller analys av rymdverksamhetens motiv och inriktning inte hade presenterats för riksdagen. Revisorernas slutsats var att målen för den rymdanknutna verksamheten borde bli föremål för en förutsättningslös och genomgripande översyn.</p>
       <p>Näringsutskottet har i sin behandling av Riksdagens revisorers rapport (1993/94:NU15) anfört att det är viktigt att det sker ett klarläggande och en precisering av vilka typer av mål som den svenska rymdverksamheten är avsedd att tillgodose. Samtidigt anser utskottet att det är angeläget att det i Sverige kan bedrivas en rymdverksamhet av ungefär nuvarande omfattning. Riksdagen har ställt sig bakom utskottets förslag.</p>
     </div>
-    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US12" property="dcterms:title" content="Uppdraget" typeof="bibo:DocumentPart">
+    <div class="unorderedsection" about="http://localhost:8000/res/dir/1994:103#US11" property="dcterms:title" content="Uppdraget" typeof="bibo:DocumentPart">
       <span rel="dcterms:isPartOf" href="https://lagen.nu/dir/1994:103"/>
       <p>En särskild utredare bör analysera</p>
       <ul class="strecksatslista">

diff --git a/test/files/repo/dsregeringen/parsed/2016/46.xhtml b/test/files/repo/dsregeringen/parsed/2016/46.xhtml
@@ -1,7 +1,7 @@
 <?xml version='1.0' encoding='utf-8'?>
 <html xmlns:bibo="http://purl.org/ontology/bibo/" xmlns:dcterms="http://purl.org/dc/terms/" xmlns:owl="http://www.w3.org/2002/07/owl#" xmlns:prov="http://www.w3.org/ns/prov#" xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#" xmlns:rpubl="http://rinfo.lagrummet.se/ns/2008/11/rinfo/publ#" xmlns:xsd="http://www.w3.org/2001/XMLSchema#" xmlns="http://www.w3.org/1999/xhtml" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.w3.org/1999/xhtml http://www.w3.org/MarkUp/SCHEMA/xhtml-rdfa-2.xsd" version="XHTML+RDFa 1.1" xml:lang="sv">
   <head about="https://lagen.nu/ds/2016:46">
-    <meta property="dcterms:abstract" content="Det konstateras att den organisationsform bör väljas som tar vara på de fördelar en regional organisation ger, men som samtidigt genom central samordning och ärendefördelning ger förutsättningar för ökad effektivitet och enhetlig tillämpning av regelverket. Tre alternativa organisationsformer har övervägts: central samordning mellan dagens sex självständiga regionala etikprövningsnämnder, en sammanhållen självständig myndighet med regional organisation samt självständiga beslutsorgan inom en värdmyndighet. Författningsförslagen föreslås träda i kraft den 1 juli 2018." xml:lang="sv"/>
+    <meta property="dcterms:abstract" content="I promemorian behandlas frågan om hur etikprövning enligt lagen (2003:460) om etikprövning av forskning som avser människor ska organiseras."" xml:lang="sv"/>
     <meta property="dcterms:identifier" content="Ds 2016:46" xml:lang=""/>
     <meta property="dcterms:issued" content="2016-12-30" datatype="xsd:date"/>
     <title property="dcterms:title">En ny organisation för etikprövning av forskning</title>