Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

RSS flöde? Things not strings bygga upp ett ekosystem mer än bara ladda upp filer #7

Open
salgo60 opened this issue Oct 1, 2022 · 6 comments

Comments

@salgo60
Copy link
Owner

salgo60 commented Oct 1, 2022

Vore snyggt om NOSAD och dataverkstaden med flera hade data som data och kunde generera exempelvis rss flöde med kalenderhändelser för presentationer så det är enkelt att automatiskt prenumerera tror det borde funderas över att skapa ett ekosystem för Öppen data och inte som idag "bara" ladda upp filer till dataportalen som åker ned till data.europa med lite textsträngar som DCAT och mervärdet är tveksamt....

image

Skapa ett ekosystem vs. ladda upp filer a la "fire and forget"
Tittar jag på dataportalen och Wikidata så starta båda kring 2012 MEN det ena har 100 miljoner objekt i en kunskapsbas och massa verktyg se Wikidata:Tools / (mest använda) se även WD statistik

Things not strings - RSS flöde

Även här vore det intressant att kunna kanske ha ett kontrollerat vokabulär med Linked Data så man kan välja vad man prenumererar på även att RSS flöde innehåller nya dataset se även min kommentar på dataportalen där Linked data skulle vara till hjälp

Jag skapade även en ticket 2020-06-24 DESK-7510 se Notebook till data.europa.eu

image

Ändringsström dataportalen - tar vi höjd för länkade data?

Ändringsstrom dataportalen

image

@jonassodergren
Copy link
Collaborator

Möjligheter med API vs rapportera filer

  1. Kommande driftstopp - Går att hantera med https://www.rfc-editor.org/rfc/rfc8594.html
  2. Kommande brytande förändringar i ett API - Kanske går börja med att hålla en tråd uppdaterad i forumet på ett automatiskt sätt. Exempelvis https://community.dataportal.se/topic/856/api-uppdateringar, https://forum.jobtechdev.se/latest.rss tyder på att det borde gå att skapa en strukturerad dataström från en sådan tråd.

Med små medel går det få en total bild av förändringar och uppdateringar för API:er aka dynamisk data. Jag tror alltså på enkla konventioner som alla enkelt kan följa.

Avseende förändringar i rapporterade filer:
För att motverka "fire and forget" som i sig är ett bra mönster krävs ett kompismönster för att hantera förändringar i datafiler. Jag är motståendare till "tunga" enterprisemönster såsom mq, distribuerade transaktioner etc. Exempelvis rss-strömmar sjulle kunna vara en hyposes till lösning för att se vad som har förändrats. Typ https://data.arbetsformedlingen.se/rss/datajobtechdevse.xml fast för all data på dataportalen.

Dataportal.se bör betraktas som ett data-ekosystem och inte en avstjälpningsplats för data. Första steget att inte lagra data på dataportal.se utan bara rapportera metadata tycker jag är väldigt bra och skapar förutsättningar för en distribuerat system. Nästa steg är nog att fundera på hur förändringar ska detekteras.

@jonassodergren
Copy link
Collaborator

NOSAD.se grundide är verkligen att alla ska kunna uppdatera en wiki-sida och sedan skapas en snyggare version av innehållet i wikin med lite styling. Tror det mönstret skulle kunna hjälpa många att snabbt och kostnadseffektivt kunna driva en tillräckligt snygg hemsida. (Tänk på att det är jag som lägger ca 1 timme i månaden på att fixa med sidan). Nu när vi börjar detektera innehåll som skulle kunna vara strukturerat (organisation, event) etc tycker jag att vi bryter ut de elementen i en version 2. Lutar lite åt att försöka hitta bra scheman från schema.org för den strukturerade datan. CSV är ett något för generellt format för den strukturerade datan. Men det är en bra start.

@salgo60
Copy link
Owner Author

salgo60 commented Oct 1, 2022

@jonassodergren jag bara kastar ut mig ideer....

CSV ser jag mer som ett laddformat till en kunskapsgraf om det blir Wikidata Wikibase eller annat eller båda som en test....

@jonassodergren
Copy link
Collaborator

Förstår. Har inget motförslag. =) Kollade på https://schema.org/Event som verkar något för avancerat kanske.

 {
     "@context": "https://schema.org",
     "@type": "Event",
     "name": "The Adventures of Kira and Morrison",
     "startDate": "2025-07-21T19:00-05:00",
     "endDate": "2025-07-21T23:00-05:00",
     "eventAttendanceMode": "https://schema.org/MixedEventAttendanceMode",
     "eventStatus": "https://schema.org/EventScheduled",
     "location": [{
       "@type": "VirtualLocation",
       "url": "https://operaonline.stream5.com/"
     },
     {
       "@type": "Place",
       "name": "Snickerpark Stadium",
       "address": {
         "@type": "PostalAddress",
         "streetAddress": "100 West Snickerpark Dr",
         "addressLocality": "Snickertown",
         "postalCode": "19019",
         "addressRegion": "PA",
         "addressCountry": "US"
       }
     }],
     "image": [
       "https://example.com/photos/1x1/photo.jpg",
       "https://example.com/photos/4x3/photo.jpg",
       "https://example.com/photos/16x9/photo.jpg"
      ],
     "description": "The Adventures of Kira and Morrison is coming to Snickertown in a can’t miss performance.",
     "offers": {
       "@type": "Offer",
       "url": "https://www.example.com/event_offer/12345_201803180430",
       "price": "30",
       "priceCurrency": "USD",
       "availability": "https://schema.org/InStock",
       "validFrom": "2024-05-21T12:00"
     },
     "performer": {
       "@type": "PerformingGroup",
       "name": "Kira and Morrison"
     },
     "organizer": {
       "@type": "Organization",
       "name": "Kira and Morrison Music",
       "url": "https://kiraandmorrisonmusic.com"
     }
   }

@salgo60
Copy link
Owner Author

salgo60 commented Oct 1, 2022

Eller inte för avancerat..... känns som en bra test att jobba mellan NOSAD och dataverkstaden...

Min tro är att det finns lite mervärde att testa Wikidata/Wikibase det jag vill bort ifrån är massa strings

  • lite kul att "Göran Westerlund" är både Alingsås kommun och Sambruk.... det blir snabbt rörigt...
  • annat spår är om att Texta filmerna och fritextsöka är det som ger mest...
  • eller finns det fler möjligheter...

OpenRefine har Templates för att exportera så det är rel... enkelt att skapa saker gissar jag om vi testar det
Export OpenRefine test.txt

image

@salgo60
Copy link
Owner Author

salgo60 commented Dec 13, 2022

Bra artikel i The New York Times om hur iNaturlist jobbar med att kategorisera arter dvs. ett mönster vi vill se med Linked data

on many of the iNaturalist faithful that maybe they are on to something much bigger — a model for using the web that is governed by cooperation, not combat.

image

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

2 participants