tbmm'den veri kazima metodlari, Graph Commons icin csv'ye donusturme.
Switch branches/tags
Nothing to show
Clone or download
Pull request Compare This branch is even with ahmetkizilay:master.
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Failed to load latest commit information.
helpers
kt-detay
ktii
meclis
.eslintrc
.gitignore
LICENSE
README.md
gulpfile.js
package.json
tbmm_model.png

README.md

tbmm-scraper

tbmm.gov.tr uzerinden veri kazima uygulamalari. Indirilen veriler Graph Commons'a import edilmek uzere csv dosyalarina cevrilir.

kurulum

npm install

kullanim

meclis dizini altinda doneme milletvekili listeleri ve profillerini kaziyan metodlar bulunmaktadir. Graph Commons'a uygun node ve edge csv dosyalari olusturulur.

ktii dizini altinda her milletvekili profili uzerinden ilk imzasina sahip oldugu kanun tekliflerini kaziyan metodlar bulunur.

kt-detay dizini altinda ktii dizininde hazirlanan json dosyalari kullanilarak kanun teklifleri detaylari kazinir. Graph Commons icin import csv dosyalari hazirlanir.

Her js dosyasinin basinda daha ayrintili bilgiler mevcuttur.

veri modeli

model diyagrami

ornek komut sirasi

23. donem bilgilerini indirmek icin:

genel meclis milletvekili ve parti bilgilerini almak icin:

node meclis/donem-parser.js --donem 23 --dest data/donem.23.json

milletvekili biyografilerini cekmek icin:

node meclis/mv-parse-all.js --file data/donem.23.json --donem 23 --dest data/donem-ext.23.json

Graph Commons import icin node csv dosyasini olusturmak icin

node meclis/meclis-nodes.js --file data/donem-ext.23.json --dest data/meclis-nodes.23.csv --donem 23 --donem_baslangic 23/07/2007 --donem_bitis 28/06/2011

Graph Commons import icin edge csv dosyasini olusturmak icin:

node meclis/meclis-rels.js --file data/donem-ext.23.json --dest data/meclis-rels.23.csv --donem 23 --donem_baslangic 23/07/2007 --donem_bitis 28/06/2011

her milletvekili icin ilk imzasini attigi kanun teklifi bilgileri icin:

node ktii/parse-all.js --file data/donem-ext.23.json --destII data/ii.23.json --destMV data/donem-ext.23.json --donem 23

kanun teklifi detay sayfalarini indirmek icin: (oncesinde mkdir data/kt-detay-23)

node kt-detay/download-all.js --file data/ii.23.json --dest data/kt-detay-23/ --donem 23

kanun detaylarini ayiklamak icin:

node kt-detay/parse-all.js --file data/ii.23.json --dest data/kt.23.json --contentDir data/kt-detay-23/

kanun detaylarini Graph Commons'a import etmek icin node csv olustumak icin:

node kt-detay/kt-nodes.js --file data/kt.23.json --dest data/kt-nodes.23.csv --donem 23

kaun detaylarini Graph Commons'a import etmek icin edge csv olusturmak icin:

node kt-detay/kt-rels.js --file data/kt.23.json --dest data/kt-rels.23.csv --donem 23 --donem_baslangic 23/07/2007 --donem_bitis 28/06/2011

lisans

MIT