Complete data per province

agg-csv.pl

@@ -11,16 +11,29 @@
 
 use File::Slurp::Tiny qw(read_file);
 
-my @columns =  qw( contributions stars followers );
-my @provincias = qw(Madrid Barcelona Valencia Alicante Sevilla Málaga Murcia 
-Cádiz Bilbao Coruña Baleares Asturias Tenerife Zaragoza 
-Pontevedra Granada Tarragona Córdoba Gerona);
+my $provincias_content = read_file('poblacion-provincia-INE.csv');
+my @provincias = split("\n",$provincias_content);
+my @prov_names = split(",",$provincias[0]);
+my @prov_pop = split(",",$provincias[1]);
+
+my %new_names = ( "Alicante/Alacant" => "Alicante",
+		  "Araba/Álava" => "Álava",
+		  "Bizkaia" => "Bilbao",
+		  "Castellón/Castelló" => "Castellón",
+		  "Gipuzkoa" => "Donostia",
+		  "Girona" => "Gerona",
+		  "Palmas" => "Las Palmas",
+		  "Valencia/València" => "Valencia");
 
-push @provincias, "Las Palmas"; 
+my @columns =  qw( contributions stars followers );
 
-say "province;users;",join(";",@columns);
-for my $p ( @provincias ) {
-  my $file_contents = read_file("data/user-data-$p.json");
+say "province;population;users;",join(";",@columns);
+for my $p ( @prov_names ) {
+  my $population = shift @prov_pop;
+  my $name = $new_names{$p}?$new_names{$p}:$p;
+  next if $name eq "Guadalajara"; #Problems with sampling
+  my $file_contents = read_file("data/user-data-$name.json");
+  next if !$file_contents;
   my $p_data = decode_json( $file_contents);
   my $totals = {};
   for my $c (@columns) {
@@ -34,7 +47,7 @@
       ( $totals->{$column} += $u->{$column} ) if $u->{$column};
     }
   }
-  my @row = ( $p, $users );
+  my @row = ( $name, $population, $users );
   for my $column ( @columns ) {
     push @row, $totals->{$column};
   }

data/data-per-province.csv

@@ -0,0 +1,52 @@
+province;population;users;contributions;stars;followers
+Albacete;395910;22;1193;64;32
+Alicante;1852789;52;4941;255;276
+Almería;689280;46;4025;830;206
+Álava;320908;34;2331;1457;500
+Asturias;1054408;101;10475;646;378
+Ávila;166318;4;25;3;1
+Badajoz;687074;13;391;65;17
+Baleares;1121739;60;2489;383;212
+Barcelona;5435373;1096;124319;35825;17821
+Bilbao;1138090;136;10792;2053;1587
+Burgos;363739;12;671;5;9
+Cáceres;406513;20;542;45;46
+Cádiz;1247884;61;2992;569;421
+Cantabria;586395;40;2598;199;66
+Castellón;574659;13;1333;878;74
+Ciudad Real;515887;20;2199;149;116
+Córdoba;796680;116;4978;355;391
+Coruña;1130354;93;5162;1126;477
+Cuenca;207409;4;164;1;2
+Donostia;707046;43;5209;172;142
+Gerona;741017;50;2425;914;360
+Granada;919663;271;33906;1611;1374
+Huelva;521798;11;1924;145;123
+Huesca;222696;15;707;164;84
+Jaén;653652;31;3197;152;170
+León;481752;31;909;43;45
+Lleida;431426;33;1797;717;99
+Lugo;340070;21;1359;0;88
+Madrid;6376610;1128;172997;39125;14558
+Málaga;1626168;161;9790;974;531
+Murcia;1463797;40;3022;786;305
+Navarra;636024;34;2945;265;106
+Ourense;320217;18;1592;0;73
+Palencia;166496;4;372;74;16
+Las Palmas;1102750;92;3704;480;304
+Pontevedra;948588;95;3945;1481;450
+Rioja;314062;21;1167;172;131
+Salamanca;343044;37;968;1405;346
+Tenerife;1017785;80;5774;517;452
+Segovia;158595;6;437;10;15
+Sevilla;1937412;208;14970;1294;1313
+Soria;92202;2;229;0;1
+Tarragona;792868;35;1778;165;129
+Teruel;138709;0;0;0;0
+Toledo;693243;21;2569;47;77
+Valencia;2521771;342;23343;2977;1340
+Valladolid;527617;64;7786;670;354
+Zamora;185168;4;45;2;1
+Zaragoza;967354;148;17096;1703;1075
+Ceuta;84618;1;5;0;1
+Melilla;83685;0;0;0;0

poblacion-provincia-INE.csv

@@ -1,2 +1,2 @@
-Albacete,Alicante/Alacant,Almería,Araba/Álava,Asturias,Ávila,Badajoz,"Balears, Illes",Barcelona,Bizkaia,Burgos,Cáceres,Cádiz,Cantabria,Castellón/Castelló,Ciudad Real,Córdoba,"Coruña, A",Cuenca,Gipuzkoa,Girona,Granada,Guadalajara,Huelva,Huesca,Jaén,León,Lleida,Lugo,Madrid,Málaga,Murcia,Navarra,Ourense,Palencia,"Palmas, Las",Pontevedra,"Rioja, La",Salamanca,Santa Cruz de Tenerife,Segovia,Sevilla,Soria,Tarragona,Teruel,Toledo,Valencia/València,Valladolid,Zamora,Zaragoza,Ceuta,Melilla
+Albacete,Alicante/Alacant,Almería,Araba/Álava,Asturias,Ávila,Badajoz,Baleares,Barcelona,Bizkaia,Burgos,Cáceres,Cádiz,Cantabria,Castellón/Castelló,Ciudad Real,Córdoba,Coruña,Cuenca,Gipuzkoa,Girona,Granada,Guadalajara,Huelva,Huesca,Jaén,León,Lleida,Lugo,Madrid,Málaga,Murcia,Navarra,Ourense,Palencia,Palmas,Pontevedra,Rioja,Salamanca,Tenerife,Segovia,Sevilla,Soria,Tarragona,Teruel,Toledo,Valencia/València,Valladolid,Zamora,Zaragoza,Ceuta,Melilla
 395910,1852789,689280,320908,1054408,166318,687074,1121739,5435373,1138090,363739,406513,1247884,586395,574659,515887,796680,1130354,207409,707046,741017,919663,254742,521798,222696,653652,481752,431426,340070,6376610,1626168,1463797,636024,320217,166496,1102750,948588,314062,343044,1017785,158595,1937412,92202,792868,138709,693243,2521771,527617,185168,967354,84618,83685