Dados de votação por zona duplicados [2018]

[fmercurio]

De tempos em tempos o TSE decide atualiza os dados e acaba gerando linhas adicionais dentro dos datasets (CSVs), alterando apenas o campo DT_GERACAO, isso acaba ocasionando inconsistências na base, pois o TSE "mistura" os dados, ao invés de lançar as atualizações em arquivos separados.

Isso acabou ocorrendo com os dados de 2018 (únicos que eu analisei até o momento).

Abaixo seguem exemplos práticos:

Dados filtrados direto da base do TSE

SELECT * 
FROM   votacao_candidato_munzona_raw vcmr 
WHERE  sg_uf = 'AC' 
       AND cd_municipio = '1457' 
       AND nr_zona = '3' 
       AND nr_candidato = '40400'; 

Resultado

id	dt_geracao	hh_geracao	ano_eleicao	cd_tipo_eleicao	nm_tipo_eleicao	nr_turno	cd_eleicao	ds_eleicao	dt_eleicao	tp_abrangencia	sg_uf	sg_ue	nm_ue	cd_municipio	nm_municipio	nr_zona	cd_cargo	ds_cargo	sq_candidato	nr_candidato	nm_candidato	nm_urna_candidato	nm_social_candidato	cd_situacao_candidatura	ds_situacao_candidatura	cd_detalhe_situacao_cand	ds_detalhe_situacao_cand	tp_agremiacao	nr_partido	sg_partido	nm_partido	sq_coligacao	nm_coligacao	ds_composicao_coligacao	cd_sit_tot_turno	ds_sit_tot_turno	st_voto_em_transito	qt_votos_nominais
5670	13/09/2020	19:12:38	2018	2	Eleição Ordinária	1	297	ELEIÇÕES GERAIS ESTADUAIS 2018	07/10/2018	E	AC	AC	ACRE	1457	SENA MADUREIRA	3	7	Deputado Estadual	10000604794	40400	MÁRCIA MARIA DA SILVA SOUZA	MÁRCIA RUFINO	#NULO#	12	APTO	2	DEFERIDO	Partido isolado	40	PSB	Partido Socialista Brasileiro	10000050139	PARTIDO ISOLADO	PSB	5	SUPLENTE	N	551
2063323	01/08/2019	15:43:50	2018	2	Eleição Ordinária	1	297	ELEIÇÕES GERAIS ESTADUAIS 2018	07/10/2018	E	AC	AC	ACRE	1457	SENA MADUREIRA	3	7	Deputado Estadual	10000604794	40400	MÁRCIA MARIA DA SILVA SOUZA	MÁRCIA RUFINO	#NULO#	12	APTO	2	DEFERIDO	Partido isolado	40	PSB	Partido Socialista Brasileiro	10000050139	PARTIDO ISOLADO	PSB	5	SUPLENTE	N	551

Obs.: verifique que tanto o campo id quanto o campo DT_GERACAO são diferentes, porém o resto das informações são exatamente iguais.

Dados filtrados da base gerada com os dados baixados por esta ferramenta

SELECT * 
FROM   votacao_zona 
WHERE  sigla_uf = 'AC' 
       AND codigo_municipio = '01457' 
       AND numero_zona = '3' 
       AND numero_urna = '40400'; 

Resultado

ano_eleicao	codigo_eleicao	codigo_tipo_eleicao	data_eleicao	descricao_eleicao	nome_tipo_eleicao	tipo_abrangencia_eleicao	codigo_totalizacao_turno	descricao_totalizacao_turno	numero_turno	codigo_municipio	descricao_ue	nome_municipio	sigla_ue	sigla_uf	codigo_legenda	composicao_legenda	nome_coligacao	nome_legenda	nome_partido	numero_partido	numero_sequencial_legenda	sigla_partido	codigo_cargo	codigo_detalhe_situacao_candidatura	codigo_situacao_candidatura	codigo_situacao_candidatura_superior	descricao_cargo	descricao_detalhe_situacao_candidatura	descricao_situacao_candidatura	descricao_situacao_candidatura_superior	nome	nome_social	nome_urna	numero_sequencial	numero_urna	tipo_agremiacao	numero_zona	total_votos	voto_em_transito
2018	297	2	07/10/2018	ELEICOES GERAIS ESTADUAIS 2018	ELEICAO ORDINARIA	E	5	SUPLENTE	1	01457	ACRE	SENA MADUREIRA	AC	AC	10000050139	PSB		PARTIDO ISOLADO	PARTIDO SOCIALISTA BRASILEIRO	40		PSB	7	2	12		DEPUTADO ESTADUAL	DEFERIDO	APTO		MARCIA MARIA DA SILVA SOUZA		MARCIA RUFINO	10000604794	40400	PARTIDO ISOLADO	3	551	N
2018	297	2	07/10/2018	ELEICOES GERAIS ESTADUAIS 2018	ELEICAO ORDINARIA	E	5	SUPLENTE	1	01457	ACRE	SENA MADUREIRA	AC	AC	10000050139	PSB		PARTIDO ISOLADO	PARTIDO SOCIALISTA BRASILEIRO	40		PSB	7	2	12		DEPUTADO ESTADUAL	DEFERIDO	APTO		MARCIA MARIA DA SILVA SOUZA		MARCIA RUFINO	10000604794	40400	PARTIDO ISOLADO	3	551	N

A mesma situação se repete, porém como não temos as colunas ID nem DT_GERACAO, não é possível filtrar.

Minha sugestão seria validar se existe mais de uma linha para a chave abaixo:

sg_uf
cd_municipio
nr_zona
nr_candidato

Em caso positivo pegar o max(DT_GERACAO) para o registro.