Validação dos dados

[leofmr]

Objetivos

Análise da consistência dos dados, verificando se existem dados faltantes, se os dados categóricos estão padronizados em torno de uma quantidade limitada de categorias. Quais são os registros que são únicos. Se os dados estão em formato correto ou se necessitam ser reformatados.

Etapas

• verificar dados faltantes
• verificar tipo de dados de todas as variáveis
• verificar categorias de tag - transformar para listas
• verificar categoria express_delivery
• verificar unicidade dos product_id (se a unicidade do product_id é por seller_id ou pervasiva aos vendedores)

[leofmr]

Transformar os dados de tag para lista prejudica o funcionamento de algumas operações do dataset. Dessa forma, essa subaterefa foi descartada

[leofmr]

O escopo da última subtarefa desse item foi expandido. Ao invés de analisarmos apenas a unicidade das combinações de product_id e seller_id, pelo reconhecimento de que a base é de querys, passamos a fazer a análise em termos de combinações duplicadas de product_id, seller_id e query como estratégia para identificar e eliminar registros duplicados da base.