Skip to content

lixo

Jump to bottom
Peter edited this page Nov 4, 2017 · 1 revision

Stemming

Recuperação das formas oficiais acentuadas

... definir acentuados, ou seja, os que não podem ser convertidos automaticamente em Camel, precisam do acento para assumirem sua forma real.

Marcação baseada em regex de nomes

.. Marcador automático de prenomes:

  1. marca os primeiros-nomes mais populares (vale ate para tudo-maiusculas)
  2. Marca demais primeiros-nomes: quando segundo for tipo1 e houver um terceiro, vira prenome composto.
  3. demais prenomes compostos como "Maria da Graça" (da Graça não é tipo1) são prenomes. ... Reconhecimento de nomes de pessoa (mas a entidade nomeada pode ser rua, etc. e nao pessoa)

Tratamento estatístico dos grupos

  1. Definir se usa soma dos anos ou se trata somente o mais recente (2010) para classificações. ... Lembrar que o significado é "achar habitantes vivos com aquele nome". ... Juntar dois últimos censos poderia ser melhor... Mas a referência é o IBGE e sua ferramenta, não queremos criar confusão.

  2. Definir se o canônico é moda dominante ou não (superior a 3mediana ou media+3desvioPadrao)

  3. Destacar casos bimodais (estabelecer um segundo canônico)

  • agrupamentos por: homofonos, variantes (mesma raiz ortográfica) ... Metaphone do Português garante máxima revogação homofônica, mas pode trazer falso-positivos. ... Mesmo sendo nome estrangeiro, ele está "aportuguesado"... Quando das grafias originais, melhor usar outro metaphone.

  • similares ortográficas e flexões de gênero: troca de letras, o que não quer dizer que é o mesmo nome. A principal troca refere-se flexão de gênero.

  • Variantes semanticas populares: baseadas num padrão de tradução, tais como os nomes bíblicos (ex. Maria) ou mitologias (ex. Thor) ou históricos (Alexandre, Napoleão) Pedro https://www.wikidata.org/wiki/Q15897419 relacionado com Peter via https://www.wikidata.org/wiki/Property:P460

Napoleone = https://www.wikidata.org/wiki/Q240790 relacionado a Napoléon https://www.wikidata.org/wiki/Q19882955 relacionado a Napoleon https://www.wikidata.org/wiki/Q17522194 Ver também https://en.wiktionary.org/wiki/Napoléon#French

Napoleão (pico em 1950) e Apolônio (pico de 1940 a 1960) possuem curvas similares e quantidades similares (~3mil).

Wikidata como indício = se está lá é que pode ser relevante, há que se confirmar. Wikidata como prova = precisa ter páginas correspondentes na Wikipedia-inglês e Wiktionary, com boa taxa de pageviews e pelo menos 3 anos de estabilidade e existência.

Grafico importante!! DIVERSIDADE DE NOMES em função da faixa (ricos, classe média e pobres)... Avaliar se diversidade relativa (à média do ano) cresce ou não. Diversidade e dominância em função do ano: esse é fácil.

Conferir se anos são relativos a "habitantes" (geral) ou "nascimento de habitantes"

Link CSV no /home/user/gits/datasets-br/public-person/data/ibge-censo2010-nomes.csv

Clone this wiki locally