Skip to content

mapa-da-ciencia 2.3.0

Latest

Choose a tag to compare

@felipelmc felipelmc released this 10 Oct 18:21

A versão 2.3.0 aplica as recomendações da revisão de setembro: a tendência dos tópicos passa a usar o quantil da t e a marcar as tendências frágeis, a validação mede a concordância por idioma e entre respostas informativas, e a coleta confere os resumos (fragmentos e idioma declarado), deixa de fora os documentos sem autor e usa a UF do texto original da afiliação quando a versão normalizada diverge (contrato 1.7). No painel, os rótulos dos tópicos podem ser editados e aplicados sem refazer os tópicos, e só uma etapa roda por vez em cada projeto, entre o terminal, o notebook e o painel. As figuras exportadas levam as legendas. O piloto foi refeito a partir do cache, com os rótulos revistos, e a versão passou por uma revisão independente de código, de metodologia e de uso.

Adicionado

  • Legendas mais completas na figura exportada (SVG e PNG). A legenda em SVG das figuras passa a desenhar quadrados, círculos, traços e hachuras, com título, e a quebrar o texto de um item longo em mais de uma linha, medido com a fonte da figura (nada passa da largura). Uma figura pode ter uma legenda só para a exportação, quando a da tela fica no próprio gráfico. Passam a ir na figura exportada as legendas dos valores na Classificação, da escala de cores e das UFs fora da escala no mapa das UFs, da cobertura na Geografia e dos macrotemas do fluxo nos Tópicos. A legenda de "Por ano" leva o nome da variável, e os painéis de "Os macrotemas em cada revista", o nome da revista (e não a sigla), cortado na largura do painel quando é longo.
  • O editor dos rótulos dos tópicos, no painel. Na vista Projeto (e pelo link "Editar o rótulo" da gaveta de cada tópico), os rótulos e as descrições dos tópicos e dos macrotemas, agrupados por macrotema, com quem os escreveu, as palavras-chave e o tamanho de cada tópico. Salvar grava só o que mudou no rotulos.yaml e aplica, sem refazer os tópicos nem chamar o modelo; um acento que parece perdido faz o editor esperar antes de aplicar (corrigir ou "Aplicar assim mesmo"). "Tirar a correção à mão" tira a entrada do arquivo, e o tópico fica com as palavras-chave até a etapa Tópicos rodar inteira. O botão e as mensagens ficam no pé da tela, e sair com mudanças não salvas pergunta antes. A estação Tópicos avisa dos rótulos do arquivo ainda não aplicados e oferece aplicá-los. O site publicado não tem nada disso.
  • A API do painel lê e grava os rótulos dos tópicos (GET e PATCH /api/rotulos): o rótulo atual de cada tópico e macrotema, a fonte, as palavras-chave e a entrada do rotulos.yaml; as mudanças vão para o rotulos.yaml sem perder os comentários (criado, se ainda não existe, com um cabeçalho que explica o formato), com um aviso quando um acento parece perdido. Tirar uma entrada do YAML pelo painel (aqui e no codebook) não leva mais junto o cabeçalho da seção seguinte.
  • mapa topicos --aplicar-rotulos: aplica o rotulos.yaml aos tópicos já calculados, sem refazer os tópicos nem chamar o modelo de linguagem, e exporta de novo (também em mapa.aplicar_rotulos() e como job do painel). O mapa status e a linha das etapas avisam quando há rótulos do arquivo ainda não aplicados. Um rótulo manual que sai do arquivo volta às palavras-chave até a próxima mapa topicos. O rotulos.yaml passa a recusar um rótulo vazio.
  • Uma etapa por vez em cada projeto, entre o terminal, o notebook e o painel. A linha de comando e o notebook passavam por cima da fila do painel: um mapa coletar no terminal regravava o corpus enquanto o painel calculava os tópicos. Agora cada etapa que escreve no projeto trava o projeto (.etapa.lock) enquanto roda, e outra etapa, de onde vier, não começa: sai com uma mensagem que diz qual etapa está rodando, onde (pelo painel, com o endereço, ou em outro terminal ou notebook) e desde quando. No painel, a linha das etapas mostra a etapa que roda fora dele e desativa os botões até ela terminar; uma consulta leve a cada 5 segundos (GET /api/projeto/em-andamento) nota também a etapa que começa com a vista Projeto já aberta. A trava é solta quando o processo cai. No Windows, sem fcntl, não há trava.
  • Concordância por idioma e entre respostas informativas. Cada par da validação passa a ter a concordância também nos documentos de cada idioma (quando a amostra tem mais de um) e nos documentos em que nenhum dos dois respondeu "não informado", que mostra se o acordo vinha de resumos que não dizem nada sobre a variável. Com menos de 20 documentos, o subconjunto mostra só o n. Na vista Validação, a tabela aparece abaixo do par escolhido (recolhida no site publicado, aberta no painel), e o lide diz quantos documentos da amostra há em cada idioma (e quantos ficaram sem resumo depois do sorteio, quando a coleta tira um fragmento). O relatório da validação (mapa validar relatorio) ganha uma tabela por par, em Markdown e em LaTeX, e o validacao.json traz MetricaVariavel.subconjuntos e AmostraInfo.idiomas (contrato 1.7), sem matriz nem métricas por categoria.
  • Tendências frágeis. Uma tendência em alta ou em queda que deixa de ser marcada (fica estável ou sem dados suficientes) quando um dos anos é retirado é marcada como frágil, com esses anos (Tendencia.fragil e anos_decisivos, contrato 1.7). A conta é a mesma em Python e no navegador, também com os filtros do painel. Na vista Tópicos, a etiqueta "frágil" (texto e contorno tracejado, sem depender da cor) aparece na lista, na gaveta do tópico, na legenda dos macrotemas e na tabela, com os anos sem os quais a marcação some. Na abertura do site, a história "Em alta" escolhe a maior alta entre as tendências firmes e diz quantas são frágeis. No piloto refeito, 4 das 11 tendências marcadas são frágeis.
  • scripts/comparar_rodadas.py, para refazer um projeto com segurança: compara duas cópias e lista os documentos, os resumos, os textos de análise e de classificação, as UFs e os tópicos que mudaram, com os tópicos a rever antes de publicar (o passo a passo está nas notas de desenvolvimento).
  • Documentos sem autor ficam fora do corpus, e o recorte pode listar documentos a excluir. Encartes de dados, apresentações de dossiê e declarações às vezes estão registrados como artigos de pesquisa e quase nunca têm autor: no piloto, os oito "Encartes Tendências" da Opinião Pública, uma apresentação da Lua Nova e uma declaração na Dados. A coleta deixa de fora os documentos sem nenhum autor (recorte.excluir_sem_autor, ligado por padrão) e os listados em recorte.excluir, pelo PID, pelo DOI ou pelo id do OpenAlex, e avisa quando um item da lista não aparece. Um documento que só o OpenAlex diz quem escreveu fica, com esses autores no cartão. As contagens saem no resumo da coleta e no mapa status, e as listas, no manifesto.

Mudado

  • O piloto foi refeito com a 2.3.0 (a demo e os números da documentação). A coleta saiu do cache, sem rede, com a conferência dos resumos, sem os documentos sem autor e com a UF da v70. São 4.265 documentos (eram 4.275) e 61 tópicos em 7 macrotemas (eram 57), com 11 tendências, 4 delas frágeis. Os rótulos foram revistos depois da coleta: 53 tópicos e os 7 macrotemas têm rótulo escrito à mão, conferido por um revisor independente que leu os rótulos sem saber quais eram do modelo. O projeto dos tutoriais (Opinião Pública) também foi refeito: 388 documentos e 16 tópicos.
  • A tendência dos tópicos usa o quantil da t de Student. O intervalo de 95% da inclinação, com a dispersão estimada (quase-binomial), passa a usar o quantil da t com anos − 2 graus de liberdade, e não o da normal: com 16 anos, 2,145 em vez de 1,96. Três tendências marginais do piloto passam a estáveis (de 13 marcadas, ficam 10). O cálculo é o mesmo em Python e no navegador, sem dependências, e o contrato de dados vai à 1.7 (só acréscimo: metodo_tendencia.quantil); os dados até a 1.6, calculados com a normal, continuam lidos com a normal.

Corrigido

  • No Início, o período não invade mais o número ao lado. Os números do corpus tinham colunas de largura igual, e "2010–2025" passava por cima da porcentagem com afiliação a 1440 px; cada número passa a ter a largura que precisa. A etiqueta "frágil" de um macrotema também cobria o número de tópicos e foi para baixo da variação.
  • Salvar o codebook ou os rótulos pelo painel não apaga mais o cabeçalho de uma seção. O comentário de bloco que vem depois de uma entrada tirada (o cabeçalho da seção seguinte) sumia quando a entrada terminava numa lista (as categorias de uma variável, os exemplos de uma categoria), quando o item tirado era o primeiro de uma lista e quando a última categoria era trocada; e, se o item anterior estava escrito em fluxo ({valor: …}), ia parar dentro das chaves. Agora os comentários de uma entrada que sai vão para antes da entrada seguinte (ou da seguinte de um nível acima, ou para o fim do arquivo).
  • Uma resposta de texto nao_se_aplica conta como sem informação. O modelo às vezes escreve no campo de texto o nome da categoria (nao_se_aplica, nao_informado). Essas respostas apareciam como um período na vista Classificação (50 no piloto) e não contavam como iguais a "não se aplica" na validação. Agora passam para a forma por extenso, também as do cache, sem chamar o modelo de novo.
  • Os pequenos múltiplos saem inteiros na figura exportada. "Os macrotemas em cada revista" (Tópicos) e "A colaboração por ano" (Redes) saíam só com o primeiro painel; agora todos, nas posições da tela, cada um com o título, e os macrotemas na legenda.
  • Mudar o rótulo de um tópico não desatualiza mais as redes. A assinatura das redes incluía o resultado.json dos tópicos inteiro, com os rótulos: corrigir um rótulo no rotulos.yaml tirava a vista Redes da exportação até rodar mapa redes de novo. Agora a assinatura ignora os rótulos, e o rótulo de cada comunidade (os dois tópicos mais frequentes nela) vem dos rótulos atuais na exportação. As redes geradas antes desta versão continuam em dia.
  • Os rótulos dos tópicos escritos pelo modelo saem em caixa de frase. O modelo devolvia alguns rótulos com Iniciais Maiúsculas ("Agenda Legislativa e Processo no Congresso"), apesar da instrução. Agora cada palavra depois da primeira só mantém a maiúscula se aparece assim na maioria das vezes no meio das frases dos resumos em português do tópico (ou do corpus): "Agenda legislativa e processo no Congresso". A conferência vale para os rótulos do cache e os reaproveitados, sem chamar o modelo de novo; os do rotulos.yaml não mudam. Num empate, a maiúscula sai: ele vem de um nome próprio maior ("Defensoria Pública"). Nos rótulos do piloto da 2.2.0, ela corrigiria 15 dos 36 escritos pelo modelo; na coleta refeita, corrigiu 12 dos 33.
  • A UF de uma afiliação vem do texto original quando a versão normalizada da ArticleMeta diverge. A v240 põe instituições com vários campi na cidade da sede: no piloto, 61 vínculos (48 afiliações) dizem "Fundação Getúlio Vargas, Brasília", e o texto original de 34 dessas afiliações (v70) diz São Paulo. A coleta passa a guardar a cidade e a UF da v70 junto da v240, e, quando as duas divergem, vale a v70, salvo quando o consenso da instituição no corpus confirma a v240 (ou, sem lugar na v240, aponta outra UF); a FGV fica sem consenso. A FGV deixa de ser contada no Distrito Federal, e a do Rio deixa de ir para São Paulo pelo remendo do instituicoes.yaml do piloto; campi fora da sede, como a Fiocruz Minas e a Unilab na Bahia, passam ao estado certo. O resultado da geografia de um projeto fica desatualizado até coletar de novo (do cache, sem rede).
  • A coleta confere os resumos. Um "resumo" que é um fragmento (menos de 15 palavras, o aviso de um repositório, ou um texto do OpenAlex que começa no meio de uma frase) sai, e o documento fica com os outros resumos ou só com o título. O idioma declarado de cada resumo é conferido pelas palavras funcionais (artigos, preposições, conjunções) e corrigido quando um idioma ganha com folga; o título e as palavras-chave seguem o resumo, salvo quando o título confirma o idioma declarado. No piloto, saem 36 fragmentos e 35 resumos mudam de idioma (resumos em francês declarados espanhol, em espanhol declarados português, pares português/inglês trocados). A coleta mostra as duas contagens, e as listas ficam no manifesto.