Skip to content

Results

Tiago Silvestrini edited this page Oct 7, 2026 · 4 revisions

Resultados

Todos os resultados desta página são sintéticos. Nenhum dado real do IceCube ou de FRBs foi usado — o config.yaml do Pipeline ainda tem URLs placeholder. Ver Real-Data-Analysis e as issues da Fase 2 para o que falta.

1. Protótipo simples (kappa_test.py / mle_full_analysis.py)

Ajuste MLE direto (A, κ, η_eff, η_plasma), sem crossmatch angular nem redshift — 1.000 fontes sintéticas geradas diretamente com o modelo gerador.

Quantidade Valor
Fontes 1.000
$\kappa_{\mathrm{true}}$ 0.0600
$\widehat{\kappa}$ 0.0773
IC 95% (perfil de verossimilhança) [0.050, 0.127]
significância 9.60 σ

2. Pipeline completa v2 (real_data_pipeline/)

Mesmo tipo de hipótese, mas exercitando o pipeline completo: crossmatch angular + redshift entre catálogo de "neutrinos" e catálogo de "plasma/FRB" sintéticos, bootstrap não paramétrico, calibração nula empírica (parametric bootstrap sob H0) e consistência por subgrupo de energia/hemisfério. Gerado por scripts/generate_synthetic.py com $\kappa_{\mathrm{true}}=0.06$; 400 fontes sobreviveram ao crossmatch (de 400 geradas).

Motor de ajuste: scipy.optimize foi substituído por iminuit (MIGRAD+MINOS) — ver Pipeline. O IC 95% abaixo vem de MINOS (busca iterativa da raiz da verossimilhança), não de um grid fixo; isso resolveu uma subcobertura real encontrada no estudo de injeção (seção 2.2), rastreada na issue #19 (resolvida).

Quantidade Valor
Fontes (pós-crossmatch) 400
$\kappa_{\mathrm{true}}$ 0.0600
$\widehat{\kappa}$ 0.0763
TS 73.52
significância assintótica (Wilks/Chernoff) 8.57 σ
valor-p empírico (calibração nula, 10.000 pseudo-exp.) < 1e-4 (0/10.000 réplicas sob H0 alcançaram TS≥73.52)
IC 95% perfilado (MINOS, assimétrico) [0.049, 0.132]
IC 95% bootstrap (percentil, 500 réplicas) [0.058, 0.099]

Perfil de verossimilhança

Perfil de verossimilhança para κ, mostrando o mínimo em κ̂=0.076, o limiar de 95% (Δ=3.84) e o valor verdadeiro injetado

Δ(-2 ln L) em função de κ. A linha tracejada cinza marca o limiar assintótico de 95% (χ²₁); o IC reportado na tabela vem do MINOS (mais preciso que a leitura visual deste gráfico, que usa um grid de 61 pontos só para fins de visualização).

Estabilidade do estimador (bootstrap)

Histograma da distribuição bootstrap de κ̂ ao longo de 500 reamostragens, com o IC 95% percentil destacado

Reamostragem com reposição das 400 fontes, 500 réplicas. A distribuição é aproximadamente simétrica em torno de κ̂, sem cauda longa nem bimodalidade — sinal de que o estimador é estável nesta amostra sintética.

Calibração nula

Histograma da distribuição de TS sob H0 em 1000 pseudo-experimentos, com o TS observado marcado bem à direita da distribuição

Pseudo-dados gerados por Poisson a partir do melhor ajuste sob H0 (κ=0) — não do ajuste livre, que enviesaria a calibração (ver correção aplicada em inference.py::expected_under_null). Nenhuma das réplicas nulas chega perto do TS observado (73.5); a maior parte da massa fica abaixo de TS≈5, como esperado pela mistura de Chernoff ½χ²₀+½χ²₁. Gráfico ilustrativo com 1000 réplicas; a versão oficial (seção 2.1) usa 10.000.

Consistência entre subgrupos

Gráfico de pontos com barras de erro mostrando κ̂ e IC 95% para cada faixa de energia e cada hemisfério, comparados ao κ̂ da amostra completa

κ̂ por faixa de energia (10–100, 100–1000, >1000 TeV) e por hemisfério (norte/sul). Todos os subgrupos são compatíveis entre si e com o κ̂ da amostra completa (linha vermelha) dentro do IC — não há indício de que o "sinal" venha de um subconjunto específico, o que seria sinal de artefato/seleção.

2.1 Calibração nula de alta resolução (10.000 pseudo-experimentos)

Repetição da calibração nula com null_simulations: 10000 (era 1000), para resolução empírica de p-value ~1/10001 ≈ 1e-4 — já refletido na tabela da seção 2. Resultado: 0 em 10.000 réplicas sob H0 alcançaram TS≥73.52 → p_empirical_null < 1e-4, consistente com o p-value assintótico (4.98e-18, abaixo da resolução empírica possível com qualquer número razoável de simulações).

2.2 Estudo de injeção: viés, cobertura e poder estatístico

Para κ_true = 0.00, 0.01, ..., 0.10 (passo 0.01), 200 réplicas independentes cada (mesmo desenho de 400 fontes, só a contagem Poisson muda) — real_data_pipeline/scripts/injection_study.py, resultados completos em results/injection/.

Gráfico de recuperação: κ̂ médio vs κ verdadeiro, com barra de erro (desvio padrão), próximo da diagonal y=x em toda a faixa

Viés desprezível (<0.0016 em módulo) em toda a faixa testada — o estimador não é sistematicamente enviesado para cima nem para baixo.

Gráfico de cobertura empírica do IC 95% vs κ verdadeiro, toda a faixa dentro do esperado após a troca para iminuit/MINOS

Resultado após corrigir o achado original: com o grid manual de 121 pontos (scipy), a cobertura caía para ~60-73% em κ∈[0.01,0.03] — não era falha da aproximação de Wilks, era resolução grosseira do grid (passo ~0.0167, comparável aos próprios valores de κ testados). Trocando para iminuit (MIGRAD+MINOS, busca iterativa da raiz da verossimilhança em vez de grid fixo), a cobertura ficou em 94.5-100% em toda a faixa testada — ver issue #19 (resolvida) para o diagnóstico completo.

Curva de poder estatístico P(detectar) vs κ verdadeiro, para limiares de 3σ e 5σ

Com 400 fontes e esta configuração de ruído/fundo: 50% de poder para descoberta (5σ) em κ≈0.039, 90% de poder em κ≈0.053. Para evidência (3σ), 50% de poder já em κ≈0.023. Isso define a sensibilidade mínima desta configuração — um κ verdadeiro abaixo de ~0.02 provavelmente não seria detectado mesmo que existisse.

3. Dados reais

Ainda não analisados neste repositório — ver Real-Data-Analysis e o milestone da Fase 2.

Como reportar

Para cada análise, registrar:

  • versão e DOI da liberação de dados;
  • cortes e unidades;
  • modelo de sinal e fundo;
  • parâmetros nuisance e priors/constraints;
  • $\widehat{\kappa}$ e intervalo (perfilado e bootstrap);
  • TS, valor-p assintótico e valor-p empírico calibrado;
  • consistência por subgrupo (energia, direção);
  • código, versão da pipeline e sementes aleatórias.