DataAn — dados públicos do Brasil, explicados em gráficos

Plataforma aberta que coleta dados de fontes oficiais, valida, analisa e publica visualizações interativas, atualizadas automaticamente todos os dias.

Site: https://dataan.vercel.app · API: /data/catalog.json · Status: /status/

Em 1 minuto (para quem está avaliando)

Projeto criado e mantido por Akno Leonel, cientista de dados · LinkedIn · GitHub · Portfólio · Quem fez

Se você tem…	Veja	O que mostra
1 minuto	Estudo: o clima ajuda a prever a dengue?	Pergunta, hipótese, critério definido antes, 5 modelos com validação de origem móvel e a resposta recalculada toda semana, mesmo quando é "não"
5 minutos	Notebook do estudo no Colab	O mesmo código da página, com análise exploratória e teste de robustez
10 minutos	pipelines/ e status ao vivo	Pipeline em produção: retentativa, servidor alternativo, contrato de dados, fallback e testes

Competências demonstradas: séries temporais e avaliação de modelos (backtest, skill vs. ingênuo, intervalos empíricos) · engenharia de dados (ETL diário de APIs públicas instáveis, validação por contrato, observabilidade) · visualização e comunicação (gráficos SVG próprios, textos gerados a partir dos dados, acessibilidade) · produto (site estático na Vercel, API aberta, SEO, CSP restrita, CI).

Conjuntos de dados

Área	Conjunto	Fonte	O que tem de análise
Economia	Taxa Selic e juro real	Banco Central (SGS)	Juro real ex-post, posição histórica, último movimento do Copom
Economia	Inflação (IPCA)	Banco Central (SGS)	Comparação com centro/teto da meta do CMN ano a ano
Economia	Dólar comercial	Banco Central (SGS)	Variações 30 d / 12 m, histórico com amostragem LTTB
Economia	Taxa de desemprego	IBGE via SGS	Variação interanual, mínimas e máximas da série
Saúde	Dengue nas capitais	InfoDengue (Fiocruz/FGV)	Nowcasting de atraso, previsão de 4 semanas com backtest vs. ingênuo
Saúde	Estudo: o clima ajuda a prever a dengue?	InfoDengue (casos + clima)	Experimento com 5 modelos (ingênuo, sazonal, Holt, ridge com defasagens, ridge + clima) e critério pré-definido
Meio ambiente	Qualidade do ar	Open-Meteo (Copernicus CAMS)	PM2.5 vs. diretriz da OMS, ranking e dias acima do limite
Clima	Aquecimento nas capitais	NASA POWER (MERRA-2)	Anomalia vs. normal 1991–2020, aquecimento por capital
Demografia	População dos estados	IBGE (SIDRA)	Ranking, concentração e crescimento entre estimativas

Arquitetura

flowchart LR
  subgraph Fontes oficiais
    BCB[Banco Central]; IBGE; IDG[InfoDengue]; OM[Open-Meteo]; NASA[NASA POWER]
  end
  GH["GitHub Actions<br/>deploy hook diário"] --> B
  G["push na main / PR"] --> B
  subgraph B ["Build na Vercel (serviço web)"]
    P["Pipeline Python<br/>coleta → qualidade → análise"] --> C{"Contrato<br/>Pydantic"}
    C -->|válido| J[(JSON + CSV)]
    C -->|falhou| F["mantém a última<br/>versão em produção"]
    J --> A["Astro<br/>site estático"]
  end
  Fontes --> P
  A --> CDN[Vercel CDN]
  CDN --> U[Navegador]
  CDN --> API[API estática JSON/CSV]

Decisões e alternativas estão em docs/arquitetura.md. O design (telas, motion e regras visuais) está em docs/design/.

Destaques técnicos

• Contrato de dados único (pipelines/dataan/models.py ↔ web/src/lib/types.ts): todo gráfico, KPI e texto passa por validação antes de ir ao ar.
• Qualidade antes de publicar: volume mínimo, faixas plausíveis, atraso máximo da fonte, ordem temporal e colunas do CSV iguais às documentadas.
• Operação resiliente: retentativa com backoff, falha isolada por dataset, fallback para a última versão publicada e página de status pública com histórico.
• Estatística honesta: a previsão de dengue usa Holt amortecido em escala log, validação com origem móvel (só passado → futuro) e é comparada com a previsão ingênua; o intervalo de 80% vem dos erros do próprio backtest. O resultado aparece mesmo quando o modelo perde.
• Motion com propósito: linhas que se desenham e números que contam até o valor ao entrar na tela, troca de período sem perder o contexto e destaques em texto que marcam no gráfico o trecho de onde vêm. Com "reduzir movimento" ativado, tudo aparece direto no estado final.
• Gráficos próprios em SVG, sem biblioteca: renderizados no build (funcionam sem JS) e redesenhados no navegador com tooltip, crosshair, toque e teclado. A paleta foi validada para daltonismo, com modo escuro próprio e tabela equivalente para cada gráfico.
• SEO: HTML estático, sitemap.xml, canonical, Open Graph e JSON-LD Dataset, elegível ao Google Dataset Search.
• Segurança: CSP com hashes (sem unsafe-inline), HSTS e bloqueio de iframe via vercel.json, Actions sem permissões. Detalhes em SECURITY.md.

Notebooks

Notebook	Para quê
estudo-dengue-clima.ipynb · Colab	Reproduz o estudo de caso com dados ao vivo (instala o pacote dataan do GitHub)
api-dataan.ipynb · Colab	Tutorial da API: catálogo, JSON, CSV e uma análise rápida, sem instalar nada

Rodando localmente

Requisitos: Python 3.11+ e Node 22.12+.

make install          # cria .venv, instala o pipeline e o site
make data             # coleta os dados reais -> web/public/data
make dev              # http://localhost:4321

Sem make:

python3 -m venv .venv && .venv/bin/pip install -e "pipelines[dev]"
.venv/bin/python -m dataan run                  # todos os datasets
.venv/bin/python -m dataan run --only selic     # só um
cd web && npm install && npm run dev

Adicionar um novo conjunto de dados

Uma função decorada é tudo o que é preciso. O runner descobre, executa, valida, publica e o site cria a página, o card, o sitemap e os metadados de SEO.

# pipelines/dataan/datasets/economia.py
@dataset(
    slug="igpm",
    title="IGP-M",
    summary="O índice que reajusta aluguéis, mês a mês.",
    description="...",
    category="economia",                       # ou crie uma em registry.CATEGORIES
    sources=[_src(189, "IGP-M mensal")],
    frequency="Mensal",
    columns=[Column(name="mes", description="..."), Column(name="igpm", description="...")],
)
def igpm() -> Build:
    s = _monthly(bcb.sgs(189, date(2010, 1, 1)))
    check_series(s, "IGP-M", min_points=60, lo=-10, hi=10, max_age_days=75)
    table = s.rename("igpm").rename_axis("mes").reset_index()
    table["mes"] = table["mes"].dt.strftime("%Y-%m-%d")
    return Build(
        charts=[LineChart(id="historico", title="IGP-M mensal", format=pct(2),
                          series=[Series(key="igpm", name="IGP-M", points=to_points(s))])],
        kpis=[Kpi(label="IGP-M do mês", value=float(s.iloc[-1]), format=pct(2))],
        table=table,
    )

Fonte nova? Crie um conector em pipelines/dataan/sources/ usando http.get_json (já tem retentativa, timeout e limite de tamanho). Tipos de gráfico disponíveis: line (com faixa, referência, marcador e degrau), bar (ranking), column (divergente) e grid (pequenos múltiplos).

Estrutura

pipelines/dataan/
  sources/      conectores das APIs públicas
  datasets/     um módulo por área; cada função @dataset é um conjunto
  analysis/     amostragem (LTTB), previsão + backtest, checagens de qualidade
  models.py     contrato de dados publicado
  runner.py     execução isolada, fallback, catálogo e status
web/src/
  lib/charts/   renderizadores SVG (linha, barra, coluna, sparkline)
  components/   KPI, gráfico, tabela acessível, cards
  pages/        início, dataset, categorias, status, API, sobre
  scripts/      interatividade (tooltip/teclado), busca, tema
.github/workflows/
  refresh.yml   dispara o deploy diário na Vercel (deploy hook)
  ci.yml        lint, tipos e build em pull requests
scripts/vercel-build.sh   build na Vercel: pipeline + Astro
vercel.json               serviço, rotas e cabeçalhos de segurança

Operação

• Hospedagem: Vercel. O build (scripts/vercel-build.sh) roda o pipeline e gera o site; cada PR ganha um preview.
• Agenda: todo dia às 06:17 (Brasília) o workflow Atualização diária chama um deploy hook da Vercel; também há deploy a cada push na main e manualmente em Actions → Atualização diária → Run workflow.
• Falhas: aparecem no log de build da Vercel e na página de status. O site segue no ar com a última versão válida.
• Domínio próprio: configure em Vercel → Settings → Domains e defina SITE_URL nas variáveis de ambiente do projeto.

Licença

Código sob MIT. Os dados pertencem às fontes citadas em cada página e seguem suas licenças.