pipelines icon indicating copy to clipboard operation
pipelines copied to clipboard

Épico: lista de tabelas elegíveis para pipeline

Open crislanealves opened this issue 3 years ago • 2 comments

  • [x] #244

Internas:

  • [x] #248

Lista com ordem de prioridade:

  • [x] br_poder360_pesquisas
  • [x] #264
  • [x] #265
  • [x] br_me_cnpj (antiga sócios) - @rdahis já podemos fazer pipeline com o novo portal do governo
  • [ ] br_ms_vacinacao_covid19/microdados
  • [ ] br_ms_vacinacao_covid19/microdados_estabelecimento
  • [ ] br_ms_vacinacao_covid19/microdados_paciente
  • [ ] br_ms_vacinacao_covid19/microdados_vacinacao
  • [x] br_cvm_oferta_publica_distribuicao/dia
  • [x] br_cvm_administradores_carteira/responsavel
  • [x] br_cvm_administradores_carteira/pessoa_fisica
  • [x] br_cvm_administradores_carteira/pessoa_juridica
  • [x] br_ibge_ipca/mes_brasil
  • [x] br_ibge_ipca/mes_categoria_brasil
  • [x] br_ibge_ipca/mes_categoria_municipio
  • [x] br_ibge_ipca/mes_categoria_rm
  • [x] br_ibge_ipca15/mes_brasil
  • [x] br_ibge_ipca15/mes_categoria_brasil
  • [x] br_ibge_ipca15/mes_categoria_municipio
  • [x] br_ibge_ipca15/mes_categoria_rm
  • [x] br_ibge_inpc/mes_brasil
  • [x] br_ibge_inpc/mes_categoria_brasil
  • [x] br_ibge_inpc/mes_categoria_municipio
  • [x] br_ibge_inpc/mes_categoria_rm
  • [x] br_sp_saopaulo_dieese_icv/mes_brasil
  • [x] br_fgv_igp/igp_10_mes
  • [x] br_fgv_igp/igp_di_mes
  • [x] br_fgv_igp/igp_m_mes
  • [x] br_fgv_igp/igp_og_mes
  • [x] br_ms_cnes/estabelecimento #133
  • [ ] br_fipe_fipezap/aluguel_municipio
  • [ ] br_fipe_fipezap/vendas_brasil
  • [ ] br_fipe_fipezap/vendas_municipio
  • [ ] br_fipe_ipc/mes_brasil
  • [ ] br_fipe_ipc/mes_categoria_brasil
  • [x] br_ms_cnes/profissional #133
  • [x] br_me_comex_stat/municipio_exportacao
  • [x] br_me_comex_stat/municipio_importacao
  • [x] br_me_comex_stat/ncm_exportacao
  • [x] br_me_comex_stat/ncm_importacao
  • [ ] br_mme_consumo_energia_eletrica/uf
  • [ ] br_mc_indicadores/transferencias_municipio
  • [ ] br_me_cno/microdados
  • [ ] br_me_cno/microdados_cnae
  • [ ] br_me_cno/microdados_vinculo
  • [ ] br_me_pensionistas/microdados
  • [x] br_anatel_banda_larga_fixa/densidade_brasil
  • [x] br_anatel_banda_larga_fixa/densidade_municipio
  • [x] br_anatel_banda_larga_fixa/densidade_uf
  • [x] br_anatel_banda_larga_fixa/microdados
  • [x] br_anatel_banda_larga_fixa/municipio
  • [x] br_anatel_telefonia_movel/ddd
  • [x] br_anatel_telefonia_movel/densidade_brasil
  • [x] br_anatel_telefonia_movel/densidade_municipio
  • [x] br_anatel_telefonia_movel/densidade_uf
  • [x] br_anatel_telefonia_movel/modalidade
  • [x] br_anatel_telefonia_movel/municipio
  • [x] br_anatel_telefonia_movel/tecnologia
  • [ ] br_anvisa_medicamentos_industrializados/microdados
  • [x] br_cgu_servidores_executivo_federal/servidores_civis_cadastro
  • [x] br_cgu_servidores_executivo_federal/servidores_militares_cadastro
  • [ ] br_denatran_frota/municipio_tipo
  • [ ] br_denatran_frota/uf_tipo
  • [x] #150
  • [x] br_ibge_pnadc/microdados
  • [ ] br_anatel_banda_larga_fixa/pble
  • [x] br_cgu_pessoal_executivo_federal/terceirizados
  • [x] br_ons_energia_armazenada/subsistemas
  • [ ] br_ana_reservatorios/sin
  • [x] br_inmet_bdmep/microdados
  • [ ] br_ana_reservatorios/sin
  • [x] br_bd_indicadores/contabilidade
  • [x] br_bd_indicadores/equipes
  • [x] br_bd_indicadores/pessoas
  • [x] br_bd_indicadores/receitas_planejadas
  • [x] br_bd_indicadores/website_user
  • [x] br_bd_indicadores/twitter_metrics
  • [ ] br_bd_indicadores/okrs

Ver mais detalhes em: https://docs.google.com/spreadsheets/d/1QAzbqO0OuX7OzmQHtFpHHP8mMhzeo2uYrdh8Rde3juk/edit?usp=sharing

crislanealves avatar Feb 08 '22 14:02 crislanealves

(tudo em py)

  • [x] br_bd_indicadores.twitter
  • [ ] br_bd_indicadores.github
  • [ ] br_bd_indicadores.okrs (para pensar depois)

Contexto

OKRs da BD:

O1: Base dos Dados é reconhecida como uma fonte confiável, estável e principal de dados no Brasil

  • KR1.1 Ter no máximo 5 issues abertos para revisão de dados → API Github
  • KR1.2 Ter 80% das bases atualizadas → número de pipelines / número de bases com tabelas tratadas
  • KR1.3 Atingir 20 mil seguidores no Twitter → API Twitter
  • KR1.4 Atingir 250 mil queries → Consertar os logs de acessos do Analytics

O2: A estrutura da BD é sustentável e não depende de pessoas específicas (tecnologia + governança)

  • KR2.3 Ter pelo menos mais 2 pessoas com permissões altas no GitHub fora do sudo-su (coordenação) → dá para pegar pela API do Github?

fernandascovino avatar Feb 21 '22 23:02 fernandascovino

@laura-l-amaral vou usar essa lista como reerência para uma dos KPIs de infra. Fique à vontade para adicionar tabelas ou trocar a ordem de prioridade, de acordo com as prioridades da equipe de dados.

lucascr91 avatar Sep 22 '22 20:09 lucascr91