pipelines
pipelines copied to clipboard
Épico: lista de tabelas elegíveis para pipeline
- [x] #244
Internas:
- [x] #248
Lista com ordem de prioridade:
- [x] br_poder360_pesquisas
- [x] #264
- [x] #265
- [x] br_me_cnpj (antiga sócios) - @rdahis já podemos fazer pipeline com o novo portal do governo
- [ ] br_ms_vacinacao_covid19/microdados
- [ ] br_ms_vacinacao_covid19/microdados_estabelecimento
- [ ] br_ms_vacinacao_covid19/microdados_paciente
- [ ] br_ms_vacinacao_covid19/microdados_vacinacao
- [x] br_cvm_oferta_publica_distribuicao/dia
- [x] br_cvm_administradores_carteira/responsavel
- [x] br_cvm_administradores_carteira/pessoa_fisica
- [x] br_cvm_administradores_carteira/pessoa_juridica
- [x] br_ibge_ipca/mes_brasil
- [x] br_ibge_ipca/mes_categoria_brasil
- [x] br_ibge_ipca/mes_categoria_municipio
- [x] br_ibge_ipca/mes_categoria_rm
- [x] br_ibge_ipca15/mes_brasil
- [x] br_ibge_ipca15/mes_categoria_brasil
- [x] br_ibge_ipca15/mes_categoria_municipio
- [x] br_ibge_ipca15/mes_categoria_rm
- [x] br_ibge_inpc/mes_brasil
- [x] br_ibge_inpc/mes_categoria_brasil
- [x] br_ibge_inpc/mes_categoria_municipio
- [x] br_ibge_inpc/mes_categoria_rm
- [x] br_sp_saopaulo_dieese_icv/mes_brasil
- [x] br_fgv_igp/igp_10_mes
- [x] br_fgv_igp/igp_di_mes
- [x] br_fgv_igp/igp_m_mes
- [x] br_fgv_igp/igp_og_mes
- [x] br_ms_cnes/estabelecimento #133
- [ ] br_fipe_fipezap/aluguel_municipio
- [ ] br_fipe_fipezap/vendas_brasil
- [ ] br_fipe_fipezap/vendas_municipio
- [ ] br_fipe_ipc/mes_brasil
- [ ] br_fipe_ipc/mes_categoria_brasil
- [x] br_ms_cnes/profissional #133
- [x] br_me_comex_stat/municipio_exportacao
- [x] br_me_comex_stat/municipio_importacao
- [x] br_me_comex_stat/ncm_exportacao
- [x] br_me_comex_stat/ncm_importacao
- [ ] br_mme_consumo_energia_eletrica/uf
- [ ] br_mc_indicadores/transferencias_municipio
- [ ] br_me_cno/microdados
- [ ] br_me_cno/microdados_cnae
- [ ] br_me_cno/microdados_vinculo
- [ ] br_me_pensionistas/microdados
- [x] br_anatel_banda_larga_fixa/densidade_brasil
- [x] br_anatel_banda_larga_fixa/densidade_municipio
- [x] br_anatel_banda_larga_fixa/densidade_uf
- [x] br_anatel_banda_larga_fixa/microdados
- [x] br_anatel_banda_larga_fixa/municipio
- [x] br_anatel_telefonia_movel/ddd
- [x] br_anatel_telefonia_movel/densidade_brasil
- [x] br_anatel_telefonia_movel/densidade_municipio
- [x] br_anatel_telefonia_movel/densidade_uf
- [x] br_anatel_telefonia_movel/modalidade
- [x] br_anatel_telefonia_movel/municipio
- [x] br_anatel_telefonia_movel/tecnologia
- [ ] br_anvisa_medicamentos_industrializados/microdados
- [x] br_cgu_servidores_executivo_federal/servidores_civis_cadastro
- [x] br_cgu_servidores_executivo_federal/servidores_militares_cadastro
- [ ] br_denatran_frota/municipio_tipo
- [ ] br_denatran_frota/uf_tipo
- [x] #150
- [x] br_ibge_pnadc/microdados
- [ ] br_anatel_banda_larga_fixa/pble
- [x] br_cgu_pessoal_executivo_federal/terceirizados
- [x] br_ons_energia_armazenada/subsistemas
- [ ] br_ana_reservatorios/sin
- [x] br_inmet_bdmep/microdados
- [ ] br_ana_reservatorios/sin
- [x] br_bd_indicadores/contabilidade
- [x] br_bd_indicadores/equipes
- [x] br_bd_indicadores/pessoas
- [x] br_bd_indicadores/receitas_planejadas
- [x] br_bd_indicadores/website_user
- [x] br_bd_indicadores/twitter_metrics
- [ ] br_bd_indicadores/okrs
Ver mais detalhes em: https://docs.google.com/spreadsheets/d/1QAzbqO0OuX7OzmQHtFpHHP8mMhzeo2uYrdh8Rde3juk/edit?usp=sharing
(tudo em py)
- [x] br_bd_indicadores.twitter
- [ ] br_bd_indicadores.github
- [ ] br_bd_indicadores.okrs (para pensar depois)
Contexto
OKRs da BD:
O1: Base dos Dados é reconhecida como uma fonte confiável, estável e principal de dados no Brasil
- KR1.1 Ter no máximo 5 issues abertos para revisão de dados → API Github
- KR1.2 Ter 80% das bases atualizadas → número de pipelines / número de bases com tabelas tratadas
- KR1.3 Atingir 20 mil seguidores no Twitter → API Twitter
- KR1.4 Atingir 250 mil queries → Consertar os logs de acessos do Analytics
O2: A estrutura da BD é sustentável e não depende de pessoas específicas (tecnologia + governança)
- KR2.3 Ter pelo menos mais 2 pessoas com permissões altas no GitHub fora do sudo-su (coordenação) → dá para pegar pela API do Github?
@laura-l-amaral vou usar essa lista como reerência para uma dos KPIs de infra. Fique à vontade para adicionar tabelas ou trocar a ordem de prioridade, de acordo com as prioridades da equipe de dados.