radar
radar copied to clipboard
dump_demo, para melhor acolhimento à auditoria e discussão dos dados
Oi gente, reparei que o dump db-dump/radar.sql.bz2
leva uma eternidade para processar,
psql -h localhost -U postgres radar < radar.sql
(~8hs de CPU e bem mais de 10Mb de disco ocupado pela base) Acaba sendo uma certa barreira para se discutir modelo de dados com o público... O ideal seria sem um demo para experimentos e testes.
SUGESTÃO: manter, além do dump oficial, um dump_demo contendo a mesma estrutura de base porém apenas um subconjunto enxuto e padronizado de dados, que se manteria estável mesmo quando da mudança de versão da estrutura.
JUSTIFICATIVAS:
-
dump mais estável e leve garante maior acolhimento da comunidade de "interessados apenas em analisar estrutura e comportamento dos dados do Radar", e incentiva as discussões na comunidade interna:
- mais leve: processando em poucos segundos ou minutos, viabiliza testes e avaliações rápidos por parte de agentes externos.
-
mais estável: permite que discussões nas isssues, na Wiki, artigos de divulgação, tutoriais, etc. façam menção a dados padronizados do dump_demo (não precisa mudar nem os IDs).
PS: análogo de dado para benchmark ou standard test.
- pode se tornar o "test suite" do projeto, com asserts baseados em dados padronizados. Os mesmos testes podem rodar tanto na camada SQL como na camada model-Python.