radar icon indicating copy to clipboard operation
radar copied to clipboard

dump_demo, para melhor acolhimento à auditoria e discussão dos dados

Open ppKrauss opened this issue 8 years ago • 0 comments

Oi gente, reparei que o dump db-dump/radar.sql.bz2 leva uma eternidade para processar,

psql -h localhost -U postgres radar  < radar.sql

(~8hs de CPU e bem mais de 10Mb de disco ocupado pela base) Acaba sendo uma certa barreira para se discutir modelo de dados com o público... O ideal seria sem um demo para experimentos e testes.


SUGESTÃO: manter, além do dump oficial, um dump_demo contendo a mesma estrutura de base porém apenas um subconjunto enxuto e padronizado de dados, que se manteria estável mesmo quando da mudança de versão da estrutura.

JUSTIFICATIVAS:

  • dump mais estável e leve garante maior acolhimento da comunidade de "interessados apenas em analisar estrutura e comportamento dos dados do Radar", e incentiva as discussões na comunidade interna:
    • mais leve: processando em poucos segundos ou minutos, viabiliza testes e avaliações rápidos por parte de agentes externos.
    • mais estável: permite que discussões nas isssues, na Wiki, artigos de divulgação, tutoriais, etc. façam menção a dados padronizados do dump_demo (não precisa mudar nem os IDs).
      PS: análogo de dado para benchmark ou standard test.
  • pode se tornar o "test suite" do projeto, com asserts baseados em dados padronizados. Os mesmos testes podem rodar tanto na camada SQL como na camada model-Python.

ppKrauss avatar Jun 08 '16 02:06 ppKrauss