Desenvolver suporte para tabelas materializadas em cima de tabelas "escondidas" nomeadas com `ckan_id`

[rdahis]

Criar uma camada abstraída de nomes no BQ em cima de tabelas nativas.

• Criar conjunto no CKAN ==> cada conjunto tem seu ID
• Criar tabela nativa no BQ com dataset_id = dataset_ckan_id.
• Criar tabelas nativas que lêem os conjuntos/tabelas nativos, mas nomeadas arbitrariamente com os dataset_id e table_id.

Trabalho necessário

• Adaptar nossas APIs para lidar com os dois conjuntos/tabelas ao mesmo tempo, a nativa e a visão.

[rdahis]

Rascunho da arquitetura pelo pessoal da prefeitura : https://docs.google.com/document/d/1T6IjtARniJq23hMzGBlNvAdiyrW4M8gjqa8wA8j0xno/edit?usp=sharing

[d116626]

Proposta de Endpoints para a API que fornece os ids

- POST /lalala
  * conteúdo: {dataset_id: abcd, table_id: efgh}
  * retorno: {staging_id: algumid, dataset_id: abcd, table_id: efgh}

- GET /lalala
  * parâmetro: {staging_id: algumid}
  * retorno: {staging_id: algumid, dataset_id: abcd, table_id: efgh}

- PUT /lalala
  * parâmetro: {staging_id: algumid, dataset_id: dcba, table_id: hgfe}
  * retorno: {staging_id: algumid, dataset_id: dcba, table_id: hgfe}

[d116626]

Diagrama de integrações

https://app.diagrams.net/#G1XK1wyIK13Ln6QSgElQbVrIzDaC_-tdDK