Ro-dou
Ro-dou copied to clipboard
gestaogovbr
Gerador de DAGs no Airflow para fazer clipping do Diário Oficial da União.
Adicionar opção para combinação lógica (_and_, _not_) de termos pesquisados para pesquisa no INLABS.
A Imprensa Nacional instalou um [bot manager da Cloudflare](https://developers.cloudflare.com/fundamentals/get-started/reference/cloudflare-cookies/#__cf_bm-cookie-for-cloudflare-bot-products). Isto está dificultando muito a extração por meio da API de consulta. No entanto, existe uma solução disponibilizada pela própria Imprensa...
Implementar o agrupamento dos resultados por termo pesquisado, evitando que os resultados venham duplicados. Na forma que está, caso a publicação atenda ao critério de mais de um tempo pesquisado,...
Em casos em que há necessidade de buscar nas edições extras, criar uma forma de duplicar a DAG com as mesmas configurações do YAML principal porém com o scheduler rodando...
Verificar a possibilidade de utilizar um hub de notificação, permitindo o envio dos relatórios para diferentes plataformas e serviços de notificação, além do email, Slack e Discord. Sugestão: ferramenta Apprise...
Aplicar teste [tests/test_validate_yaml_schemas.py](https://github.com/gestaogovbr/Ro-dou/blob/validate-yaml/tests/test_validate_yaml_schemas.py) no repo [cdata/airflow-dags//dags/ro_dou/dag_confs](https://git.economia.gov.br/seges-cginf/airflow-dags/-/tree/master/dags%2Fro_dou%2Fdag_confs)
[schemas/ro-dou.json](https://github.com/gestaogovbr/Ro-dou/blob/validate-yaml/schemas/ro-dou.json) - [ ] Complementar documentação nas linhas com `"description": "description"` em [schemas/ro-dou.json](https://github.com/gestaogovbr/Ro-dou/blob/validate-yaml/schemas/ro-dou.json) - [ ] Conferir se todas as situações previstas para o arquivo `DAG .yml` (ref em: [ro-dou/src](https://github.com/gestaogovbr/Ro-dou/tree/validate-yaml/src))...
* [YAML Language Support by Red Hat](https://marketplace.visualstudio.com/items?itemName=redhat.vscode-yaml) * [.vscode_edit/settings.json](https://github.com/gestaogovbr/Ro-dou/blob/validate-yaml/.vscode_edit/settings.json) branch `validate-yaml`
O débito técnico é que da forma que está implementado na branch `validate-yaml` uma alteração feita em [`ro-dou/src/`](https://github.com/gestaogovbr/Ro-dou/tree/validate-yaml/src) que altere as regras do descritor `DAG .yaml` precisa também ser atualizado...
Metadata
Owner
Metadata
Gerador de DAGs no Airflow para fazer clipping do Diário Oficial da União.