Tornar o Parsers mais resiliente

[nitaibezerra]

Problema:

• Ao utilizar o parâmetro from_airflow_variable no YAML, que por sua vez recupera dinamicamente a lista de termos da variável do Airflow, e caso a variável não exista, a geração dinâmica da DAG falha e interrompe o processo de parsing.

Solução:

• Modificar a arquitetura da DAG gerada para que a recuperação do conteúdo da Variável Airflow aconteça em tempo de execução da DAG (estratégia lazy) e não em tempo de compilação (parsing). A solução é similar para as DAGs geradas com o uso do parâmetro from_db_select, que quando utilizado produz a seguinte DAG contendo a task select_terms_from_db, como no diagrama abaixo:

Com essa solução, caso a variável não exista, o erro acontecerá na execução da DAG e estará visível no log.