maria-quiteria

maria-quiteria copied to clipboard

Adicionar checksum a todos os arquivos

9

anapaulagomes

Adicionamos no #408 o `jsonchema==3.2.0` no `requirements.txt` pois: * ele é uma dependência do `spidermon` (outro pacote) * a versão 4 do `jsonschema` saiu há uns dias e quebrou o...

cuducos

Investigar porque arquivos não estão tendo o conteúdo extraído localmente

5

anapaulagomes

Coletar licitações do licitacoes-e

2

Várias [licitações](http://www.feiradesantana.ba.gov.br/servicos.asp?id=2&s=a&link=seadm/licitacoes_pm.asp&cat=PMFS&dt=06-2019#links) são cadastradas no site do Banco do Brasil [licitacoes-e](www.licitacoes-e.com.br), que possui captchas. Isso compromete as nossas análises com o conteúdo das licitações, já que boa parte dos documentos...

anapaulagomes

Problemas foram relatados na issue #124. Um indicador da lentidão era visto ao tentar buscar por textos do diário oficial pela API. Veja como configurar acesso à API [aqui](https://github.com/DadosAbertosDeFeira/maria-quiteria/wiki/API).

anapaulagomes

OperationalError: string is too long for tsvector (2482440 bytes, max 1048575 bytes)

1

Sentry Issue: [MARIA-QUITERIA-8Z](https://sentry.io/organizations/dados-abertos-de-feira/issues/2657540744/?referrer=github_integration) ``` ProgramLimitExceeded: string is too long for tsvector (2482440 bytes, max 1048575 bytes) File "django/db/backends/utils.py", line 84, in _execute return self.cursor.execute(sql, params) OperationalError: string is too long...

sentry-io[bot]

ConnectionError: HTTPConnectionPool(host='tika-server', port=9998): Max retries exceeded with url: /rmeta/text (Ca...

1

Sentry Issue: [MARIA-QUITERIA-92](https://sentry.io/organizations/dados-abertos-de-feira/issues/2657548267/?referrer=github_integration) ``` gaierror: [Errno -5] No address associated with hostname File "urllib3/connection.py", line 169, in _new_conn conn = connection.create_connection( File "urllib3/util/connection.py", line 73, in create_connection for res in...

sentry-io[bot]

FileNotFoundError: [Errno 2] No such file or directory: '/code/data/tmp/5368pmfscp0012021.rar'

12

Essa exceção acontece porque o Tika não consegue extrair o rar 5 (formato proprietário). Temos que pegar a exceção e cancelar o retry nesse caso. Sentry Issue: [MARIA-QUITERIA-4V](https://sentry.io/organizations/dados-abertos-de-feira/issues/2300466550/?referrer=github_integration) ``` FileNotFoundError:...

sentry-io[bot]

Precisamos de um ci/cd para build, tag e push da imagem docker

3

A imagem deve ter seus passos no CI/CD que ja existe hoje, mas precisa acrescentar ao menos os seguintes passos: - Validar com lint o Dockerfile - Build da imagem...

gomex

http://consorcioportaldosertao.ba.ipmbrasil.org.br/contas-publicas?tipo=contratos

anapaulagomes