Ana Paula Gomes
Ana Paula Gomes
Quando um órgão público deseja comprar algo que custa mais de 7 mil reais é preciso fazer uma licitação. A partir dessa licitação são geradas despesas que tem fases (empenho,...
Dessa forma será possível trackear qual o status do código no momento em que determinado item foi coletado.
Closes #409. Dessa forma os arquivos podem ser lidos mais tarde na fase de extração.
Todos os dias raspamos dados e graças ao Spidermon somos notificados em nosso [canal no Telegram](https://t.me/plantaodadosabertosdefeira). Porém, itens raspados não significa itens novos no banco de dados. É importante saber...
Atualmente temos um canal no Telegram para notificação dos itens raspados. Isso é possível graças ao suporte do Scrapy a essas notificações pós execução dos spiders. Seria ótimo ter a...
O endpoint deve servir os dados do model `CityHallBid`. Campos para retornar: * Todos, incluindo os campos dos eventos (`CityHallBidEvent`) * URL do arquivo (`File`) Filtros: * Texto (busca na...
Coletar contas públicas do Consórcio Público Interfederativo de Saúde da Região de Feira De Santana
Devemos raspar todas as categorias das contas públicas: http://consorcioportaldosertao.ba.ipmbrasil.org.br/contas-publicas
Para facilitar o trabalho das pessoas desenvolvedoras é bom ter uma documentação _live_ para testar a API, ver os parâmetros etc. Referência: https://www.django-rest-framework.org/topics/documenting-your-api/ Para a autenticação, temos a página no...
Estamos ficando sem memória nos servidores por conta de dois bots: `DotBot/1.1; http://www.opensiteexplorer.org/dotbot` e `facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)`. Devemos adicionar o `robots.txt` no portal para evitar esse problema. Outros: https://aspiegel.com/petalbot
Atualmente as bases de dados do [painel](https://github.com/DadosAbertosDeFeira/maria-quiteria/blob/master/datasets/admin.py) tem usado a busca simples, que é mais lenta e cara em termos computacionais. Já temos uma busca com full-text search mas pode...