maria-quiteria
maria-quiteria copied to clipboard
Backend para coleta e disponibilização dos dados 📜
Altera a variável do telegram para algo mais genérico resolve #368 ## Como testar Coloque as seguintes variáveis: ``` TELEGRAM_SENDER_TOKEN='token_aqui' TELEGRAM_CHANNEL='@canal_aqui' ``` Obs: Eu tenho credenciais que podem ser usadas....
Atualmente temos um canal no Telegram para notificação dos itens raspados. Isso é possível graças ao suporte do Scrapy a essas notificações pós execução dos spiders. Seria ótimo ter a...
O endpoint deve servir os dados do model `CityHallBid`. Campos para retornar: * Todos, incluindo os campos dos eventos (`CityHallBidEvent`) * URL do arquivo (`File`) Filtros: * Texto (busca na...
Coletar contas públicas do Consórcio Público Interfederativo de Saúde da Região de Feira De Santana
Devemos raspar todas as categorias das contas públicas: http://consorcioportaldosertao.ba.ipmbrasil.org.br/contas-publicas
Para facilitar o trabalho das pessoas desenvolvedoras é bom ter uma documentação _live_ para testar a API, ver os parâmetros etc. Referência: https://www.django-rest-framework.org/topics/documenting-your-api/ Para a autenticação, temos a página no...
Estamos ficando sem memória nos servidores por conta de dois bots: `DotBot/1.1; http://www.opensiteexplorer.org/dotbot` e `facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)`. Devemos adicionar o `robots.txt` no portal para evitar esse problema. Outros: https://aspiegel.com/petalbot
Atualmente as bases de dados do [painel](https://github.com/DadosAbertosDeFeira/maria-quiteria/blob/master/datasets/admin.py) tem usado a busca simples, que é mais lenta e cara em termos computacionais. Já temos uma busca com full-text search mas pode...
Alguns métodos para parsing e manipulação de datas podem ser substituídos pela biblioteca.
Coletar diários oficiais do Consórcio Público Interfederativo de Saúde da Região de Feira De Santana
http://consorcioportaldosertao.ba.ipmbrasil.org.br/diario
http://www.transparencia.feiradesantana.ba.gov.br/index.php?view=prestacaodecontas Disponível nesses links de [2004](http://www.transparencia.feiradesantana.ba.gov.br/contaspublicas/2004/) a [2019](http://www.transparencia.feiradesantana.ba.gov.br/contaspublicas/2019/).