covid19-br
covid19-br copied to clipboard
Add estado de SC e info cidade Joinville
Como até o momento não tem uma fonte centralizada de informações para o estado de Santa Catarina, fiz o corona_sc_spider.py
com base (tentei) no já feito do PR, tendo que por o nome e link para informações de cada cidade.
No momento possui apenas a cidade de Joinville.
depois dos reviews, sugiro fazer um git rebase -i master
para resolver os conflitos e normalizar as mensagens de commit
Obrigado pelos comentários @endersonmaia Primeira vez que participo de um projeto do tipo e essa foi minha primeira PR, por isso peço um pouco de paciência com o iniciante aqui...
Farei as alterações sugeridas o quanto antes, e como são algumas, acha melhor excluir essa pull request e fazer outra depois das alterações?
@Mat-Bit sem problemas
não vejo pq criar outra PR, faz as alterações, mesmo que vc modifique os commits e/ou o histórico, podes sobrepor a branch com push --force
, o importante é que não haja conflitos com a master
eu criaria uma branch a parte, fica mais fácil de manter-se atualizado
se ficar com alguma dúvida, pode comentar aqui
Atualizei o repositório e creio que realizei as modificações necessárias...
@turicas fiz um review aí do commit, tá bem resumido agora
não atentei pra implementação python, depois dá uma olhada aí
Obrigado pela revisão e sugestões @turicas !
Sei que idealmente o certo seria pegar um só link da Secretaria Estadual de Saúde com as informações dos municípios, porém ainda não encontrei um portal que reunisse toda a informação em um só lugar.
Paliativamente pensei em contribuir fazendo por cidades em que há notificações sobre a doença..
Acredito que consegui fazer as alterações requisitadas, com exceção de sobrescrever o documentos toda vez que executa o método parse()
.
Assim que possível farei o restante das alterações.
Pessoal, atualização sobre os crawlers e a forma como estamos preenchendo os dados: vamos mudar a forma de subida dos dados pra facilitar o trabalho dos voluntários e deixar o processo mais robusto e confiável e, com isso, será mais fácil que robôs possam subir também os dados; dessa forma, os scrapers ajudarão bastante no processo. Com isso, criei algumas regras gerais e em breve farei algumas atualizações sobre:
-
Necessário fazer o scraper usando o
scrapy
; -
Não usar
pandas
,BeautifulSoap
,requests
ou outras bibliotecas desnecessárias (a std lib do Python já tem muita biblioteca útil, oscrapy
com XPath já dá conta de boa parte das raspagens erows
já é uma dependênciad esse repositório); - Deve existir alguma maneira fácil de fazer o scraper coletar os boletins e casos para uma data específica;
- O método de parsing deve devolver (com
yield
) um dicionário com as seguintes chaves:-
date
: data no formato"YYYY-MM-DD"
-
state
: sigla do estado, com 2 caracteres maiúsculos (deve ser um atributo da classe do spider e usarself.state
) -
city
(nome do município ou em branco, caso seja o valor do estado, deve serNone
) -
place_type
:"city"
para município e"state"
para estado -
confirmed
: inteiro, número de casos confirmados (ouNone
) -
deaths
: inteiro, número de mortes naquele dia (ouNone
) -
ATENÇÃO: o scraper deve devolver sempre um registro para o estado que não seja a soma dos valores por município (esse dado deve ser extraído da linha "total no estado" no boletim) - essa linha virá com a coluna
city
com o valorNone
eplace_type
com"state"
;
-
- Quando possível, use testes automatizados.
Nesse momento não temos muito tempo disponível para revisão, então por favor, só crie um pull request sugerindo com código de um novo scraper caso você possa cumprir os requisitos acima.