covid19-br icon indicating copy to clipboard operation
covid19-br copied to clipboard

Spider para casos de Rondônia

Open berinhard opened this issue 4 years ago • 8 comments

Esse PR surgiu depois do estudo que fiz na issue #129

berinhard avatar May 08 '20 20:05 berinhard

@berinhard a checar se isso se repete nos dados que estamos recuperando via spider, mas nos boletins temos um problema que são inconsistência dos nomes dos municípios.

Os casos que tenho catalogados e geralmente vem inconsistentes são (nome que aparece no boletim;nome na nossa base):

Espigão do Oeste;Espigão D'Oeste
Nova Brasilândia D'Oeste;Nova Brasilândia D'Oeste
Alvorada do Oeste;Alvorada D'Oeste
São Felipe do Oeste;São Felipe D'Oeste
Novo Horizonte;Novo Horizonte do Oeste
Santa Luzia do Oeste;Santa Luzia D'Oeste
Machadinho D`Oeste;Machadinho D'Oeste
Alta Floresta;Alta Floresta D'Oeste
Campo Novo;Campo Novo de Rondônia
São Miguel;São Miguel do Guaporé
Nova Brasilândia;Nova Brasilândia D'Oeste

robertomb avatar May 18 '20 19:05 robertomb

Olá @robertomb o CSV final com os dados está ficando assim. Teria como conferir se precisamos corrigir algo?

municipio,confirmados,mortes
TOTAL NO ESTADO,1942,70
Importados/Indefinidos,,
Alta Floresta D'Oeste,1,0
Alto Alegre dos Parecis,4,0
Alto Paraíso,4,0
Alvorada D'Oeste,2,0
Ariquemes,152,1
Buritis,3,0
Cabixi,0,0
Cacaulândia,0,0
Cacoal,30,0
Campo Novo de Rondônia,1,1
Candeias do Jamari,20,0
Castanheiras,0,0
Cerejeiras,0,0
Chupinguaia,0,0
Colorado do Oeste,0,0
Corumbiara,0,0
Costa Marques,0,0
Cujubim,6,1
Espigão D'Oeste,3,0
Governador Jorge Teixeira,4,0
Guajará-Mirim,36,12
Itapuã do Oeste,2,0
Jaru,25,0
Ji-Paraná,47,3
Machadinho D'Oeste,2,0
Ministro Andreazza,0,0
Mirante da Serra,13,0
Monte Negro,0,0
Nova Brasilândia D'Oeste,2,0
Nova Mamoré,5,0
Nova União,0,0
Novo Horizonte do Oeste,1,0
Ouro Preto do Oeste,19,0
Parecis,0,0
Pimenta Bueno,1,0
Pimenteiras do Oeste,4,0
Porto Velho,1509,51
Presidente Médici,0,0
Primavera de Rondônia,5,0
Rio Crespo,0,0
Rolim de Moura,6,1
Santa Luzia D'Oeste,2,0
São Felipe D'Oeste,0,0
São Francisco do Guaporé,0,0
São Miguel do Guaporé,0,0
Seringueiras,0,0
Teixeirópolis,0,0
Theobroma,2,0
Urupá,18,0
Vale do Anari,1,0
Vale do Paraíso,0,0
Vilhena,12,0

berinhard avatar May 18 '20 20:05 berinhard

Conferi os dados mas não encontrei esses valores nos Boletins mais recentes. Ex: No dataset o TOTAL acima, está respectivamente 1942/70 (sem data).

Já nos Boletins publicados, em http://www.rondonia.ro.gov.br/covid-19/noticias/boletim-diario-de-casos/:

  1. 18/5/20 - 2043/83 (Boletim 63)
  2. 17/5/20 - 1963/74 (Boletim 62)
  3. 16/5/20 - 1918/69 (Boletim 61)

diegobiavati avatar May 18 '20 22:05 diegobiavati

Olá @robertomb o CSV final com os dados está ficando assim. Teria como conferir se precisamos corrigir algo?

municipio,confirmados,mortes
TOTAL NO ESTADO,1942,70
Importados/Indefinidos,,
Alta Floresta D'Oeste,1,0
Alto Alegre dos Parecis,4,0
Alto Paraíso,4,0
Alvorada D'Oeste,2,0
Ariquemes,152,1
Buritis,3,0
Cabixi,0,0
Cacaulândia,0,0
Cacoal,30,0
Campo Novo de Rondônia,1,1
Candeias do Jamari,20,0
Castanheiras,0,0
Cerejeiras,0,0
Chupinguaia,0,0
Colorado do Oeste,0,0
Corumbiara,0,0
Costa Marques,0,0
Cujubim,6,1
Espigão D'Oeste,3,0
Governador Jorge Teixeira,4,0
Guajará-Mirim,36,12
Itapuã do Oeste,2,0
Jaru,25,0
Ji-Paraná,47,3
Machadinho D'Oeste,2,0
Ministro Andreazza,0,0
Mirante da Serra,13,0
Monte Negro,0,0
Nova Brasilândia D'Oeste,2,0
Nova Mamoré,5,0
Nova União,0,0
Novo Horizonte do Oeste,1,0
Ouro Preto do Oeste,19,0
Parecis,0,0
Pimenta Bueno,1,0
Pimenteiras do Oeste,4,0
Porto Velho,1509,51
Presidente Médici,0,0
Primavera de Rondônia,5,0
Rio Crespo,0,0
Rolim de Moura,6,1
Santa Luzia D'Oeste,2,0
São Felipe D'Oeste,0,0
São Francisco do Guaporé,0,0
São Miguel do Guaporé,0,0
Seringueiras,0,0
Teixeirópolis,0,0
Theobroma,2,0
Urupá,18,0
Vale do Anari,1,0
Vale do Paraíso,0,0
Vilhena,12,0

Conferi aqui e está 100%, nenhum município diferente do que temos no nosso modelo de planilha.

robertomb avatar May 19 '20 11:05 robertomb

@diegobiavati estou capturando os dados deste site aqui: http://covid19.sesau.ro.gov.br/

A data dos dados é sempre a que está aparecendo no botão verde logo após o texto "Casos Confirmados por Cidade". Pode ser que esses dados sejam atualizados em janelas de intervalos menores do que a de divulgação dos boletins e isso pode explicar a discrepância entre os totais dos dados.

berinhard avatar May 19 '20 14:05 berinhard

Muito provavelmente, você está correto. Isso não traria inconsistência para os dados? Vi que o JSON não informa a data/hora de sua atualização.

diegobiavati avatar May 19 '20 15:05 diegobiavati

@diegobiavati a data da atualização fica no nome do arquivo CSV que gero. Baseio ela exatamente nesse campo de data que informei que está na interface. O formato do CSV está pronto para a importação no brasil.io, por isso, não tem nenhuma informação de data/hora de extração, já que isso é informado pela pessoa colaboradora ao subir a planilha.

berinhard avatar May 19 '20 16:05 berinhard

@diegobiavati compartilhou uma fonte nova, em JSON no comentário na issue https://github.com/turicas/covid19-br/issues/3#issuecomment-636316495

http://covid19.sesau.ro.gov.br/mylibs/estadoRO-V2.js

endersonmaia avatar May 30 '20 19:05 endersonmaia