CNPJ-full icon indicating copy to clipboard operation
CNPJ-full copied to clipboard

Output em JSON

Open joaoescribano opened this issue 5 years ago • 5 comments

joaoescribano avatar Sep 28 '19 00:09 joaoescribano

@marcosconceicao alterações realizadas no source, obrigado pelas sugestões estão 100% corretas!

Abraços

joaoescribano avatar Oct 21 '19 17:10 joaoescribano

Acabei de entender o que quis dizer, preciso testar.

https://github.com/joaoescribano/CNPJ-full/blob/patch-1/cnpj.py#L325-L330

O tratamento até existe pois peguei da parte do CSV mas não é usado pra nada, no caso eu não usei a base toda só precisava de alguns registros em JSON para fazer o que precisava.

No pandas não tem "append" no json, talvez tenha que tirar do pandas o "save" no caso do JSON, pois não da para dar "append" em json sem re-escrever ele todo.

Vou validar isso logo, Abraços.

joaoescribano avatar Nov 14 '19 12:11 joaoescribano

Não consegui testar as alterações, mas olhando o código, parece-me que o arquivo é sobrescrito a cada bloco de 200 mil registros, uma vez que ao contrário do to_csv, que tem um parâmetro para indicar se é replace ou append, o to_json não parece ter.

Fabio Serpa, boa tarde. Tudo bem? Você poderia disponibilizar a sua base de dados do CNPJ, a qual você utiliza o Python, no formato CSV, nas nuvens – OneDrive ou Google Drive, para que eu possa utilizar no Excel e/ou Power BI? Eu não tenho formação em TI. Sou usuário. Estou realizando pesquisa social no âmbito do IDH.

FBM2020 avatar Oct 22 '20 16:10 FBM2020

@FBM2020 , nesse caso seria melhor recorrer as bases disponibilizadas pelo Turicas em brasil.io Mas repare que essa não é uma base que se abra integralmente no Excel. Apenas de registros de empresas são mais de 40 milhões, além dos demais milhões de registros de de sócios e cnaes secundários. De qualquer forma, veja se a fonte indicada acima atende sua necessidade.

fabioserpa avatar Oct 22 '20 21:10 fabioserpa

Não consegui testar as alterações, mas olhando o código, parece-me que o arquivo é sobrescrito a cada bloco de 200 mil registros, uma vez que ao contrário do to_csv, que tem um parâmetro para indicar se é replace ou append, o to_json não parece ter.

Fabio Serpa, boa tarde. Tudo bem? Você poderia disponibilizar a sua base de dados do CNPJ, a qual você utiliza o Python, no formato CSV, nas nuvens – OneDrive ou Google Drive, para que eu possa utilizar no Excel e/ou Power BI? Eu não tenho formação em TI. Sou usuário. Estou realizando pesquisa social no âmbito do IDH.

Eu carreguei no google drive o arquivo já processado e compactado em sqlite. Com o DB Browser https://sqlitebrowser.org/, dá pra navegar pelos dados e fazer filtros sem precisar saber SQL.

rictom avatar Oct 23 '20 09:10 rictom