backend icon indicating copy to clipboard operation
backend copied to clipboard

Feature/import csv

Open risaddex opened this issue 1 year ago • 3 comments

Criando o parser de arquivos CSV.

Acabei aproveitando e usando como base um POC que tinha feito utilizando WebStreams, por isso talvez esteja meio Overengineering

O serviço aceita opcionalmente a opção de utilizar a API do Gemini para tentar categorizar as categorias dos supplies.

  • [x] Criação do serviço de parse de CSV
  • [x] Testes passando
  • [x] Aceita URLs de csv
  • [x] Aceita Stream de arquivos
  • [x] Implementar Endpoint REST para finalizar

risaddex avatar May 16 '24 22:05 risaddex

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

risaddex avatar May 16 '24 22:05 risaddex

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

Em que voce ta pensando sobre o upload de arquivos? Talvez seja importante provisionar um s3 pra que a gente guarde, caso julguem necessario ou podemos colocar numa pasta compartilhada dentro da ec2 e fazer algum CRON job consumir e limpar esses arquivos depois de feita a carga de dados.

iagxferreira avatar May 21 '24 01:05 iagxferreira

Próximo passo é criar o upload de arquivos, não inclui logo de cara pq não tinha muita familiaridade do Nest utilizando Fastify e vi que o Módulo built-in de upload do nest não é compativel out-of-the-box com Fastify image

Em que voce ta pensando sobre o upload de arquivos? Talvez seja importante provisionar um s3 pra que a gente guarde, caso julguem necessario ou podemos colocar numa pasta compartilhada dentro da ec2 e fazer algum CRON job consumir e limpar esses arquivos depois de feita a carga de dados.

Então, isso já tem algum tempo. Não sei como está o gerenciamento atual dos abrigos. Pelo tempo da issue, pode ser que ela nem seja mais tão útil para o sistema atual, existe a chance de terem importado as planilhas existentes de forma manual, se o fizeram.

Nessa implementação o arquivo é salvo na pasta temporária do sistema até o fim do parse e dps é deletado. (Poderia se ter um log disso, mas inicialmente apenas Admins possuem acesso a essa feature)

risaddex avatar May 21 '24 09:05 risaddex