lodex icon indicating copy to clipboard operation
lodex copied to clipboard

Explorer pourquoi l'upload de données est limité à 1GO, retirer la limite si pas nécéssaire

Open Alexmarmelab opened this issue 3 months ago • 2 comments

Alexmarmelab avatar Oct 09 '25 09:10 Alexmarmelab

J'ai essayé de retirer la limite.

  1. La bibliothèque mui-file-dropzone est buggée et non maintenue. En l'occurrence, elle crash avec des fichiers trop gros. En utilisant react-dropzone directement (mui-file-dropzone n'en étant qu'un wrapper avec MUI), ça fonctionne très bien. Je suspecte que ce soit à cause du prétraitement de mui-file-dropzone pour faire une prévisualisation, alors qu'on n'a même pas de prévisualisation vu les types de fichier qu'on manipule.

  2. Je trouve les chunks vraiment trop petits. Quasiment 3000 chunks sur un fichier de 3Go, puisqu'on découpe par chunks d'environ 1Mo. L'envoi est rendu très lent, même en local (donc sans latence) à cause de ça. Deux idées :

  • Augmenter la taille des chunks à 10Mo (ou plus) dans tous les cas
  • Adapter la taille des chunks de 1 à 100Mo proportionnellement à la taille du fichier

Dans les deux cas, il faudra veiller au bon fonctionnement de ezs avec des streams plus gros.

Madeorsk avatar Oct 10 '25 14:10 Madeorsk

Décision : changer la lib pas maintenue et bloquante

  • Mettre à jour le texte à l'import sur les "1 GO"
Image

Alexmarmelab avatar Oct 13 '25 07:10 Alexmarmelab

https://github.com/Inist-CNRS/lodex/blob/5df5e16c86819a4aa470b38a562745926c1353ba/packages/admin-app/src/upload/Upload.tsx#L316

touv avatar Nov 26 '25 12:11 touv

https://github.com/Inist-CNRS/lodex/blob/5df5e16c86819a4aa470b38a562745926c1353ba/src/app/custom/translations.tsv#L1221

touv avatar Nov 26 '25 12:11 touv

https://github.com/Inist-CNRS/lodex/blob/5df5e16c86819a4aa470b38a562745926c1353ba/packages/api/src/controller/api/upload.ts#L219-L221

touv avatar Nov 26 '25 12:11 touv

https://github.com/Inist-CNRS/lodex/blob/0c6a19aa7a5640c71cad6ba843b4fc81a8548cdd/packages/%40recuperateur/resumablejs/resumable.js#L33

touv avatar Nov 26 '25 15:11 touv