lodex icon indicating copy to clipboard operation
lodex copied to clipboard
verified publisher icon Inist-CNRS

Firefox/windows : problème d'import de gros fichiers

Open inistcnrs opened this issue 1 year ago • 2 comments

Sous Firefox (versions 111.0 et 110.0.1), la sélection d’un gros fichier à importer s’arrête au stade de l’inspection de fichier qui tourne à l’infini.

Ce bug n’est pas constaté sous Chrome ni Sous Firefox/Linux, ni sur tous les postes en Firefox/Windows. Bug non constaté pour des volumes moindres.

Exemple de fichier (700Mo) : https://filesender.renater.fr/?s=download&token=2e245d57-ab02-4d6c-939e-fe344c2bd3c2

Lien vers la carte :https://trello.com/c/I0VBBcgA/364-firefox-windows-probl%C3%A8me-dimport-de-gros-fichiers

inistcnrs avatar Apr 19 '24 09:04 inistcnrs

see https://github.com/Inist-CNRS/lodex/issues/1969

touv avatar Apr 19 '24 15:04 touv

Ce bug est toujours d'actualité pour la v14.0.62 de Lodex et la dernière version en date de Firefox pour Windows (130.0.1) (non testé sous Linux). Je le mentionne dans la FAQ à venir en conseillant vivement d'utiliser la dernière version de Chrome (pas de souci pour charger un fichier de 500 Mo et plus).

yannguillemin avatar Sep 30 '24 14:09 yannguillemin

Fichier d'exemple fourni à @Alexmarmelab.

yannguillemin avatar Oct 16 '24 12:10 yannguillemin

Testé sous IOS/Firefox avec les données fournies par Yann : ça fonctionne

On explorera le problème sous Windows/Firefox

Alexmarmelab avatar Oct 22 '24 15:10 Alexmarmelab

Je viens de (re)tester le fichier en question et ça fonctionne maintenant sous Windows aussi avec la dernière version de Firefox 131.0.3. Je ferai cependant un autre test avant de clôturer l'issue.

yannguillemin avatar Oct 22 '24 16:10 yannguillemin

Effectivement, sous Windows, la dernière version de Firefox ne pose plus de problèmes pour le chargement de fichiers .csv volumineux. En revanche, le problème persiste dans le cas de "gros" fichier compressé (ex : corpus "Systématique végétale" au format tar.gz, téléchargeable via le lien suivant : https://filesender.renater.fr/?s=download&token=a004c4e0-79ce-434a-844e-98d201b7425b, mdp : LODEX@marmelab_2211). Le fichier se charge lentement mais sans problème via Google Chrome, mais dans le cas de l'utilisation de Firefox 131.0.3, le processus reste bloqué à l'inspection du fichier : image

yannguillemin avatar Oct 23 '24 08:10 yannguillemin

Merci @yannguillemin pour tes recherches.

L'import du nouveau tar.gz a fonctionnné sur IOS/Firefox : https://lodex-dev.inist.fr/instance/test-import-firefox/admin#/data/existing On se penchera donc sur le problème pour Windows/Firefox.

Alexmarmelab avatar Oct 23 '24 09:10 Alexmarmelab

Comme @ThieryMichel a réussi à effectuer le chargement en laissant entendre qu'il faisait le test avec une installation "neuve" de Firefox, j'ai tenté de désinstaller Firefox. Et effectivement, une réinstallation ou une "réparation" du navigateur (option proposée avant la désinstallation) permet de corriger ce problème. Néanmoins, ce navigateur n'est pas vraiment approprié pour le chargement de grosses archives tar.gz : j'ai notamment rencontré l'erreur suivante à la fin d'un chargement parmi d'autres (non reproductible) durant les différents tests. Image

yannguillemin avatar Dec 17 '24 08:12 yannguillemin

testé un fichier de 800MO sous windows 10 et firefox 134.0 (dernière version) l'inspection du fichier tourne toujours en boucle

AnaelKremer avatar Jan 13 '25 09:01 AnaelKremer

Testé sur Windows 10 avec une installation vierge de Firefox 111.0 et un nouveau profil :

L'import d'un fichier de 700MO au format CSV fonctionne bien.

eonm-pro avatar Jan 13 '25 09:01 eonm-pro

Testé

  • avec un fichier xml de 818 Mo
    • KO sous Windows 10 & Firefox 134.0 (64 bits)
    • KO sous Windows 10 & Firefox 128.6.0esr (32bits)
    • KO sous Ubuntu 20.04.6 LTS & Firefox 134.0 (64 bits)
    • OK sous Ubuntu 20.04.6 LTS & Chrome 131.0.6778.264 (Build officiel) (64 bits)
    • OK sous Windows 10 & Microsoft Edge 131.0.2903.146 (Version officielle) (64 bits)
  • un fichier jsonl de 653 Mo
    • OK sous Windows 10 firefox 134.0 (64 bits)
    • KO sous Windows 10 firefox 128.6.0esr (32bits)
    • OK sous Ubuntu 20.04.6 LTS 134.0 (64 bits)
    • OK sous Ubuntu 20.04.6 LTS & Chrome 131.0.6778.264 (Build officiel) (64 bits)
    • OK sous Windows 10 & Microsoft Edge 131.0.2903.146 (Version officielle) (64 bits)
  • fichier csv de 718Mo
    • OK sous Windows 10 firefox 134.0 (64 bits)
    • KO sous Windows 10 firefox 128.6.0esr (32bits)
    • OK sous Ubuntu 20.04.6 LTS 134.0 (64 bits)
    • OK sous Ubuntu 20.04.6 LTS & Chrome 131.0.6778.264 (Build officiel) (64 bits)
    • OK sous Windows 10 & Microsoft Edge 131.0.2903.146 (Version officielle) (64 bits)

Quand ça ne marche pas le message est toujours le même sous linux et windows Image

Le problème semble donc lié à la version de Firefox que l'on utilise.

touv avatar Jan 13 '25 10:01 touv

Solution : afficher un message "Ce fichier est trop volumineux pour être importé, essayez avec un autre navigateur (ex: Chrome)."

Alexmarmelab avatar Jan 15 '25 09:01 Alexmarmelab

Le composant actuel ne gère pas correctement les erreurs lors de la lecture du fichier et n'est plus maintenu depuis 4 ans.

Si on veut régler le problème d'import des gros fichiers sous Windows/firefox, il faut changer le composant

Alexmarmelab avatar Jan 17 '25 10:01 Alexmarmelab