overpass osm-fr

[Marc-marc-marc]

runtime error: open64: 0 Success /ssd/overpass/database/areas.bin.idx File_Blocks_Index: bad pos in index file info venant de Stereo sur irc. je supose qu'il a fait une requête sur une aire j'ai reproduis le cas pour l'ajouter dans le moniteur script ~marc_marc/test_area.sh (il reste à comprendre pq il ne veux pas l'exécuter sur localhost

[Marc-marc-marc]

autre problème : -saturation espace disque. il semble y avoir un bug dans le script qui n'efface pas les fichiers apres utilisation. j'ai fait un nettoyage à la main. la base de donnée est corrompue. j'ai lancé un download_clone pour récupérer une base saine

[Marc-marc-marc]

maj en version 0.7.54.13 download_clone fait reconstruction des area fait redirection vers osm-de supprimée le serveur refonctionne, j'attends qlq heures pour vérifier que tout est stable avant de faire la modif sur le wiki

[Marc-marc-marc]

pour mémoire on a migré la semaine passée osm147 sur le ssd (confusion 4ieme disque hdd-sDd <> sDd). Plus de soucis de perf depuis lors. A faire :

• récupérer les patchs de osm147 pour rodolphe et pour les faire sur osm148
• migrer le reverse proxy de osm148 vers osm147
• migrer /ssd de osm148 vers le ssd

[Marc-marc-marc]

Fait la semaine passé :

• migrer le reverse proxy de osm148 vers osm147
• migrer /ssd de osm148 vers le ssd
• migrer le reverse proxy de osm147 vers osm148

A faire :

• adapter les patchs à la dernier version d'overpass api et mettre à jour osm147 puis osm148

[Marc-marc-marc]

Fait la semaine passé : * migrer le reverse proxy de osm147 vers osm148

semble avoir été annulé. a vérifier. cause du premier problème signalé dans #101

A faire : * adapter les patchs à la dernier version d'overpass api et mettre à jour osm147 puis osm148

toujours à faire,cfr deuième problème dans #101

[matkoniecz]

According to https://wiki.openstreetmap.org/wiki/Servers/overpass.openstreetmap.fr

"Since 21 September 2017, it is now offline, the Overpass API (via this URL only) is redirected to the German instance."

but per

redirection vers osm-de supprimée le serveur refonctionne, j'attends qlq heures pour vérifier que tout est stable avant de faire la modif sur le wiki

it seems outdated. Would it be OK for me to edit Wiki to remove this note?

[matkoniecz]

I managed to find way to check this

[out:xml][timeout:60]; way[building](if: length()>1000.0)({{bbox}}); out meta;>; out meta;

query works on German instance but crashes on French one. I will remove redirect claim in the wiki.

[Marc-marc-marc]

Hello, yes indeed the redirect was removed a long time ago. thanks for the fix. Regards, Marc

[frodrigo]

Can we close?

[Marc-marc-marc]

lag de maj important sur osm148 (la prod actuelle) à cause de https://github.com/osm-fr/infrastructure/issues/187 maj ko sur osm148 pour une raison inconnue base corrompue sur osm147 (l'instance failover) le 2020-06-19 à cause d'un manque de place sur /ssd

A faire :

• [X] download_clone (environ 1h sur ssd)
• [x] maj pour résorber le lag (plus que 1h)
• [x] recréer les area : (37h46m sur osm26, environ 50% de + que sur osm27)
• [x] basculer la prod sur osm147
• [x] recréer osm148 en unprivileged https://github.com/osm-fr/infrastructure/issues/210
• [x] remonter une base pour osm148, avec monaco par manque de place sur ssd
• [ ] ajout d'un test dans les script pour sortir en erreur en cas d'espace faible
  • [x] dans le script de creation des area
  • [ ] dans le script de maj de la base
  • [ ] dans le script de téléchargement
• [ ] overpass-diff-applier ne pas tourner si le repertoire DB_DIR n'existe pas ou si le dispatcher ne tourne pas
• [ ] gestion des résidus bloquant au reboot
• [ ] mettre à jour la version d'overpass lui-même
• [ ] vérifier si le rôle ansible ajoute un real_ip_header dans la conf nginx doubblon incompatible avec celui ajouté par le nouveau rôle ansibble
• [ ] basculer osm147 en unprivileged https://github.com/osm-fr/infrastructure/issues/210 (courte coupure ou bascule de la prod au prélable vers osm148)

[Marc-marc-marc]

instance à nouveau hs suite aux plantages de osm26 (entre temps résolus), clone à lancer. constat que la config mémoire a été réduite à 512Mo pour une raison inconnue, qui sait pourquoi ?

[Marc-marc-marc]

en l'absence de réponse et de documentation concernant cette modification, je prévois de l'annuler demain

[jocelynj]

En regardant la config /etc/pve/nodes/osm26/lxc/147.conf (et git log), je vois que la config mémoire n'a pas bougé, et est à 16384 Mo.

Et il y a bien 16Go sur osm147. Tu parles d'une autre VM ?

[Marc-marc-marc]

je parle bien de osm147 qui dans le gui proxmox affiche 512Mo + un message d'erreur Result verification failed (400) [6].value: type check ('string') failed - got ARRAY D’où ma question vu les modifs faites autour du plantage de osm26 pendant mon absence

[jocelynj]

Je n'utilise jamais le GUI pour modifier la RAM, du coup, je ne sais pas pourquoi l'interface web donne des infos différentes de celles réellement utilisées par osm147.

[Marc-marc-marc]

problème GUI sorti de ce ticket pour un ticket dédié https://github.com/osm-fr/infrastructure/issues/225 clone base overpass en cours...

[Marc-marc-marc]

clone et lag résorvé vers 13h, création des area en cours

[Marc-marc-marc]

After 37h6m27s: in "osm-script", part 0, on line 2.
update finished

les area sont à nouveau disponible

[bagage]

@Marc-marc-marc l'instance est down à nouveau ?

[Marc-marc-marc]

@bagage oui l'espace disque n'est plus assez grand pour contenir toute la base. j'ai relancé la reconstruction (~1h), à défaut d'avoir assez d'espace disque, il faut que je continue a blinder les scripts pour ne pas corrompre la base lorsqu'on approche la saturation

[bagage]

Ce n'est pas possible de le relocaliser sur un autre serveur et/ou d'augmenter son espace disque ?

[Marc-marc-marc]

c'est un problème humain bien avant d'être un problème technique. le lag des données est résorbée puis a ensuite réaugmenté légèrement. sur ce point c'est le cpu qui sature. Vu que le host se tourne les pouces avec un pic cpu de 33% seulement et que la raison du bridage est inconnue/non documenté ou pas vu où c'était documenté, j'ai remonté l'allocation cpu de 1 coeur à 2 coeurs. il est probable que je remonterai encore selon les besoins des area (qui n'est pas encore réactivé)

[Cyrille37]

Hello Sur la page serveurs du wiki il semble que tous les points OverpassAPI d'osm_fr sont abandonnés. Est-ce le cas ?

[Cyrille37]

Bon, je conclus que ce ticket peut-être clot ;-)