infrastructure icon indicating copy to clipboard operation
infrastructure copied to clipboard

Ressources pour plateforme enedis, gespot.

Open flacombe opened this issue 3 years ago • 19 comments

Bonjour à tous

Depuis le début de l'année, j'ai quelques problèmes sur la machine qu'on me met à disposition pour héberger la base et les quelques rendus que je produits autour d'osm.

Notamment le suivi de la convention enedis, gespot et map.infos-reseaux.com. Actuellement indisponibles.

J'aimerais étudier avec vous les possibilités d'en porter au moins une partie vers les serveurs de l'asso qui bénéficient d'un environnement plus stable. Examinons les possibilités techniques. Le CA sera amené à se prononcer sur la solution que nous retiendrons et l'opportunité d'accueillir l'un, l'autre ou la totalité des outils ci-dessus.

Niveau ressources, cela dépend de la base de données, commune à tous les usages ci-dessus. Lors des imports 8 CPU/32 Go de RAM peuvent être nécessaires. Au quotidien c'est plus 2 à 4 avec 8 Go de RAM pour l'ensemble.

J'avais dans les cartons un rendu "Emergency" pour Donat, qui se mutualise bien avec le reste.

Quelles sont nos capacités actuelles et les opportunités de mutualisation avec l'existant ?

Merci par avance pour le retour et bon weekend

François

flacombe avatar Mar 12 '22 11:03 flacombe

Tu peux dire ce que font ces services stp ? Perso enedis je vois, mais pas les autres.

frodrigo avatar Mar 12 '22 11:03 frodrigo

Oui : gespot et map.ir.com sont deux démonstrateurs basés sur OpenInfraMap.

Gespot affiche les supports des réseaux aériens électriques et telecom Map.ir.com affiche les mêmes thématiques que l'original OpenInfraMap, restreint à la France et avec des ajouts substantiels de symbologie (notamment pour l'hydro et les télécoms).

Une base pgsql est tenue à jour avec imposm3 pour les features qui m'intéressent. Un serveur de tuiles vectoriel tegola fabrique 2 pyramides de tuiles spécifiques (il en fabrique 4 autres pour la plateforme Enedis depuis la même base). Quelques ressources statiques en js sont servies par un nginx pour fabriquer le front.

Niveau stockage ça consomme ~60 Go environ.

flacombe avatar Mar 12 '22 22:03 flacombe

Quelles technos nécessaires ? Surtout la question docker or not docker... pour savoir si on déploie plutôt une VM QEMU ou un containeur LXC...

cquest avatar Mar 13 '22 17:03 cquest

Hébergement temporaire le temps que tu investigues et trouves une solution ou hébergement pérenne?

gendy54 avatar Mar 13 '22 17:03 gendy54

C'est 100% docker @cquest Sinon c'est principalement PgSQL 13, nodejs, tegola (go), imposm (avec quelques mises à jour), crontab

@gendy54 Ma demande est pérenne, surtout pour le suivi Enedis.

flacombe avatar Mar 13 '22 18:03 flacombe

Le serveur est de retour, la base de données est toujours figée au 10/02

https://www.gespot.fr https://map.infos-reseaux.com https://enedis.openstreetmap.fr

flacombe avatar Mar 13 '22 23:03 flacombe

Bonjour à tous,

Peut-on avancer sur le sujet s'il vous plaît ?

flacombe avatar May 05 '22 10:05 flacombe

Je galére avec la création d'une VM plutôt que d'une container, pour faire ça automatiquement :(

@cquest : est-ce que tu créés toujours tes VMs à la main, en refaisant l'install complète avec la gui de debian-installer, ou tu as un template comme pour les containeurs ?

jocelynj avatar May 08 '22 15:05 jocelynj

A la mano !

Pour une install automatisée, il faudrait utiliser un fichier de définition cloudinit ou un truc de ce genre.

cquest avatar May 10 '22 12:05 cquest

J'ai trouvé des templates possibles en fait, configurable via cloud-init, qui est supporté par proxmox: https://blog.stefandroid.com/2021/07/02/proxmox-debian-cloud-init-template.html https://cloud.debian.org/images/cloud/OpenStack/current-10/ https://pve.proxmox.com/wiki/Cloud-Init_Support

jocelynj avatar Jun 13 '22 20:06 jocelynj

C'est pas très compliqué de faire ses propres templates de VM (et au moins on sait ce qu'il y a dedans !). Je l'ai documenté pour une asso :

  • création d'un template : https://forge.gresille.org/salle-serveur/doc-publique/-/wikis/fonctionnement_technique/procedures/Administration-Proxmox#cr%C3%A9ation-dun-template-dos

  • création d'une VM à partir d'un template : https://forge.gresille.org/salle-serveur/doc-publique/-/wikis/fonctionnement_technique/procedures/Cr%C3%A9ation-d'une-VM#installation

zorun avatar Jun 15 '22 08:06 zorun

La VM est enfin créée - désolé pour le retard.

@flacombe : tu pourrais me donner une clé ssh publique pour ton compte ?

jocelynj avatar Jul 04 '22 20:07 jocelynj

Salut @jocelynj

Merci pour les nouvelles et désolé de ne pas avoir pu répondre avant.

Voici ma clé publique ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQDM9N0EmJinuGaVnS+96vVVCQGV5FQK5//LIgXBmNrn3dXNvXkr3E+Ep4NtL58h5BUNugRHRQMBVFy028aSm3H2XtsUyfTfxT/hjjP/mUhWBBtLBsOfXL5em7JHp4aekw2aqwxNZoJOzTpoFb789G+pRQLeGwMx0w0qtlR5DDFu9rxNkzuUHEm4zQyO6mM/p83mTueB/4/UzUw/bswxhw8owyB4g30xmF9F65g13C8HgFerEAIwzl2fc99O81szPVdAt12490PjAfUBcAIQhD5ttJjMn6eg+t7DUoekzQo+ZXbJql7koWOI6U25qyNzWeU/wkuP3GiNYTTNTfWoW2dL1FRpw2G1T7Bl8IzPkRWSXl3IQUzNv/HLuv5eiF9PBb6P4b+mTGiJvoTMYQu188T0U07wgf5jM3CVrceltpQMp3Kn2Mk+CgBr1v5jznrSLi9rv1nnLzz5YIzDfK/luGKjncnnf4spBNKVmp5J6br7df+UHovCyV8Y9OmV+HENBY64w+9QiCeP2Cgb8cEtku8yCyrq7qRRpPmc3gOnIruqBkbZwvtLOPlKuCaxNOVwSSd5V8jfaQTOhe2o+KczBNT+adU+kxeANmH7SDm2F/JleYMGf/6+7S/wHAT/MNonZphmL0uTFudmv38hlj4GOup889pRXFKx3Bso9ch6tkgwYQ==

flacombe avatar Jul 17 '22 21:07 flacombe

Tu pourrais tester sur [email protected] ?

Je ne suis pas sûr que cette clé ssh marche tel quelle, vu qu'on dirait qu'il manque un bout à la fin.

jocelynj avatar Jul 19 '22 20:07 jocelynj

Aucun problème pour tester mais est-ce possible d'avoir une IPv4, n'ayant pas encore d'IPv6 partout s'il vous plaît ?

flacombe avatar Jul 19 '22 21:07 flacombe

Je t'ai créé un compte sur osm34.openstreetmap.fr pour utiliser comme ProxyJump.

jocelynj avatar Jul 19 '22 21:07 jocelynj

Merci beaucoup.

Ca fonctionne sur osm34, mais pas sur enedis.vm ensuite. L'user flacombe ne doit pas avoir la clé du bastion dans les authorized_keys.

flacombe avatar Jul 19 '22 22:07 flacombe

Normalement, j'ai mis la même clé ssh sur les deux machines. Tu pourrais retester avec un ssh -A osm34.openstreetmap.fr ?

jocelynj avatar Jul 20 '22 16:07 jocelynj

Pardon @jocelynj je n'avais pas pris le temps de répondre ici

Tout est bon, ça fonctionne, merci pour ton temps ! il faut que je prenne le temps d'installer le nécessaire, ça sera fait au fil de l'eau vu mon emploi du temps

(laissons le ticket ouvert le temps que je termine)

flacombe avatar Aug 23 '22 21:08 flacombe

Hello

Je profite enfin de mes congés pour avancer le déploiement sur la VM. Serait-ce possible @jocelynj de procéder aux augmentations suivantes s'il te plaît ?

  • Disque => / 100 Go
  • RAM => 16 Go

J'ai fait de sorte à ce que la VM puisse être arrêtée / redémarrée autant que de besoin.

Merci et bonne fin d'après-midi

flacombe avatar Dec 27 '22 15:12 flacombe

Ça devrait être bon maintenant, après un reboot de la VM.

jocelynj avatar Dec 28 '22 15:12 jocelynj

Merci beaucoup @jocelynj

Actuellement j'ai un permission denied (public key) depuis le bastion osm34. Quelque chose d'autre a changé ?

Je peux me connecter en direct depuis Internet en revanche, avec ma clé publique.

flacombe avatar Dec 28 '22 17:12 flacombe

J'ai eu un souci similaire tout à l'heure, et j'ai du supprimer la clé ssh dans ~/.ssh/known_hosts: je me demande si le reboot de la VM n'aurait pas changé la clé ssh du serveur. Il faudra vérifier lors du prochain reboot.

jocelynj avatar Dec 28 '22 18:12 jocelynj

Étrange en effet. Je vais faire ce qu'il faut pour pouvoir reboot, j'ai bien avancé mon déploiement.

En revanche pour l'IPV4, en a-t-on en rab ?

flacombe avatar Dec 28 '22 22:12 flacombe

@cquest @frodrigo Relativement à la question posée ce soir en CA sur la nécessité d'une IPv4. J'ai juste les ports 443 à proxyfier semble-t-il.

flacombe avatar Feb 07 '23 21:02 flacombe

@flacombe ta question de l'ipv4 c'est pour une connection ssh à la machine, c'est bien ça ?

frodrigo avatar Feb 07 '23 21:02 frodrigo

Non, l'accès ssh je l'ai via le bastion. C'est juste pour permettre aux utilisateurs en ipv4only (il y en a encore beaucoup) d'accéder aux applications.

flacombe avatar Feb 07 '23 22:02 flacombe

Tu es sûr que c'est ça le problème ? Pour moi les trois sites sont déjà accessibles en ipv4.

frodrigo avatar Feb 07 '23 22:02 frodrigo

Quand tu dis les trois sites, desquels parles-tu ? Je veux dire, de quelle IP ?

flacombe avatar Feb 07 '23 22:02 flacombe

Je parle de ça enedis, gespot et map.infos-reseaux.com. Tous sur la même IPv4 154.49.219.152

frodrigo avatar Feb 07 '23 22:02 frodrigo