Différences

Ci-dessous, les différences entre deux révisions de la page.

--- fr:blog:post_046 [2018/06/09 09:05] – créée zatalyz
+++ fr:blog:post_046 [2021/12/03 18:18] (Version actuelle) – modification externe 127.0.0.1
@@ Ligne 1: / Ligne 1: @@
-====== Un transfert de jukni ======
+====== Un transfert de Jukni ======
 //Chronique de Zatalyz//
@@ Ligne 8: / Ligne 8: @@
 ===== Dans les épisodes précédents... =====
-Comme relaté dans [[fr:blog:post_041#les_aventures_de_groska|Les aventures de Groska]], nous avons dû transférer les données dans l'urgence l'été dernier, à cause d'un serveur qui donnait de sacrés signes de fatigue. Ce transfert s'était fait avec les moyens du moment. Nous avons pris le temps de configurer deux serveurs physiques en mode hyperviseur Xen, c'est à dire un système un peu spécial qui permet de faire des sortes de machines virtuelles((Oui, bon, je ne suis pas sûre que ce soit plus clair pour celles qui ne connaissent pas...)). Pour simplifier : l'architecture de base de nos serveurs est relativement robuste, bien documentée, et sécurisée correctement. Sur ces hyperviseurs, nous faisons donc tourner divers machines virtuelles (VM), qui se comportent comme des serveurs indépendants, ou presque.
+Comme relaté dans [[fr:blog:post_041#les_aventures_de_groska|Les aventures de Groska]], nous avons dû transférer les données dans l'urgence l'été dernier, à cause d'un serveur qui donnait de sacrés signes de fatigue. Ce transfert s'était fait avec les moyens du moment. Nous avons pris le temps de configurer deux serveurs physiques en mode hyperviseur Xen, c'est à dire un système un peu spécial qui permet de faire des sortes de machines virtuelles((Oui, bon, je ne suis pas sûre que ce soit plus clair pour celles qui ne connaissent pas...)). Pour simplifier : l'architecture de base de nos serveurs est relativement robuste, bien documentée, et sécurisée correctement. Sur ces hyperviseurs, nous faisons donc tourner diverses machines virtuelles (VM), qui se comportent comme des serveurs indépendants, ou presque.
 ===== Un état des lieux =====
-Pour une partie de nos services, tout allait bien. Ainsi nos instances d'Etherpad et de Gitlab, hébergées dans leurs propres VM, ont eu une mise à jour rapide et brutale. C'est paradoxal, car ces deux services sont aussi les plus casse-pieds, avec une capacité à tout péter qui est assez intéressante. Cependant, pour eux, le transfert et la mise à jour se sont bien passé et rapidement, entre autre parce que justement, à force de me prendre la tête avec eux, cela faisait longtemps qu'ils étaient sur leur propre machine, ce qui limite les problèmes de conflit avec d'autres services.
+Pour une partie de nos services, tout allait bien. Ainsi nos instances d'Etherpad et de Gitlab, hébergées dans leurs propres VM, ont eu une mise à jour rapide et brutale. C'est paradoxal, car ces deux services sont aussi les plus casse-pieds, avec une capacité à tout péter qui est assez intéressante. Cependant, pour eux, le transfert et la mise à jour se sont bien passées et rapidement, entre autres parce que justement, à force de me prendre la tête avec eux, cela faisait longtemps qu'ils étaient sur leur propre machine, ce qui limite les problèmes de conflit avec d'autres services.
-Pour le serveur de jeu, c'était un peu plus complexe, et ça l'est toujours, car les librairies qu'il demande sont antiques, et donc il est difficile de le faire tourner sur un OS récent. Deed, Siela1915 et Aleajactaest travaillent depuis un moment sur la question, mais jusqu'à présent, Lirria continue de tourner sous Debian Jessie. Pour celles qui n'ont pas suivi, Debian Jessie, c'est l'ancienne version stable de Debian ; ancienne comme "plus trop maintenue". Il y a encore des mises à jour de sécurité, donc ce n'est pas non plus une catastrophe, mais il faudra bien qu'on mette cette VM à jour aussi, à un moment. En même temps, vous le savez, c'est écrit gros quand vous vous connectez au jeu : la sécurité sur le serveur de jeu n'est absolument pas garantie. Alors nous ne sommes pas à un OS prêt. Pour tout vous dire, on a déjà repéré diverses petites failles, mais les corriger entraîne des réactions en cascade. Donc nous le répètons, très fort : ne mettez pas un vrai mail et un vrai mot de passe sur Lirria ! Pas d'inquiétude non plus, les failles ne sont pas si simples à exploiter, et il n'est pas possible de s'en servir en dehors du serveur de jeu, nous l'avons bien séparé du reste.
+Pour le serveur de jeu, c'était un peu plus complexe, et ça l'est toujours, car les librairies qu'il demande sont antiques, et donc il est difficile de le faire tourner sur un OS récent. Deed, Siela1915 et Aleajactaest travaillent depuis un moment sur la question, mais jusqu'à présent, Lirria continue de tourner sous Debian Jessie. Pour celles qui n'ont pas suivi, Debian Jessie, c'est l'ancienne version stable de Debian ; ancienne comme "plus trop maintenue". Il y a encore des mises à jour de sécurité, donc ce n'est pas non plus une catastrophe, mais il faudra bien qu'on mette cette VM à jour aussi, à un moment. En même temps, vous le savez, c'est écrit gros quand vous vous connectez au jeu : la sécurité sur le serveur de jeu n'est absolument pas garantie. Alors nous ne sommes pas à une version d'OS près. Pour tout vous dire, on a déjà repéré diverses petites failles, mais les corriger entraîne des réactions en cascade. Donc nous le répétons, très fort : ne mettez pas un vrai mail ni un vrai mot de passe sur Lirria ! Pas d'inquiétude non plus, les failles ne sont pas si simples à exploiter, et il n'est pas possible de s'en servir en dehors du serveur de jeu, nous l'avons bien séparé du reste.
 {{ :fr:blog:steampunk-1636156_640.png?300|Le temps passe. Source : Pixabay, CC0}}
-Nous en venons donc à tout le reste du site web : les wikis, le forum, les divers petits outils ici et là que vous ne connaissez peut-être même pas... Quasiment tout est hébergé sur une seule VM, baptisée Jukni ((//Araignée// en lojban, rapport à sa présence sur la toile.)). Jukni était aussi encore avec Debian Jessie, et sa mise à jour posait divers problèmes. Au fil des mois, j'ai tenté diverses approches, en clonant la VM pour tester la mise à jour globale, en tentant de la refaire de zéro, mais rien à faire : il y avait toujours un truc ou un autre qui coinçait. Entre MariaDB qui me faisait des erreurs bizarres, les bots qui voulaient python 3 et Debian Stretch qui ne voulait pas leur donner autre chose que du python 2.7, Dokuwiki qui aurait bien voulu tirer parti de php7 mais le forum qui préférait php 5... Je me noyais dans ce bazar.
+Nous en venons donc à tout le reste du site web : les wikis, le forum, les divers petits outils ici et là que vous ne connaissez peut-être même pas... Quasiment tout est hébergé sur une seule VM, baptisée Jukni ((//Araignée// en lojban, rapport à sa présence sur la toile.)). Jukni était aussi encore avec Debian Jessie, et sa mise à jour posait divers problèmes. Au fil des mois, j'ai tenté diverses approches, en clonant la VM pour tester la mise à jour globale, en tentant de la refaire de zéro, mais rien à faire : il y avait toujours un truc ou un autre qui coinçait. Entre MariaDB qui me faisait des erreurs bizarres, les bots qui voulaient Python 3 et Debian Stretch qui ne voulait pas leur donner autre chose que du Python 2.7, Dokuwiki qui aurait bien voulu tirer parti de php7 mais le forum qui préférait php5... Je me noyais dans ce bazar.
-Cela faisait aussi un moment que nous souhaitions passer à XMPP, en remplacement d'IRC. Link Mauve nous a aidé très en amont sur pas mal de points, et Jabberfr héberge nos canaux depuis, mais pour migrer officiellement, il me fallait quelques fonctionnalités qui ne pouvaient être offertes que par un bot. Or, le bot, il voulait python 3. Ce simple point de détail, que des Mages plus aguerris auraient contournés rapidement, m'a rendu chèvre durant tout l'hiver.
+Cela faisait aussi un moment que nous souhaitions passer à XMPP, en remplacement d'IRC. Link Mauve nous a aidées très en amont sur pas mal de points, et Jabberfr héberge nos canaux depuis, mais pour migrer officiellement, il me fallait quelques fonctionnalités qui ne pouvaient être offertes que par un bot. Or, le bot, il voulait Python 3. Ce simple point de détail, que des Mages plus aguerries auraient contourné rapidement, m'a rendue chèvre durant tout l'hiver.
-À côté de ça, Rollniak, l'un de nos sysadmin, a repris les cours et l'alternance, ce qui ne permettait plus que je l'exploite, tandis que Shepeng était lui-même bien occupé. Moi-même, je dois le dire, j'avais vraiment envie de faire autre chose... et d'ailleurs, je l'ai fait !
+À côté de ça, Rollniak, l'un de nos sysadmins, a repris les cours et l'alternance, ce qui ne permettait plus que je l'exploite, tandis que Shepeng était lui-même bien occupé. Moi-même, je dois le dire, j'avais vraiment envie de faire autre chose... et d'ailleurs, je l'ai fait !
 Bref, ce n'était pas royal...
@@ Ligne 30: / Ligne 30: @@
 Nous avons cependant reçu de l'aide de façon inespérée.
-Tout d'abord avec Tycho Brahe, qui s'est proposé de nous aider à mettre Django en place. Pour celles qui n'ont pas suivi l'affaire, nous savons que nous ne pouvons pas récupérer les éléments web du serveur de jeu (parfois appelé "WebIG") : c'est un horrible fatras de couches accumulées, datant parfois de l'an 2000 (ce qui est vieux en informatique), c'est un nid de poussière, de bugs, de failles et d'horreurs. Nous avons pris la décision de valoriser Python pour les développement en lien avec le serveur, car c'est un langage qui s'interface bien avec le C++, tout en offrant beaucoup plus de facilité et de maniabilité et qui est accessible à des personnes n'ayant jamais codé((Si si, c'est vrai : moi même, j'ai lu des programmes python et j'ai compris ! et j'ai même modifié quelques trucs. Bon, pour le reste, faut quand même suivre un cours, mais Python est réellement très accessible.)). À partir de là, il était logique d'utiliser aussi Python pour les API et la partie web du serveur de jeu, et ça tombe bien : Django est un framework web/python ayant un certain succès, et de l'avis de ceux qui l'ont testé chez nous, il est "très sympa".
+Tout d'abord avec Tycho Brahe, qui s'est proposé de nous aider à mettre Django en place. Pour celles qui n'ont pas suivi l'affaire, nous savons que nous ne pouvons pas récupérer les éléments web du serveur de jeu (parfois appelé "WebIG") : c'est un horrible fatras de couches accumulées, datant parfois de l'an 2000 (ce qui est vieux en informatique), c'est un nid de poussière, de bugs, de failles et d'horreurs. Nous avons pris la décision de valoriser Python pour les développements en lien avec le serveur, car c'est un langage qui s'interface bien avec le C++, tout en offrant beaucoup plus de facilité et de maniabilité et qui est accessible à des personnes n'ayant jamais codé((Si si, c'est vrai : moi même, j'ai lu des programmes Python et j'ai compris ! Et j'ai même modifié quelques trucs. Bon, pour le reste, faut quand même suivre un cours, mais Python est réellement très accessible.)). À partir de là, il était logique d'utiliser aussi Python pour les API et la partie web du serveur de jeu, et ça tombe bien : Django est un framework web/Python ayant un certain succès, et de l'avis de celles qui l'ont testé chez nous, il est "très sympa".
-Tycho nous annonce donc qu'il connait bien Django, et se propose de nous aider. Mais plutôt que de s'attaquer directement à l'API du serveur de jeu (ce qu'il a aussi fait avant de s'arracher les cheveux...), il a trouvé que c'était intéressant d'unifier le site web... et il a bien raison. Car Django va nous permettre, à terme, de s'identifier une seule fois pour accéder à toute la galaxie Khaganat.
+Tycho nous annonce donc qu'il connaît bien Django, et se propose de nous aider. Mais plutôt que de s'attaquer directement à l'API du serveur de jeu (ce qu'il a aussi fait avant de s'arracher les cheveux...), il a trouvé que c'était intéressant d'unifier le site web... et il a bien raison. Car Django va nous permettre, à terme, de s'identifier une seule fois pour accéder à toute la galaxie Khaganat.
-Il a donc codé un équivalent au pastebin, un analyseur de log (IRC/XMPP) avec pleins de fonctionnalités sympa, un générateur de pages statiques et une barre de navigation générale bien plus simple à maintenir. Je vous aie déjà parlé de notre barre de navigation ? Ou plutôt, nos barres ? Éléments d'ergonomie indispensable pour ne pas se perdre trop dans le site, la version actuelle est une petite horreur sous le capot. Nous avions tenté d'en faire une version plus propre avec Osquallo, mais nos contraintes nous avaient condamné à arrêter avant d'avoir tout finalisé ; cette deuxième version est cependant active sur certaines parties du site. Ce truc est une de mes obsessions. La version de Tycho devrait permettre d'améliorer un peu les choses... j'espère.
+Il a donc codé un équivalent au pastebin, un analyseur de log (IRC/XMPP) avec plein de fonctionnalités sympa, un générateur de pages statiques et une barre de navigation générale bien plus simple à maintenir. Je vous ai déjà parlé de notre barre de navigation ? Ou plutôt, nos barres ? Élément d'ergonomie indispensable pour ne pas se perdre trop dans le site, la version actuelle est une petite horreur sous le capot. Nous avions tenté d'en faire une version plus propre avec Osquallo, mais nos contraintes nous avaient condamnées à arrêter avant d'avoir tout finalisé ; cette deuxième version est cependant active sur certaines parties du site. Ce truc est une de mes obsessions. La version de Tycho devrait permettre d'améliorer un peu les choses... j'espère.
 Le travail réalisé sur Django est très bon, mais il reste encore du boulot sur la partie cosmétique. Ça, cependant, c'est un peu plus dans mes cordes. J'espère très sincèrement passer ces premiers modules en production avant la fin de l'été.
@@ Ligne 48: / Ligne 48: @@
 Réunion des sysadmins de tous les niveaux :
-  * les super sysadmins Rollniak, Shepeng et Zatalyz
+  * Les super sysadmins Rollniak, Shepeng et Zatalyz
   * Les personnes ayant des accès sysadmin sur certaines VM : Tycho Brahe, Deed
   * Les consultants : Link Mauve, Merlin
@@ Ligne 54: / Ligne 54: @@
 Chacune donne son avis sur l'évolution possible. Debian en version stable pose souci, cela semble clair. Mais du coup, que mettre ? Archlinux, puisque 3 personnes sur les 7 (dont moi) connaissent très bien ce système ? OpenSuse, dont Rollniak fait l'apologie et qui semble réellement adaptée ? Après beaucoup de discussions, nous décidons de rester à Debian, car cela permet :
   - de ne pas changer les habitudes : tous les tutos sont pensés en mode Debian, et tous les sysadmins savent faire tourner Debian
-  - De limiter un peu le temps à apprendre les spécificités d'un nouvel OS. J'adore Archlinux, mais ses quelques différences avec Debian peuvent demander du temps à une nouvelle arrivante pour comprendre ce qui se passe sous le capot.
+  - de limiter un peu le temps à apprendre les spécificités d'un nouvel OS. J'adore Archlinux, mais ses quelques différences avec Debian peuvent demander du temps à une nouvelle arrivante pour comprendre ce qui se passe sous le capot.
 Il est possible qu'un jour où nous aurons du temps et des sysadmins motivées pour reprendre la doc, nous passions à d'autres architectures, mais en attendant, Debian est un compromis assez bon.
-Par contre, vu les demandes de certains CMS, nous avons décidé de passer à une version un peu spécifique de Debian, qui n'est pas forcément conseillée pour les serveurs : Debian Sid. Sid a l'avantage d'être en rolling release (pas de changement de version à envisager), l'inconvénient et l'avantage d'être l'une des premières étapes pour inclure des paquets dans Debian, ce qui veut dire que ces paquets sont plus récents, mais aussi moins stables. En clair : il y a un risque que lors d'une mise à jour anodine, tout le serveur tombe. Ce risque est cependant limité avec diverses bonnes pratiques, en autre de suivre les alertes de bug et dans les faits, celles qui font l'expérience de Sid en respectant ces bonnes pratiques ne déplorent aucun accident au fil des ans. La même problématique s'applique d'ailleurs à Archlinux !
+Par contre, vu les demandes de certains CMS, nous avons décidé de passer à une version un peu spécifique de Debian, qui n'est pas forcément conseillée pour les serveurs : Debian Sid. Sid a l'avantage d'être en rolling release (pas de changement de version à envisager), l'inconvénient et l'avantage d'être l'une des premières étapes pour inclure des paquets dans Debian, ce qui veut dire que ses paquets sont plus récents, mais aussi moins stables. En clair : il y a un risque que lors d'une mise à jour anodine, tout le serveur tombe. Ce risque est cependant limité avec diverses bonnes pratiques, entre autre de suivre les alertes de bug et dans les faits, celles qui font l'expérience de Sid en respectant ces bonnes pratiques ne déplorent aucun accident au fil des ans. La même problématique s'applique d'ailleurs à Archlinux !
-Donc, jukni3 est basé sur une Debian Sid.
+Donc, Jukni3 est basé sur une Debian Sid.
-Le temps de faire la VM, de configurer la sécurité, et voilà, Merlin et moi commençons à bidouiller et transférer jukni tranquillement.
+Le temps de faire la VM, de configurer la sécurité, et voilà, Merlin et moi commençons à bidouiller et transférer Jukni tranquillement.
-La première étape concerne les bots. Après quelques jours d'installation, je peux faire un bilan en demi-teinte. Le bot IRC marche très bien. Limnoria (anciennement Supybot) est un excellent logiciel qui juste marche. Malheureusement il ne marche que pour IRC. Pour XMPP, nous avons eu besoin de deux bots : Errbot, qui accomplit les fonctionnalités secondaires comme ramener les flux RSS et manger de la dentelle, et le bot qui enregistre les conversations, car aucun plugin d'Errbot ne proposait ça. Ce second bot, très simple, a été codé par Linkmauve et marche bien. Par contre, Errbot a arrêté de répondre après quelques jours... pourquoi ? il faudra voir, mais bon, ce n'est pas le plus important. Quoi qu'il en soit, ces trois bot sont installés correctement et arrivent à fonctionner avec Python 3, ce qui est une belle avancée. Cela confirme aussi que nous arrivons (enfin) à utiliser python 3 correctement : nous avons pu installer pipenv, par exemple, et le faire fonctionner sans comportement trop étrange, et c'est une bonne avancée, qui servira aussi pour Django.
+La première étape concerne les bots. Après quelques jours d'installation, je peux faire un bilan en demi-teinte. Le bot IRC marche très bien. Limnoria (anciennement Supybot) est un excellent logiciel qui juste marche. Malheureusement il ne marche que pour IRC. Pour XMPP, nous avons eu besoin de deux bots : Errbot, qui accomplit les fonctionnalités secondaires comme ramener les flux RSS et manger de la dentelle, et le bot qui enregistre les conversations, car aucun plugin d'Errbot ne proposait ça. Ce second bot, très simple, a été codé par Linkmauve et marche bien. Par contre, Errbot a arrêté de répondre après quelques jours... pourquoi ? il faudra voir, mais bon, ce n'est pas le plus important. Quoi qu'il en soit, ces trois bot sont installés correctement et arrivent à fonctionner avec Python 3, ce qui est une belle avancée. Cela confirme aussi que nous arrivons (enfin) à utiliser Python 3 correctement : nous avons pu installer pipenv, par exemple, et le faire fonctionner sans comportement trop étrange, et c'est une bonne avancée, qui servira aussi pour Django.
-La seconde étape a consisté à vérifier si certains CMS supportaient bien les nouvelles versions de php et de mariadb. Là aussi, tout s'est bien passé.
+La seconde étape a consisté à vérifier si certains CMS supportaient bien les nouvelles versions de php et de MariaDB. Là aussi, tout s'est bien passé.
-Enfin, nous avons finalisé le transfert lui-même après ces premiers tests. Le nom de domaine envoie à présent sur jukni3 et non sur jukni, les wikis ont été migrés avec le reste et tout semble bien tourner. Les CMS en question ont tous été mis à jour, ce qui n'est pas rien. Nous avons aussi repris le cloud (basé sur nextcloud) de zéro, ce qui a permis de corriger divers artefacts.
+Enfin, nous avons finalisé le transfert lui-même après ces premiers tests. Le nom de domaine envoie à présent sur Jukni3 et non sur Jukni, les wikis ont été migrés avec le reste et tout semble bien tourner. Les CMS en question ont tous été mis à jour, ce qui n'est pas rien. Nous avons aussi repris le cloud (basé sur nextcloud) de zéro, ce qui a permis de corriger divers artefacts.
 Après plusieurs jours, il semblerait que tout fonctionne. Il nous reste à finaliser les sauvegardes, mais en dehors de ça, le travail est fait.
@@ Ligne 79: / Ligne 79: @@
 {{:fr:blog:blue-2705642_640.jpg?300 |}}
-Nous avons donc à présent une infrastructure qui est entièrement mise à jour((Enfin, oublions un instant Lirria, dont la problématique est particulière...)), sécurisée d'une façon très honorable pour une petite structure comme la notre, avec les outils qui nous sont les plus utiles.
+Nous avons donc à présent une infrastructure qui est entièrement mise à jour((Enfin, oublions un instant Lirria, dont la problématique est particulière...)), sécurisée d'une façon très honorable pour une petite structure comme la nôtre, avec les outils qui nous sont les plus utiles.
 C'est une longue course sur plusieurs mois qui s'achève, et cela me remplit de joie. À présent, les mises à jour régulières seront plus simples à faire. L'infrastructure va continuer d'évoluer peu à peu, mais avec moins de stress à présent.
-Merci à toutes celles et ceux qui nous ont aidés !
+Merci à toutes celles et ceux qui nous ont aidées !
 {{tag>Sysadmin Tech Bilan}}