Khaganat et son rapport aux LLM

Je réagissais ici à la phrase originale de Zatalyz

Mon approche de la question est elle aussi éthique, et d'après beaucoup de personnes, radicale.

Tiens par exemple: personne ne conteste le point 3.1 de la proposition, comme quoi il y aurait des outils (le noyau Linux par exemple) qui seraient irremplaçables malgré que leurs développeurs choisissent d'utiliser des LLM de façon plus ou moins importante.

Chacune met ses limites où elle veut et parfois où elle peut. Parce que si on décide que la première étape de Khaganat c'est de remplacer Linux (mettons par un système BSD pour les serveurs), de remplacer Blender, de remplacer les binutils qui sont nécessaires pour compiler pas mal de trucs et ben... c'est plus du tout le même projet.

(Je mentionne pour ceux qui ne savent pas, que je contribue beaucoup à Haiku, qui pourrait se positionner comme un concurrent de Linux entre autres choses, et n'a pas recours aux LLM. Je comprend tout à fait que Haiku ne soit pas considéré suffisament mûr pour les besoins de Khaganat pour la partie client où il serait éventuellement utilisable, mais ça me chagrine un peu que ce soit balayé de façon assez expéditive comme un "pas d'alternative" sans avoir creusé la question plus que ça. Mais là je fais du lobbying pour mes propres intérêts et je comprend tout à fait que ça n'emballe pas tout le monde de se lancer là dedans.)

Du coup, l'argument "il y a une exception limitée à l'utilisation des LLMs, et donc autant tout autoriser" ne tient pas vraiment. Il y a forcément un compromis à faire, le tout est de choisir où on place la limite. Et même si l'objectif est "le plus loin possible", ça ne sera de toutes façons jamais parfait (enfin, à moins de tout abandonner, ce qui n'est pas vraiment une solution intéressante pour l'instant, je pense).

Franchement, je suis en désaccord avec toute la section 3. Mais le point 3.1 indique une volonté de s'éloigner de ces systèmes reposant sur des LLM (le temps de trouver une alternative), alors que le 3.2 est littéralement une invitation à utiliser des LLM en remplacement des humains. Jusque dans son titre « Usage palliatif ».

Après je peux comprendre que ce soit le consensus au sein de Khaganat, auquel cas c'est moi qui n'y ai plus ma place. De toutes façons je pense que c'est déjà trop tard : une fois les utilisations des IA installées, elle ne s'en vont plus. Et clairement, dans le cas de Khaganat elles sont déjà bien installées.

le 3.2 est littéralement une invitation à utiliser des LLM en remplacement des humains. Jusque dans son titre « Usage palliatif ».

Tu as lu trop vite ou tu n'as pas compris, car il est proposé d'écrire justement « Nous le déplorons et nous souhaiterions que ce genre d'usage soit évité ». C'est une invitation à ne pas les utiliser. Par contre, nous proposons en effet de ne pas condamner les utilisatrices mais plutôt d'essayer de voir comment nous pourrions nous en passer ensemble, dans la mesure de nos moyens respectifs.

dans le cas de Khaganat elles sont déjà bien installées

À quels usages fais-tu référence ?

Je parle de toute la partie sysadmin, avec Zatalyz et Deed qui nous disent bien que c'est devenu "obligatoire". Et je ne vois aucune chance que ça reste limité à ces utilisations, en admettant que ce soit bien le seul cas où c'est utilisé.

Ce qui nous amène au problème plus profond, qui à mon avis a peu de chances d'être résolu : ça a détruit ma confiance. Quand quelqu'un me dit « Je n'utilise des IA que pour X », je ne crois pas cette personne. Ça ne correspond à aucun exemple réel que j'ai pu constater, dans la vraie vie quand on utilise des IA... on les utilise, tout court. Les quelques limites posées au début sautent rapidement.

Et franchement ma confiance a peu de chances d'être restaurée par une charte. Je pense que je vais attendre la fin de cette folie collective et la disparition des IA génératives avant de revenir dans le coin. En espérant qu'il y ait encore à ce moment-là quelque chose vers lequel revenir.

Bref : Bon vent, j'espère sincèrement que Khaganat vivra plus longtemps que ChatGPT.

Mon point de vue sur l'IA.

Je constate que le débat s'élargie sur d'autres sujets :
- La main mise par de grand groupe comme Google, Meta, Microsoft (plus quelques nouveaux acteurs).
- L'écologie, car certain fournisseur d'IA utilise de grand Datacenter, beaucoup d'eau et d'énergie.
- Et l'utilisation de ce mot de clef pour justifier des suppressions d'emploi/de poste.

Je ne rentrerai pas dans le débat des grands groupes, tous centralisés dans des pays qui ont une attitude belliqueuse contre l'Europe. A nous de définir les limites.
Quand à l'écologie, difficile de juger quand on voit tout ce que l'on importe (encore une fois de pays respectant rien ou juste en façade). J'ai même entendu qu'avoir un enfant n'était pas écologique, là je ne sais quoi dire.
Nous pouvons utiliser des IA dont les maisons mères et les services proviennent de pays plus respectueux, voir directement sur notre machine.
L'utilisation du mot de clef IA pour justifier des licenciements économique. Tous les deux ans, on retrouve ce scénario pour permettre de déclencher une vague de licenciement. Cela a un avantage, le CEO n'a pas à justifier ! Il est plus simple de suivre ce que les journalistes claironnent depuis des mois (eux-même suivant les dire de certain patron voulant préparer leurs investisseurs). On passe sous les radars et personne ne mettra en cause la légitimité de l'action. Il est difficile de répondre, la lutte syndicale afin de faire valoir nos droits, changer de travail afin de tourner la page, ...

Je clos ces sujets, pour ma part, et je me recentre sur l'IA.

Comme toute nouveauté, cela génère beaucoup d'enthousiasme et de suspicions, mais on ne peut pas arrêter les avancées. Doit-on refuser sous peine d'être dépassé par celle-ci et par ceux qui les utilises ?

Etant donnée, que la base pour entraîner provient de tout le monde (avec ou sans consentement ...), pour un projet OpenSource, cela me semble pertinent de l'utiliser.

L'IA n'est pas une personne mais un outil. A nous de montrer l'usage que l'on fait de celui-ci et surtout que l'on montre notre vision.

Attention, on doit toujours valider le résultat, l'outil s'est bien, mais celui-ci peut générer des erreurs. si l'IA fait une bêtise, celui qui a lancé est responsable.

l'IA couvrant tous les aspects, je pense qu'on doit l'utiliser dans tous les domaines (Codage, Génération d'image, Génération du son/musique, 3D, ...). On ne peut pas faire de distinction entre ces différents modes (il nous faut être équitable). Par contre, on n'est pas obligé de toujours l'utiliser.

On se doit aussi d'être transparent, quelle IA est utilisé, quelle version (et "identifiant unique"), lien sur le modèle, afin que l'on puisse contrôler, analyser, ... bref pas rester passif. Quel est le "prompt" utilisé, qu'elles sont tous les "prompt" systèmes utilisés.
On devrait définir le commit afin d'ajouter un indicateur pour signaler l'utilisation de l'IA: par exemple [AI used].

Dans le cadre de la recherche d'incident (issue), on devra ajouter des étapes obligatoires.
1- analyse du problème détecté
2- proposition d'une solution temporaire pour bloquer le problème (workaround) et si possible proposition d'un patch.
3- Vérification que l'incident n'est pas déjà déclaré (recherche doit être réalisé moins d'un jour avant la création de l'incident).

Concernant l'usage, voici mes idées:
1- utiliser l'IA sur un compte dédié (pas celui que vous utilisez pour lire vos courriels, XMPP, ...), bref un vrai compte pour l'usage de l'IA.
2- de mettre que des crédentiales limités (par exemple une clef SSH avec un mot de passe, l'idéal serait d'avoir que la clef qui pousse sur le repo GIT (avec une contrainte que le compte n'aura pas le droit de forcer une mise à jour [ne pas permettre de supprimer des commits, ...], voir mieux encore, un compte dédié Utilisateur-IA [Utilisateur : étant la personne qui valide]
3- ne pas permettre à l'IA d'ajouter des "hooks" (bloquer au niveau de git)

Bref, ici, je considère que l'IA peut être entraîné pour exécuter du code malveillant, il faut pouvoir cloisonner celle-ci (et se protéger).

Dernier point, sur la partie code, nous devons faire une attention sur les modules/libraires externe utilisé (on doit être pertinent sur l'utilisation de lib externe et s'assurer qu'elle n'ont pas de faille de sécurité, maintenabilité, ...)



Avant tout, nous sommes des hommes de dévouement et de sacrifice. Nous devons travailler pour tous avant de travailler pour nous.
Victor Hugo

Je clos ces sujets, pour ma part, et je me recentre sur l'IA.

À mon avis, c'est une erreur.

Soit il y a des solutions à ces problèmes, c'est-à-dire qu'il existe un LLM ne dépendant pas d'un grand groupe américain, et qui fait une utilisation raisonnable des resources (eau, électricité, etc). Auquel cas on peut discuter des aspects techniques. Soit il n'y a pas, et il faut, pour moi, d'abord régler ce problème avant de discuter des autres.

Etant donnée, que la base pour entraîner provient de tout le monde (avec ou sans consentement ...), pour un projet OpenSource, cela me semble pertinent de l'utiliser.

En temps que développeur de logiciel open source, je ne partage pas mon code sans consentement. Il y a une license qui demande de citer le nom de l'auteur. Je m'attends aussi à ce que les visiteurs de mon site web (humains ou robots, peu importe) en fasse une utilisation raisonable et efficace. C'est indiqué sur mon site par exemple de ne pas faire de mirroir complet par HTTP pour les parties comportant beaucoup de fichiers, et de me contacter pour avoir une solution plus efficace (mirroir rsync par exemple). Ce que les humains font en général, mais que les LLM ne font pas, saturant ainsi mon serveur.

Certes, pour le logiciel que j'écrit, je ne demande pas grand chose en retour. C'est souvent sous license MIT, et donc, le seul truc, c'est de m'attribuer la paternité du code et de garder la license qui autorise à repartager ce code. Avec un LLM qui serait entraîné sur du code que j'ai écrit et qui en régurgite une partie, ça ne sera pas le cas. Et même si c'est plus indirect, que le code ne ressemble pas tout à fait au mien, peu importe. Un des trucs qui me fait plaisir c'est de recevoir de temps en temps sur mon site web des messages de gens que j'ai pu dépanner grâce à un de mes articles (par exemple sur un composant électronique relativement obscur). Si ils ont obtenu leur réponse à travers un LLM? Fini, on peut oublier ce genre d'interaction.

mais on ne peut pas arrêter les avancées. Doit-on refuser sous peine d'être dépassé par celle-ci et par ceux qui les utilises ?

Oui.

Et c'est justement maintenant qu'il faut le faire, avant que tout le monde soit effectivement devenu dépendant. Comme on peut l'être au fait de se déplacer en voiture par exemple, alors qu'on aurait très bien pu faire d'autres choix, mais pour ça il aurait fallu réagir il y a 50 ans, maintenant ça va prendre 50 ans de plus à déconstruire.

Et oui, je pense aussi qu'avoir des enfants n'est pas écologique. Avez-vous entendu parler du mouvement pour l'extinction volontaire de l'humanité? Par contre, dans ce cas là je ne suis pas aussi directement impacté, et donc, je ne vais pas vous dire quoi faire avec vos choix de vie respectifs!