Messages

En effet vu que c'est à nous, on s'en fiche. Il me semble que le fichier robots.txt de gitlab avant modifications était celui par défaut, si c'était pas le cas ça sera cool que tu le poses quelque part car je l'utilisais...

Et je peux aussi dire d'ignorer le fichier robots.txt, pas besoin de rajouter le nom du crawler dans le fichier robots.txt ça change pas grand-chose mise à part la propreté du système (et le respect des normes par la même occasion ).

Pour l'histoire des robots spammeur ils ignorent totalement l'existence du robots.txt donc bon...

C'est déjà fait pour la partie documentation : https://khaganat.net/wikhan/fr:moteur_de_recherche

Bon finalement j'ai trouvé un soft qui permet d'indexer et de faire des recherches sur ce qui à été indexé \o/

J'en ai checker plusieurs mais je suis tombé sur : https://xapian.org qui est toujours maintenu et qui est utilisé par des projets comme Debian. (Plus d'infos ici : https://xapian.org/users)

Il y as pas longtemps j'ai fait un dump du site nevrax.org et je viens de faire un test dessus : rapide et efficace

Bon l'interface est moche, il n'y presque pas de css, mais on peut brancher searx dessus pour faire le taf.

Y'a plus qu'a documenté tous ça car lors de l'installation sur archlinux il manquait des bouts...

Petite discussion commencé par merlin8282 sur le salon à propos d'avoir des musiques 8bit in game:

22:07:52 * merlin8282 se demande si de la musique 8bit est prévue dans le jeu
22:11:38 neodarz> Bas pourquoi après tout Suffit juste de faire en sorte que ça colle avec le reste et le tour est joué merlin8282
22:12:07 merlin8282> faudrait déjà que j'apprenne à manier du soft/hard spécifique pour ça /o\
22:13:43 neodarz> Bas ça c'est une autre histoire après. Les deux idées peuvent vivre sans l'autre
22:13:55 merlin8282> https://www.youtube.com/watch?v=FSJfqtft8k8
22:14:51 neodarz> Yop il est cool ce type, j'aime bien ce qu'il fait
22:18:19 merlin8282> y'a aussi LukHash, si tu connais https://www.youtube.com/watch?v=3JQkW6BgUYU
22:19:52 neodarz> yop je connais aussi
22:20:05 neodarz> La plus part du temps j'écoute de la musique 8bit, ducoup...
22:20:13 merlin8282> arf !
22:20:35 merlin8282> bah moi pas tant que ça en fait... de temps en temps, juste.
22:22:35 neodarz> Tu connais ce type : https://www.youtube.com/channel/UC6WtMW2NwuRB6Uyff6ADPJg ? C'est un russe (en tout cas d'après la langue dont il parle) et il upload des démo depuis ZX Spectrum (si j'ai bien compris son schmilblik...)
22:22:43 merlin8282> en plus oldschool, Jogeir Liljedahl : https://youtu.be/eclMFa0mD1c?t=336
22:25:13 neodarz> Je cois que je suis déjà tomber sur cette compilation tiens, je suis au HAUM je l'écouterais plus tard dans la soirée tranquillement du coup
22:25:34 vv222> merlin8282 & neodarz, si vous ne connaissez pas déjà ce site, vous êtes partis pour des heures de bonheur auditif : https://ocremix.org/

Salut,

Techniquement searx intègre déjà un crawler maison (de ce qu'ai je compris à l'arrache lors de la création de mes crawlers perso pour le searx de khaganat) afin d'aller chercher les infos des moteurs de recherches.

Je vais voir comment fonctionne scrapy mais il y a des chances que searx intègre scrapy dans son crawler maison, il faut que je me renseigne à ce sujet.

Dans l'idée il faudrait un soft qui permet de crawler + indexer les résultats. J'ai testé YACY (https://yacy.net/fr/) qui fait ce genre sur deux/trois des sites de khaganat et ça marchait plutot bien mais j'ai pas trop réussi à le faire fonctionner comme je souhaitais...

Pourquoi indexer ? On va éviter de crawler tous les sites à chaque recherche non ? 

Ah et YACY c'est fait en JAVA donc je suis pas trop pour, j'ai pas envie de jouer avec du JAVA...

Salut,

super tes liens !

Par contre le liens du comics Unmasking the Nightshade conspiracy est mort semble t'il...

Salut,

pour avoir tester Goaccess je le trouve pas mal. Fait son travaille et donne quelques infos que je trouvais intéressantes sur mon site perso même si je l'ai viré car inutile pour moi.

De plus pas besoin de le laisser tourner tout le temps. Quand tu a besoins de savoir ce qui c'est passé, par exemple après un événement, tu lui donne à manger les logs de apache (ou de ngnix ou autre, peut importe) et il te sort tout un tas d'info.

A voir si c'est ce que tu recherche...

Voici un article en anglais qui porte sur la construction d'un monde scientifiquement crédible : http://www.projectrho.com/public_html/rocket/worldbuilding.php (J'ai juste commencé à le lire, il est long mais j'ai survolé le reste de l'article et celui-ci semble intérressant)

Par contre, j'ai remarqué que certains lien sont mort. Pour contrer le fait que certain liens peuvent mourrir il faudrait archiver les sites vers lesquelles pointent les liens, par exemple via le web archive (https://web.archive.org/). Je commence par l'archive de cet article : https://web.archive.org/web/20170812213913/http://www.projectrho.com/public_html/rocket/worldbuilding.php

Un autre truc pas patrique, mais pas trop chiant, Zatalyz les premiers liens que tu a partagé contiennent deux fois "http://"... 

Cool, on a l'heure et le lien pour y accéder maintenant