Bot d'indexation de contenu d'un site
Utilisateur anonyme
-
marsrevolution.com -
marsrevolution.com -
Bonjour,
je suis certainement en train de me lancer dans une mission impossible mais je tente ma chance et après tout qui ne tente rien n'apprend rien ;)
Voila en fait je voudrais crée , ou utiliser un bot , affin de lister les nouvelles entrées dans divers site et sur certaine pages des sites seulement .
Ce sont les sites de mes amis et ou collègues , ainsi que de certain complice de jeux :) Tous unis autour d'une passion, le jeux de rôle ( mais pas vidéo) Pour des raison simple d'anonymat et d'autre raison plus compliquée inhérente a la pratique du jeux de rôle grandeur nature sur table ( et a sont suspense :) ) , je ne peut malheureusement pas vous communiquer les adresses des sites et vous donner de plus amples information sur les structure des sites mais ce que je cherche a faire me parrait assez simple , bien que trop compliqué pour moi on dirais :)
je voudrais donc, qu'un bot que je créerais moi même (avec votre aide ;) ) ou que je modifierais pour mes besoin , aille faire un tour tout les jours sur leurs différent sites, et indexe ou enregistre les titres de toutes nouvelles news ou simplement nouvelles entrée sur lers site et consigne le tout dans un fichier de log ( nouvelle entrée : titre ---> corps du message ( optionnel) ---> provenance ( adresse du site )) sur mon serveur.
Je pensais que peut être les bot du genre de ceux utilisé pour les moteurs de recherche pourrait faire ce travail , ou bien encore un bot qui passerais sur un site , analyserais sont contenu , et le comparerais a l'ancien , pour noter les chargements dans un fichier de log . quasiment tout les sites sont en Php est utilise donc des base de données , peut être des bot analysant les bases msygl ou autre ferais aussi l'affaire s'il existent ^^ ?
Je pensais aussi que peut être, une sorte de méta moteur de recherche pourrais au moins sortir dans l'ordre toutes les entrée et aux moins les triée par date
Voila enfin, si vous ne pouvez m'aider aussi spécifiquement , pourriez vous aux moins me donner quelques conseils, et autres lexique sur les bots et plus précisément les bots que j'appellerais sniffer ou logueur ( a défaut du bon terme) affin que je puisse poursuivre mes recherche restées jusqu'ici infructueuse .
Bien sur, des pistes de cherches , et le lexique du parfait petit Bot :) me serait vraiment très utile ;)
Merci d'avance ;)
Ps: j'espère avoir été assez clair et ne pas avoir trop abusé sur les fautes , dans le cas contraire désolé par avance , je me suis pourtant relu mais suis pire encore en français que informatique :P
PPS: le bot pourrait peut être tourner sur IRC par exemple ? ... j'y connait décidément pas grand chose :(
je suis certainement en train de me lancer dans une mission impossible mais je tente ma chance et après tout qui ne tente rien n'apprend rien ;)
Voila en fait je voudrais crée , ou utiliser un bot , affin de lister les nouvelles entrées dans divers site et sur certaine pages des sites seulement .
Ce sont les sites de mes amis et ou collègues , ainsi que de certain complice de jeux :) Tous unis autour d'une passion, le jeux de rôle ( mais pas vidéo) Pour des raison simple d'anonymat et d'autre raison plus compliquée inhérente a la pratique du jeux de rôle grandeur nature sur table ( et a sont suspense :) ) , je ne peut malheureusement pas vous communiquer les adresses des sites et vous donner de plus amples information sur les structure des sites mais ce que je cherche a faire me parrait assez simple , bien que trop compliqué pour moi on dirais :)
je voudrais donc, qu'un bot que je créerais moi même (avec votre aide ;) ) ou que je modifierais pour mes besoin , aille faire un tour tout les jours sur leurs différent sites, et indexe ou enregistre les titres de toutes nouvelles news ou simplement nouvelles entrée sur lers site et consigne le tout dans un fichier de log ( nouvelle entrée : titre ---> corps du message ( optionnel) ---> provenance ( adresse du site )) sur mon serveur.
Je pensais que peut être les bot du genre de ceux utilisé pour les moteurs de recherche pourrait faire ce travail , ou bien encore un bot qui passerais sur un site , analyserais sont contenu , et le comparerais a l'ancien , pour noter les chargements dans un fichier de log . quasiment tout les sites sont en Php est utilise donc des base de données , peut être des bot analysant les bases msygl ou autre ferais aussi l'affaire s'il existent ^^ ?
Je pensais aussi que peut être, une sorte de méta moteur de recherche pourrais au moins sortir dans l'ordre toutes les entrée et aux moins les triée par date
Voila enfin, si vous ne pouvez m'aider aussi spécifiquement , pourriez vous aux moins me donner quelques conseils, et autres lexique sur les bots et plus précisément les bots que j'appellerais sniffer ou logueur ( a défaut du bon terme) affin que je puisse poursuivre mes recherche restées jusqu'ici infructueuse .
Bien sur, des pistes de cherches , et le lexique du parfait petit Bot :) me serait vraiment très utile ;)
Merci d'avance ;)
Ps: j'espère avoir été assez clair et ne pas avoir trop abusé sur les fautes , dans le cas contraire désolé par avance , je me suis pourtant relu mais suis pire encore en français que informatique :P
PPS: le bot pourrait peut être tourner sur IRC par exemple ? ... j'y connait décidément pas grand chose :(
A voir également:
- Bot d'indexation de contenu d'un site
- Site de telechargement - Accueil - Outils
- Site x - Guide
- Site de partage de photos - Guide
- Quel site remplace coco - Accueil - Réseaux sociaux
- Meilleur site de vente entre particulier - Guide
5 réponses
Salut, je pense qu'il est un peut tot/tard pur poser ce genre de question :p. Je ne vais pas pouvoir beaucoup t'aider, je sais que sur Firefox tu peut installer un module complementaire(GreaseMonkey) qui gere des bots internet pour faire des actions sur des sites. Ces bots n'ont pas l'air tres compliqués à programmer. Sinon, essaye sur des forums d'expert en prog www.developpez.com par exemple. Je ne peut malheureusement pas beaucoup plus t'aider.
Bonne journée
Bonne journée
oui je connais greasemonkey , mais il sert surtout a appliquer comme une sorte de plugin sur des sites internet spécifique , un bot quand a lui et si je ne me trompe pas , travail en tache de fond en permanence et sans même être sur le site, bi sur mon pc, il tourne par exemple sur un channel irc ou un serveur internet distant affin d'être en permanence sur le web ( enfin il me semble , mais comme je l'ai dit je n'y connait pas grand chose en bot) et va automatiquement pécher des information sur des sites de lui même et sans navigateur internet
Enfin merci quand même ;) pour ta réponse malgré l'heure aussi effectivement tardive :) je suis insomniaque et j'ai de sales habitudes ;)
je vais quand même voir si greasemonkey peut faire fonctionner ce genre de bots, mais je pense qu'il me faut plutôt un bots du genre bot de moteur de recherche ou plus précisément, un bot d'indexation , enfin un truc du genre quoi , mais pour être sur, il me faudrait une rapide explication sur le fonctionnement et les principes exact, des bots de moteur de recherche ou d'indexation , avis au connaisseur donc ;)
Merci encore ;;)
Enfin merci quand même ;) pour ta réponse malgré l'heure aussi effectivement tardive :) je suis insomniaque et j'ai de sales habitudes ;)
je vais quand même voir si greasemonkey peut faire fonctionner ce genre de bots, mais je pense qu'il me faut plutôt un bots du genre bot de moteur de recherche ou plus précisément, un bot d'indexation , enfin un truc du genre quoi , mais pour être sur, il me faudrait une rapide explication sur le fonctionnement et les principes exact, des bots de moteur de recherche ou d'indexation , avis au connaisseur donc ;)
Merci encore ;;)
j'ai trouvé ca :p :
https://codes-sources.commentcamarche.net/
tien moi au courant de ce que tu trouve, ca m'interesse :p
https://codes-sources.commentcamarche.net/
tien moi au courant de ce que tu trouve, ca m'interesse :p
==Merci MOC73==
Merci pour le lien , je suis en plein chaos en ce moment , du coup je délaisse un peut mes projets perso , je m'en vais quand même suivre ton lien de ce pas, mais je ne peut te promettre de nouvelles dans l'immédiat :( Tu peut toutefois me faire confiance pour aller jusque au bout de mon projet tot ou tard.
Je donnerais donc des nouvelles ici dans les mois a venir , mais pas avant je le craint :( je suis bien sur toujours preneur de toutes infos, pistes , liens , et idée de mots clé pour google ;) ou bing :P voir même d'adresse de, newsgroup , team ou personnes qui pourrais m'aider . Je passerais régulièrement (enfin quand je pourrais ;) ) pour voir les nouvelles et vous tiendrais au jus de mes avancées et reste a votre entière disposition :P
Merci encore , bonne continuation , et que vive CCM ;)
===Hommage a CCM=== au passage ;)
CCM, est sans l'ombre d'un doute, le meilleur site français de droit de santé de finance et surtout d'informatique et technologie.
L'aide, l'information , et l'éducation par l'entraide et les support journalistique ( news article FAQ Tutoriel, pack logiciels (et même pub ;) ) ) qui sont toujours d'une grande pertinence , rendent je pense, l'internet meilleurs.
Vous participez ( le staff CCM), nous participons ( nous :P) a l'amélioration du web en dénoobifiant tout les noob ( je ne voit pas de meilleur terme ( et pourtant je ne l'aime pas) ) qui sans CCM continueraient par exemple, a propager les virus, et surcharger la toile de données et de messages du fait de leurs ignorance en terme de netiquette et plus largement dans les bases même de la logique informatique et social informatique :) et en utilisant des ordinateurs eux même atteints directement par cette même ignorance.
Je vous souhaite a tous , modérateurs , administrateurs, programmeurs, concepteurs, journalistes, contributeurs, membres, et simples passants , une bonne nuit ;) ( ou matinée, après midi, soirée , c'est selon ;) )
Vive CCM , merci a vous et merci bien sur a toi MOC73.
PS: j'avais envi de le dire , je l'ai dit même si ça parait boulet, il le fallait ;)
Merci pour le lien , je suis en plein chaos en ce moment , du coup je délaisse un peut mes projets perso , je m'en vais quand même suivre ton lien de ce pas, mais je ne peut te promettre de nouvelles dans l'immédiat :( Tu peut toutefois me faire confiance pour aller jusque au bout de mon projet tot ou tard.
Je donnerais donc des nouvelles ici dans les mois a venir , mais pas avant je le craint :( je suis bien sur toujours preneur de toutes infos, pistes , liens , et idée de mots clé pour google ;) ou bing :P voir même d'adresse de, newsgroup , team ou personnes qui pourrais m'aider . Je passerais régulièrement (enfin quand je pourrais ;) ) pour voir les nouvelles et vous tiendrais au jus de mes avancées et reste a votre entière disposition :P
Merci encore , bonne continuation , et que vive CCM ;)
===Hommage a CCM=== au passage ;)
CCM, est sans l'ombre d'un doute, le meilleur site français de droit de santé de finance et surtout d'informatique et technologie.
L'aide, l'information , et l'éducation par l'entraide et les support journalistique ( news article FAQ Tutoriel, pack logiciels (et même pub ;) ) ) qui sont toujours d'une grande pertinence , rendent je pense, l'internet meilleurs.
Vous participez ( le staff CCM), nous participons ( nous :P) a l'amélioration du web en dénoobifiant tout les noob ( je ne voit pas de meilleur terme ( et pourtant je ne l'aime pas) ) qui sans CCM continueraient par exemple, a propager les virus, et surcharger la toile de données et de messages du fait de leurs ignorance en terme de netiquette et plus largement dans les bases même de la logique informatique et social informatique :) et en utilisant des ordinateurs eux même atteints directement par cette même ignorance.
Je vous souhaite a tous , modérateurs , administrateurs, programmeurs, concepteurs, journalistes, contributeurs, membres, et simples passants , une bonne nuit ;) ( ou matinée, après midi, soirée , c'est selon ;) )
Vive CCM , merci a vous et merci bien sur a toi MOC73.
PS: j'avais envi de le dire , je l'ai dit même si ça parait boulet, il le fallait ;)
Vous n’avez pas trouvé la réponse que vous recherchez ?
Posez votre question
