Taula de continguts:
Definició: què significa Web Crawler?
Un rastrejador web és un bot d'Internet que ajuda a la indexació web. Exploren una pàgina a la vegada a través d’un lloc web fins que totes les pàgines s’han indexat. Els rastrejadors web ajuden a recopilar informació sobre un lloc web i els enllaços relacionats amb ells, i també ajuden a validar el codi HTML i els enllaços.
Un rastrejador web també es coneix com a aranya web, indexador automàtic o simplement rastrejador.
Techopedia explica Web Crawler
Els rastrejadors web recopilen informació, com ara l’URL del lloc web, la informació de metaetiquetes, el contingut de la pàgina web, els enllaços de la pàgina web i les destinacions que provenen d’aquests enllaços, el títol de la pàgina web i qualsevol altra informació rellevant. Es fan un seguiment dels URL ja descarregats per evitar tornar a baixar la mateixa pàgina. Una combinació de polítiques com ara la política de visita, la política de selecció, la política de paral·lelització i la política de cortesia determinen el comportament del rastrejador web. Hi ha molts reptes per als rastrejadors web, és a dir, la gran i en constant evolució de World Wide Web, els compromisos de selecció de contingut, les obligacions socials i el tractament amb adversaris.
Els rastrejadors web són els components clau dels motors de cerca i sistemes que cerquen pàgines web. Ajuden a indexar les entrades del web i permeten als usuaris enviar consultes contra l’índex i també proporcionen les pàgines web que coincideixin amb les consultes. Un altre ús dels rastrejadors web és en l'arxivatge web, que implica recopilar i arxivar periòdicament grans conjunts de pàgines web. Els rastrejadors web també s'utilitzen en la mineria de dades, en què les pàgines s'analitzen per a propietats diferents com les estadístiques i, a continuació, s'analitzen dades.
