Taula de continguts:
Definició: què significa Spider?
En el context d’Internet, una aranya és un programari especialitzat dissenyat per rastrejar i navegar sistemàticament per la World Wide Web normalment amb l’objectiu d’indexar pàgines web per tal de proporcionar-los com a resultats de cerca de consultes de cerca d’usuaris. El més famós d’aquestes aranyes és el Googlebot, el principal rastrejador de Google, que ajuda a garantir que es retornen els resultats rellevants per a les consultes de cerca.
Les aranyes també es coneixen com a rastrejadors web, bots de cerca o simplement bot.
Techopedia explica Spider
Una aranya és essencialment un programa utilitzat per obtenir informació de la World Wide Web. S'arrossega per les pàgines dels llocs web extraient informació i indexant-la per a un ús posterior, normalment per obtenir resultats del motor de cerca. L’aranya visita els llocs web i les seves pàgines a través dels diversos enllaços cap a i des de les pàgines, de manera que serà difícil d’indexar una pàgina sense un mateix enllaç i es pot classificar realment a la pàgina de resultats de cerca. I si hi ha molts enllaços que apunten a una pàgina, això significaria que la pàgina és popular i que apareixerà més amunt dels resultats de la cerca.
Passos relacionats amb el rastreig web:
- L’aranya troba un lloc i comença a rastrejar les seves pàgines.
- L’aranya indexitza les paraules i el contingut del lloc.
- L’aranya visita els enllaços trobats al lloc.
Les aranyes o els navegadors web són només programes i, per tant, segueixen regles sistemàtiques establertes pels programadors. Els propietaris de llocs web també poden accedir-hi dient a l’aranya quines porcions del lloc indexen i quines no. Això es fa creant un fitxer "robots.txt" que conté instruccions per a l'aranya sobre quines porcions s'indexen i enllaços a seguir i quines han d'ignorar. Les aranyes més significatives que hi ha són propietat de motors de cerca importants com Google, Bing i Yahoo, i les destinades a la investigació i mineria de dades, però també hi ha algunes aranyes malintencionades escrites per cercar i recopilar correus electrònics perquè l'usuari pugui vendre a les empreses. o per trobar vulnerabilitats en la seguretat web.
