Crawler

Un web crawler, chiamato anche spider o robot, è un software che naviga sistematicamente nel World Wide Web, tipicamente ai fini dell’indicizzazione del web.

I motori di ricerca come Google e alcuni altri tipi di siti utilizzano il web crawling per aggiornare i loro contenuti web o gli indici dei contenuti web di altri siti.

I crawler creano una copia delle pagine web per l’elaborazione da parte di un motore di ricerca, che indicizza le pagine scaricate in modo che gli utenti possano effettuare ricerche in modo più efficiente.

Il numero di pagine Internet è estremamente elevato; anche i più grandi crawler non riescono a fare un indice completo.

Per questo motivo, i motori di ricerca hanno faticato a fornire risultati di ricerca rilevanti nei primi anni del World Wide Web, prima del 2000.

Oggi, i risultati rilevanti vengono forniti quasi istantaneamente.

I crawler possono convalidare i collegamenti ipertestuali e il codice HTML.

Vuoi dare una svolta alla tua carriera o innovare la tua azienda?

Scopri il Master in Web & Digital Marketing

54 ore in aula a Bologna o in live streaming

Vuoi approfondire?

Ti interessa il digital marketing? Leggi il nostro blog!
Trovi centinaia di articoli utili.

Iscriviti gratis a

MakeMeThink

La newsletter di Studio Samo

Ricevi ogni 2 settimane le notizie più importanti dal mondo del digital marketing.

Iscriviti gratis a

MakeMeThink

La newsletter di Studio Samo

Ricevi ogni 2 settimane le novità più importanti dal mondo del digital marketing.