Crawler
Un web crawler, chiamato anche spider o robot, è un software che naviga sistematicamente nel World Wide Web, tipicamente ai fini dell’indicizzazione del web. I motori di ricerca come Google e alcuni altri tipi di siti utilizzano il web crawling per aggiornare i loro contenuti web o gli indici dei