Google ha recentemente introdotto un nuovo crawler web chiamato “GoogleOther“, progettato per alleviare la tensione su Googlebot, il suo principale crawler di indice di ricerca.
L’aggiunta di questo nuovo crawler aiuterà Google a ottimizzare e semplificare le sue operazioni di scansione. I web crawler, noti anche come robot o spider, scoprono e scansionano automaticamente i siti web.
Googlebot è responsabile della costruzione dell’indice per la Ricerca Google. GoogleOther è un web crawler generico che verrà utilizzato da vari team di prodotto all’interno di Google per recuperare contenuti accessibili al pubblico dai siti web.
Annunciato con un post su LinkedIn, l’analista di Google Search Gary Illyes condivide maggiori dettagli:
“Abbiamo aggiunto un nuovo crawler alla nostra lista di crawler che alla fine toglieranno un po’ di tensione da Googlebot.
Mentre ottimizziamo come e cosa Googlebot esegue la scansione, una cosa che volevamo garantire è che i lavori di scansione di Googlebot siano utilizzati solo internamente per costruire l’indice utilizzato da Search. Per questo abbiamo aggiunto un nuovo crawler, GoogleOther, che sostituirà alcuni degli altri lavori di Googlebot come le scansioni di ricerca e sviluppo per liberare una certa capacità di scansione per Googlebot.”
Lo scopo principale del nuovo GoogleOther crawler è quello di assumere le attività non essenziali attualmente eseguite da Googlebot.
In questo modo, Googlebot può ora concentrarsi esclusivamente sulla costruzione dell’indice di ricerca utilizzato dalla Ricerca Google.
Nel frattempo, GoogleOther gestirà altri lavori, come le scansioni di ricerca e sviluppo (R&S), che non sono direttamente correlate all’indicizzazione della ricerca.
GoogleOther condivide la stessa infrastruttura di Googlebot, il che significa che possiede le stesse limitazioni e funzionalità, tra cui limitazioni di carico host, robots.txt (anche se con un token user-agent diverso), versione del protocollo HTTP e dimensione del recupero.
UN NOSTRO CONSULENTE SARÀ A TUA DISPOSIZIONE IN MENO DI 24H
Fissa un appuntamento ora