Ukratko
Googlebot je Googleov automatski program koji obilazi internet i čita stranice. Ide od linka do linka, preuzima tekst i slike i šalje ih Googleu. Bez njegove posjete Google ne zna šta piše na vašoj stranici.
Šta je Googlebot?
Google ovakve programe naziva i “crawler”, “robot” ili “pauk”. Googlebot je glavni među njima. Google navodi da postoje dvije vrste: jedna se ponaša kao posjetilac s mobitela, druga kao posjetilac s računara. Većinu posjeta obavlja mobilna verzija, jer Google uglavnom gleda mobilni izgled sajta.
Zamislite poštara koji svaki dan obilazi grad. Nema spisak svih adresa. Ide ulicama koje zna, a kad vidi novu ulicu, zapamti je i dođe kasnije. Googlebot radi slično: novu stranicu najčešće nađe preko linka s neke stranice koju već poznaje, ili preko mape stranice koju mu pošaljete.
Prema Googleu, kod većine sajtova Googlebot ne dolazi češće od jednom u nekoliko sekundi u prosjeku. Običnu stranicu male firme to ne opterećuje.
Zašto je to važno za vašu firmu
Ako Googlebot ne može doći do stranice ili je ne može pročitati, ona neće biti u Googleu. Najčešći razlozi kod malih firmi su:
- pogrešna zabrana u fajlu robots.txt, često zaostala od izrade sajta;
- stranica do koje ne vodi nijedan link, pa je program ne može naći;
- sajt koji je često nedostupan ili jako spor.
Ovaj pojam je više tehnički nego poslovni. Vlasnik firme ne treba pratiti Googlebot svaki dan. Dovoljno je povremeno provjeriti da li Google vidi vaše važne stranice.
Šta možete provjeriti ili uraditi
- U Google Search Consoleu zalijepite adresu stranice u gornje polje. Alat pokazuje kada je Googlebot zadnji put bio tu i da li je smio čitati stranicu.
- Pokrenite test uživo u istom alatu. Vidjet ćete stranicu onako kako je vidi Google.
- Provjerite da svaka važna stranica ima bar jedan link iz menija ili s naslovne.
Česta zabuna
Neki misle da se Googlebot može platiti da češće dolazi. Google piše jasno da ne prima novac da bi sajt češće čitao ili bolje rangirao.
Druga zabuna: ako zabranite Googlebotu da čita stranicu, ona ipak može ostati u rezultatima, samo bez opisa. Za sklanjanje iz Googlea služi oznaka noindex. Više o tehničkoj strani pišemo u članku šta je tehnički SEO.