Kako ponovo poslati ažuriranu ili novu datoteku Robots.txt

robots txt

Naša agencija radi savjetovanje o organskoj pretrazi za nekoliko dobavljača SaaS-a u industriji. Klijent s kojim smo nedavno započeli suradnju odradio je prilično standardnu ​​praksu, postavljajući svoju aplikaciju na poddomen i premještajući svoju web stranicu s brošurama na osnovnu domenu. Ovo je standardna praksa jer omogućava i produkcijskom timu i marketinškom timu da ažuriraju po potrebi bez ikakve ovisnosti o drugom.

Kao prvi korak u analizi zdravlja organskog pretraživanja, registrirali smo i brošure i domene aplikacija u Webmasterima. Tada smo identifikovali neposredan problem. Pretraživači su blokirali indeksiranje svih stranica aplikacija. Otvorili smo njihov unos robots.txt u webmasterima i odmah identificirali problem.

Dok su se pripremali za migraciju, njihov razvojni tim nije želio da se poddomena aplikacije indeksira pretraživanjem, pa im je zabranio pristup pretraživačima. Datoteka robots.txt je datoteka koja se nalazi u korijenu vaše web lokacije - yourdomain.com/robots.txt - to omogućava pretraživaču da zna da li bi trebao pretraživati ​​ili indeksirati stranicu. Možete napisati pravila koja omogućavaju ili zabranjuju indeksiranje na cijeloj web lokaciji ili određenim stazama. Takođe možete dodati redak da odredite datoteku karte web lokacije.

The robots.txt datoteka je imala sljedeći unos koji je spriječio indeksiranje i indeksiranje web stranice u rangu rezultata pretraživanja:

Korisnički agent: * Disallow: /

Trebalo je napisati kako slijedi:

Korisnički agent: * Dozvoli: /

Potonji daje dozvolu bilo kojoj tražilici koja puzi po web lokaciji da mogu pristupiti bilo kojem direktoriju ili datoteci na web lokaciji.

Super ... pa sad kad robots.txt datoteka je savršena, ali kako Google zna i kada će ponovo provjeriti web lokaciju? Pa, možete apsolutno tražiti da Google provjeri vaš robots.txt, ali nije previše intuitivan.

Idite na Google Search Console Search Console u Indeksiranje> testiranje robots.txt. Vidjet ćete sadržaj najnovije indeksirane datoteke robots.txt unutar testera. Ako želite ponovno poslati datoteku robots.txt, kliknite Pošalji i pojavit će se skočni prozor s nekoliko opcija.

ponovno pošaljite robots.txt

Konačna opcija je Zamolite Google da ažurira. Kliknite plavo dugme Pošalji pored te opcije, a zatim se vratite na Indeksiranje> testiranje robots.txt opcija menija za ponovno učitavanje stranice. Sada biste trebali vidjeti ažuriranu datoteku robots.txt zajedno s pečatom datuma koji pokazuje da je ponovno indeksirano.

Ako ne vidite ažuriranu verziju, možete kliknuti Pošalji i odabrati Pogledajte otpremljenu verziju za navigaciju do vaše stvarne datoteke robots.txt. Mnogi će sistemi predmemorirati ovu datoteku. U stvari, IIS generira ovu datoteku dinamički na osnovu pravila koja se unose kroz njihovo korisničko sučelje. Najvjerojatnije ćete morati ažurirati pravila i osvježiti predmemoriju da biste objavili novu datoteku robots.txt.

robots-txt-tester

Šta ti misliš?

Ova stranica koristi Akismet kako bi smanjila neželjenu poštu. Saznajte kako se podaci vašeg komentara obrađuju.