GoogleBotu Yönetme ve Sınırlama
Aslında bir çok bot Robots.txt dosyasını okur ve dikkate alır. Eğer Googlebotun sitenizde kafasına göre oradan oraya dolaşmasını istemiyorsanız Robots.txt dosyası kullanabilirsiniz. Robots.Txt dosyası ile Google Bota hangi klasörleri indexlemesi hangilerini indexlememesi gibi komutları verebilirsiniz. Ancak bu işlemi yaparken dikkatli olmanızda fayda var. Çünkü yanlış bir şekilde yaparsanız, Googlebotun tamamen gelmesini durdurabilirsiniz. Buda sitenizin Google dizininden çıkarılmasına kadar varan sonuçları olabilir.
Aslında bir çok bot Robots.txt dosyasını okur ve dikkate alır. Eğer Googlebotun sitenizde kafasına göre oradan oraya dolaşmasını istemiyorsanız Robots.txt dosyası kullanabilirsiniz. Robots.Txt dosyası ile Google Bota hangi klasörleri indexlemesi hangilerini indexlememesi gibi komutları verebilirsiniz. Ancak bu işlemi yaparken dikkatli olmanızda fayda var. Çünkü yanlış bir şekilde yaparsanız, Googlebotun tamamen gelmesini durdurabilirsiniz. Buda sitenizin Google dizininden çıkarılmasına kadar varan sonuçları olabilir.