Robots.txt

Robots.txt to plik tekstowy zawierający zestaw reguł dotyczących tego, jak dana witryna ma być indeksowana przez roboty wyszukiwarek. Każda strona posiadająca nieco bardziej skomplikowaną strukturę powinna posiadać plik robots.txt.

Robots.txt może być wykonany w najprostszym edytorze tekstu, zatem rozmiar samego pliku jest niewielki. Umieszcza się go na serwerze, a jego zadaniem jest informowanie botów skanujących dla wyszukiwarek (takich jak Google, Yahoo czy Bing), w jaki sposób mają się zachowywać podczas indeksowania domeny. Możliwe jest całkowite zabronienie indeksowania lub ograniczenie dostępu do poszczególnych podstron. Najczęściej wykorzystywana jest właśnie ta druga opcja, czyli ustanowienie prostych reguł na bazie podanych adresów wykluczonych z indeksowania.

Plik robots.txt jest szczególnie potrzebny bardzo rozbudowanym serwisom, posiadającym tysiące, a nawet miliony różnych adresów URL, w obrębie których treści dynamicznie się zmieniają. Skanowanie ich wszystkich może zająć botom wiele tygodni, a z punktu widzenia pozycjonowania nie zawsze istnieje potrzeba brania pod uwagę każdej podstrony. Robot.txt skutecznie wyklucza część z nich ze skanowania, w związku z czym boty nawet nie próbują ich indeksować. Dzięki temu zarządzający witryną może nakazać branie pod uwagę tylko tych ważnych z punktu widzenia SEO podstron.