Robots.txt – przykładowe reguły. Jak robots.txt wpływa na SEO?
Plik robots.txt to tekstowy plik używany przez witryny internetowe do komunikacji z robotami wyszukiwarek, określając, które części witryny mogą być indeksowane przez wyszukiwarki, a które powinny zostać zignorowane. (więcej…)