Robots.txt

En fil som forteller søkemotorer hvilke sider de kan og ikke kan besøke på nettstedet ditt.

Blokkere søkemotorer fra å indeksere admin-sider eller duplikatinnhold.

Relaterte begreper