← SEO
Robots.txt
En fil som forteller søkemotorer hvilke sider de kan og ikke kan besøke (crawle) på nettstedet ditt. Den styrer altså tilgangen for søkerobotene, ikke om en side får stå i søkeresultatene.
Du kan bruke den til å hindre søkerobotene i å besøke adminsider. Vil du holde en side ute av søkeresultatene, må du bruke noindex eller passordbeskyttelse i stedet. En side som er blokkert i robots.txt kan nemlig fortsatt dukke opp i søkeresultatene hvis andre nettsider lenker til den.