Syftet med filen ”robots.txt” är att tala om för sökmotorer som Google, Bing och andra vad de ska indexera och inte. I normala fall vill man att sökmotorerna ska indexera allt och då behöver man inte någon robots.txt, men det finns en bra anledning till att inte använda sig av den, även i de fall då man vill blockera för