Eine Robots.txt-Datei ist eine Textdatei auf einer Website, die angibt, welche Seiten und Inhalte für Suchmaschinen-Crawler zugänglich sind und welche nicht.