Back معيار استبعاد الروبوتات Arabic Robots.txt Azerbaijani Robots Exclusion Standard BAR Protocol d'exclusió de robots Catalan Robots.txt Czech Robot Exclusion Standard Danish Robots Exclusion Standard German Robots.txt English Estándar de exclusión de robots Spanish استاندارد استثناء کردن رباتها Persian
Robots.txt on WWW-palvelimen juurihakemistoon sijoitettava tiedosto, jolla voidaan antaa tietoja ja rajoituksia hakuroboteille ja muille verkkosivuja tutkiville boteille. Sillä voidaan esimerkiksi kieltää kaikkia robotteja tai vain yksittäisiä hakukoneita tutkimasta joitakin verkkosivuston kansioita tai tiedostoja.
robots.txt-standardi sai alkunsa sähköpostilistalla www-talk käydyistä keskusteluista vuonna 1994, eikä sitä valvo tai kehitä mikään virallinen elin. Alkuperäiseen standardiin kuuluu vain kaksi ilmaustyyppiä: Disallow kertoo mitä botilta kielletään ja User-agent mitä bottia kielto koskee. Sittemmin suosituimmat hakukoneet ovat alkaneet huomioida uusia komentoja, joita kaikki botit eivät kuitenkaan tunnista. Google kirjoitti olemassa olevat käytänteet ylös, ja ne julkaistiin Internet-standardina RFC 9309 syyskuussa 2022.