Der Crawler der MSN-Suchmaschine durchsucht das Web mit einer ziemlichen Aggressivität, das heißt vielen Besuchen am Tag. Bei Besitzern von Webseiten, deren Provider kein besonders großes Traffic-Volumen anbietet, kann das schnell mal zu Mehrkosten beim Hosting führen.

Mit diesem Eintrag in der Datei robots.txt kann man allerdings den MSN-Bot ein wenig bremsen, ohne daß er von der Indizierung der Seite ausgeschlossen wird:

User-Agent: msnbot
Crawl-Delay: 20

Hierbei gibt die 20 die Anzahl der Sekunden an, die vergehen sollen, bis der MSN-Bot die nächste Seite aufruft.