Про robots.txt

Тут собрал несколько материалов про robots.txt


Вроде толковая статья
http://adblogger.ru/kak-pravilno-sozdat-robotstxt-pravila-nastrojki-i-proverki-robotstxt-dlya-novichkov.html


Руководство от Яндекса
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#996568