Если у вас на одной инсталляции WordPress размещается один сайт, то проблем нет — robots.txt можно прописать на сервере руками. Если же на одном WordPress’e размещается несколько сайтов, и для каждого нужен свой индивидуальный файл robots.txt, то такой номер не проходит. Выход — использовать плагины, которые позволяют изменять robots.txt прямо из админки.
Лучшим вариантом из таких плагинов является, на мой взгляд, WP-Robots-Txt. Но… Он работает не на всех хостингах. Почему — я еще не разобрался. Буду рад, если кто-то подскажет.
————-
Разобрался. Зацепкой стало то, что, как оказалось, при запросе любых несуществующих txt-документов выдается страница 404 ошибки хостера, а не страница 404 ошибки WordPress, как это происходит с другими типами содержимого. Т.е. запросы на выдачу txt-документов не обрабатываются движком.
Реально самостоятельно сделать в такой ситуации ничего нельзя, нужно обращаться в техподдержку хостера. Мне хостер быстро исправил ситуацию, объяснив, что у них статичное и динамическое содержимое сайта отдаются разными серверами, потому подобная бяка и происходила.