robots.txt для archive.org

[Nomerkov]

Собвственно вопрос такой, как можно прописать robots.txt тобы запретить индексацию доменов, но в то же время разрешить архиву выдавать данные, а то пишет:

 

Robots.txt Query Exclusion.

We're sorry, access to http://mxo.ru has been blocked by the site owner via robots.txt.

добавлено через 2 минуты
Сейчас у меня такой robots

 

User-agent: *
Disallow: /

[zyubr]

теоретически, - посмотреть как себя идентифицирует вебархив при посещении домена, разрешить ему

- да, тоже был бы интересен конкретный robots.txt

может быть, вообще отдельную страничку специально для архива отдавать, мол "домен в разработке"...

[zweroboy1]

Вот так:

 

User-agent: ia_archiver
Disallow:
User-agent: *
Disallow: /

Но архивер-бот при этом будет индексировать Ваш сайт и через годик люди увидят, что на нём находилось сейчас.

[zyubr]

а как пустую страничку боту отдать?

[zweroboy1]

В .htaccess написать

 

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ia_archiver
RewriteRule ^(.*)$ blank.html

где blank.html - пустая страница.

[Nomerkov]

Сообщение от zweroboy1

Вот так:

Но архивер-бот при этом будет индексировать Ваш сайт и через годик люди увидят, что на нём находилось сейчас.

Ну мне не нужно чтобы он видел что сейчас, мне нужно чтобы он отдавал архив то что было ранее =)
просто у меня домены на парковке и клиенту чтобы показать архив приходится robots удалять с хостинга в ременно, вот чтобы этого не делать....