Я пупею блин.
 

Пупею это мягко сказано, вот снял статистику за этот месяц по поисковым паукам на своем сайте, это какой-же они траффик постоянно у всех отжирают...просто звездануца можно.
1.Web Crawler - Yandex/1.01.001 (compatible; Win16; I) 46881
2.Web Crawler - Mozilla/5.0 (compatible; Googlebot/2.1;+http://www.google.com/bot.html) 3833
3.Web Crawler - StackRambler/2.0 (MSIE incompatible) 1398
4.Web Crawler - msnbot/1.0 (+http://search.msn.com/msnbot.htm) 1242
5.Web Crawler - StackRambler/2.0 745
6.Web Crawler - Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 557
7.Web Crawler - msnbot/0.3 (+http://search.msn.com/msnbot.htm) 366
8.Web Crawler - Googlebot/2.1 (+http://www.google.com/bot.html) 275
9.Web Crawler - Yandex/1.01.001 (compatible; Win16; H) 145
10.Web Crawler - ia_archiver 41
11.Web Crawler - Aport 39
12.Web Crawler - InternetSeer.com 29
13.Web Crawler - Yandex/1.01.001 (compatible; Win16; M) 24
14.Web Crawler - Yandex/1.01.001 (compatible; Win16; P) 24
15.Web Crawler - Wget/1.8.2 18
16.Web Crawler - EmeraldShield.com WebBot(http://www.emeraldshield.com/webbot.aspx) 16
17.Web Crawler - 2net.info 11
18.Web Crawler - OmniExplorer_Bot/1.07 (+http://www.omni-explorer.com) Job Crawler 10
19.Web Crawler - PhpDig/1.8.7 (+http://www.phpdig.net/robot.php) 9
20.Web Crawler - User-Agent: Aport Catalog Robot 7
21.Web Crawler - Wget/1.8.1 7
22.Web Crawler - LinkWalker 7
23.Web Crawler - Mozilla/4.0 compatible ZyBorg/1.0 (wn12.zyborg@looksmart.net; http://www.WISEnutbot.com) 6
24.Web Crawler - lwp-trivial/1.35 5
25.Web Crawler - IRLbot/1.0 (+http://irl.cs.tamu.edu/crawler) 5
26.Web Crawler - Yandex/1.03.003 (compatible; Win16; D) 4
27.Web Crawler - Yandex/1.03.000 (compatible; Win16; M) 4
28.Web Crawler - psbot/0.1 (+http://www.picsearch.com/bot.html) 3
29.Web Crawler - Microsoft URL Control - 6.00.8862 3
30.Web Crawler - TurnitinBot/2.0 http://www.turnitin.com/robot/crawlerinfo.html 3

бери хостинг без трафа ;)
Поисковых ботов можно отрубать ( скриптики есть такие или хз чё ещё, но говорю точно, потому что сам встречал. )

Отрубать-то можно, тогда людей с поисковиков не жди..

можно устанавливать лимит обновлений пауков, вроде это делается как то через обычный txt, а может я не прав...

А с другой стороны, они ведь полезным делом занимаются...

Конечно, добрым делом. Напрягают трафиком сильно?

Ну незнаю как там насчёт сильно, у нас трафика хоть отбавляй. Я постоянно, как ни зайду в админку, вижу от 10 и до 400 человек в онлайне, конечно это не реальные люди, а роботы, но трфика они кушают немного. Я проверил как-то раз, за день они скушали добрых 30МБ - я не считаю это за много.

Да как-бы не особо, но вообще....гы...хорошо ещё графику не выкачивают ))

Не много не прав. С помощью robots.txt можно ограничивать индексацию какого либо отдела сайта, например админки, статистики, да что угодно.... Хоть весь сайт закрой, но ни как не частоту. частота у них предопределяется алгоритмом заходов, который в них разработчики вложили.

Если ты зарегистрируешь свой ресурс как "Новостной" - к тебе робот с яндекса будет заходить каждые 15 минут. :) Например gazeta.ru