[HeBuDuMkA]

robots.txt - нужен для поисковиков
.htaccess - конфиг нужен для сервера в котором настройки доступа.
Почему автор привязался к .htaccess. Если конфиг даст доступ к robots то поисковик учтет его содержимое, нет - так он не увидит robots и все.