Мне кажется, что гугловцы лукавят, так ни одна страница или раздел или группа страниц явно запрещенная в роботсе к индексирования на моих сайтах - не была проиндексирована.
Например, страницы профилей пользователей и т. д. Хотя я иногда не ограничиваюсь запретами в роботсе, но и программно средствами движка скрываю нужное от ботов.
Но, например, у меня на сайтах, есть свои уникальные страницы 404, созданные не движком, а вручную. На них стоит запрет для просмотра ботами только в роботсе и более нигде.
В поиске их нет до сих пор.
Для ботов ПС верно следующее утверждение:
Если на чужом сайте стоит ссылка на страницу на вашем сайте, индексирование которой запрещено в роботсе, то ссылка будет проиндексирована, а вот страница по ссылке - нет.
Означать это будет следующее:
Ссылка на страницу и заголовок страницы попадут в выдачу, а содержимое страницы - нет. И будет стоять приписка вроде такой: "Владелец сайта скрыл содержимое этой страницы".
Если есть возможно скрыть содержимое с помощью тегов - то можно использовать и их. Только вот при этом есть вероятность, что и ссылка на страницу и ее заголовок все равно проиндексируются, если ссылка на эту страницу где-то прописана, куда боты имеют свободный доступ.
добавлено через 3 минуты
То есть в общем, максимум что будет в выдаче это, пример:
Пластиковые окна заказать онлайн в Москве
Владелец сайта скрыл содержимое этой страницы