Для вступления в общество новичков и профессионалов домен-индустрии, пожалуйста нажмите здесь ...

   
 Купля-продажа и обсуждение доменных имён
        

  
Вернуться   Форум о доменах > Дизайн и развитие проектов > Программирование
Регистрация Реноме Правила форума Справка Пользователи Социальные группы Все разделы прочитаны
Программирование PHP, Perl, HTML, XHTML, CSS, JavaScript, MySQL и другие языки кодирования.

Ответ
 
Опции темы
Сегодня
от 149р за .RU
Аренда сервера
2x Intel Hexa-Core Xeon E5-2420
Всего 79 евро!

с видеокартой GeForce GTX 1080 Ti
всего 99 евро!

от 149р за .РФ Реклама на DomenForum.net
Старый 23.01.2019, 08:59   #1
 
Аватар для Port_Artur
 
Регистрация: 03.12.2006
Адрес: Россия
Сообщений: 3,495
Доменные сделки: 24
Реноме: 1551
Одобрения
Спасибо (Отдано): 529
Спасибо (Получено): 750
Отправить сообщение для Port_Artur с помощью ICQ
Запретить индексацию части url

На сайте адреса типа

https : //site.zone/news/***/day/12

Как в robots.txt запретить индексацию страниц начиная с DAY, всё что перед ним должно индексироваться?
Помогите пожалуйста

добавлено через 22 минуты
Вроде так:

Код HTML:
User-Agent: *
Disallow: *day*

Последний раз редактировалось Port_Artur; 23.01.2019 в 09:21. Причина: Добавлено сообщение
Port_Artur вне форума   Ответить с цитированием
Старый 03.02.2019, 18:59   #2
 
Регистрация: 27.01.2019
Сообщений: 8
Доменные сделки: 0
Реноме:
Одобрения
Спасибо (Отдано): 0
Спасибо (Получено): 3
Disallow: /news/*/day
а вообще тест через гугл вебмастерс.
CDesign вне форума   Ответить с цитированием
Старый 04.02.2019, 23:03   #3
 
Аватар для Port_Artur
 
Регистрация: 03.12.2006
Адрес: Россия
Сообщений: 3,495
Доменные сделки: 24
Реноме: 1551
Одобрения
Спасибо (Отдано): 529
Спасибо (Получено): 750
Отправить сообщение для Port_Artur с помощью ICQ
А вообще Гугл Вебмастер, говорит, что нельзя запрещать страницы через Robots.txt, т.к. если есть ссылки на сайте на эти страницы, то они всё равно будут показываться в поиске. А NoIndex на таких страницах Гугл не воспримет, т.к. запрещена индексация в Robots.txt.
Port_Artur вне форума   Ответить с цитированием
Старый 05.02.2019, 04:24   #4
 
Регистрация: 11.07.2016
Сообщений: 175
Доменные сделки: 0
Реноме:
Одобрения
Спасибо (Отдано): 9
Спасибо (Получено): 23
Код:
Disallow: */day*
добавлено через 1 минуту
Сообщение от Port_Artur Посмотреть сообщение
если есть ссылки на сайте на эти страницы, то они всё равно будут показываться в поиске.
Не будут. Гуглоботы выполняются все директивы роботса в точности.

Последний раз редактировалось sharkson; 05.02.2019 в 04:25. Причина: Добавлено сообщение
sharkson вне форума   Ответить с цитированием
Старый 05.02.2019, 09:32   #5
 
Аватар для Port_Artur
 
Регистрация: 03.12.2006
Адрес: Россия
Сообщений: 3,495
Доменные сделки: 24
Реноме: 1551
Одобрения
Спасибо (Отдано): 529
Спасибо (Получено): 750
Отправить сообщение для Port_Artur с помощью ICQ
Сообщение от sharkson Посмотреть сообщение
Не будут. Гуглоботы выполняются все директивы роботса в точности.
Гугл думает по другому:
https://support.google.com/webmaster..._by_robots_txt
 
Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, то robots.txt не поможет). Этот статус установлен, так как мы не уверены, что вы хотите удалить страницу из результатов поиска. Если ваше намерение именно таково, файл robots.txt не является корректным способом избежать индексирования. Чтобы страница не индексировалась, необходимо использовать тег noindex или запретить анонимный доступ к ней. С помощью специального инструмента можно понять, какое именно правило блокирует страницу. Из-за файла robots.txt страница может не самым оптимальным образом показываться в результатах поиска. Если вы не хотите удалять страницу из результатов поиска, измените файл robots.txt.
https://support.google.com/webmaster...ed-but-indexed
 
Страница, заблокированная для поисковых роботов, все же может быть обработана, если на других сайтах есть ссылки на нее
Googlebot не будет напрямую индексировать контент, указанный в файле robots.txt, однако сможет найти страницы с ним по ссылкам с других сайтов. Таким образом, URL, а также другие общедоступные сведения, например текст ссылок на страницу, могут появиться в результатах поиска Google. Чтобы исключить появление URL в результатах поиска Google, необходимо защитить файлы на сервере паролем или использовать метатеги с директивами по индексированию (либо полностью удалить страницу).
Port_Artur вне форума   Ответить с цитированием
Старый 05.02.2019, 19:40   #6
 
Регистрация: 11.07.2016
Сообщений: 175
Доменные сделки: 0
Реноме:
Одобрения
Спасибо (Отдано): 9
Спасибо (Получено): 23
Мне кажется, что гугловцы лукавят, так ни одна страница или раздел или группа страниц явно запрещенная в роботсе к индексирования на моих сайтах - не была проиндексирована.

Например, страницы профилей пользователей и т. д. Хотя я иногда не ограничиваюсь запретами в роботсе, но и программно средствами движка скрываю нужное от ботов.

Но, например, у меня на сайтах, есть свои уникальные страницы 404, созданные не движком, а вручную. На них стоит запрет для просмотра ботами только в роботсе и более нигде.

В поиске их нет до сих пор.

Для ботов ПС верно следующее утверждение:

Если на чужом сайте стоит ссылка на страницу на вашем сайте, индексирование которой запрещено в роботсе, то ссылка будет проиндексирована, а вот страница по ссылке - нет.
Означать это будет следующее:

Ссылка на страницу и заголовок страницы попадут в выдачу, а содержимое страницы - нет. И будет стоять приписка вроде такой: "Владелец сайта скрыл содержимое этой страницы".

Если есть возможно скрыть содержимое с помощью тегов - то можно использовать и их. Только вот при этом есть вероятность, что и ссылка на страницу и ее заголовок все равно проиндексируются, если ссылка на эту страницу где-то прописана, куда боты имеют свободный доступ.

добавлено через 3 минуты
То есть в общем, максимум что будет в выдаче это, пример:

Пластиковые окна заказать онлайн в Москве
http://exampe.com/..../....html
Владелец сайта скрыл содержимое этой страницы

Последний раз редактировалось sharkson; 05.02.2019 в 19:44. Причина: Добавлено сообщение
sharkson вне форума   Ответить с цитированием
Старый 13.02.2019, 12:08   #7
 
Аватар для pegs
 
Регистрация: 07.02.2008
Адрес: Лимпопо
Сообщений: 5,352
Доменные сделки: 17
Реноме: 1904
Одобрения
Спасибо (Отдано): 444
Спасибо (Получено): 1671
Гугл индексирует всё, до чего только может дотянуться. Даже JavaScript парсит, гад! Закрытое в роботс.txt он просто не покажет в выдаче и (возможно) не будет учитывать его содержимое.

Зачем пытаетесь закрыться от индексации? Если для закрытия дублей, то лучше ещё использовать canonical на исходную страницу.
__________________
«Палата номер 6» ищет своего Главврача
pegs вне форума   Ответить с цитированием
Старый 13.02.2019, 12:24   #8
 
Аватар для Port_Artur
 
Регистрация: 03.12.2006
Адрес: Россия
Сообщений: 3,495
Доменные сделки: 24
Реноме: 1551
Одобрения
Спасибо (Отдано): 529
Спасибо (Получено): 750
Отправить сообщение для Port_Artur с помощью ICQ
Закрытие страниц, которые актуальны только в течение 4 дней текущего месяца. И проиндексированные в этом месяце теряют смыл в поиске через 4 дня. После этого 27 дней они нерабочие.
Port_Artur вне форума   Ответить с цитированием
Старый 13.02.2019, 22:38   #9
 
Регистрация: 11.07.2016
Сообщений: 175
Доменные сделки: 0
Реноме:
Одобрения
Спасибо (Отдано): 9
Спасибо (Получено): 23
В дублях можно еще прописать для гугла теги ноиндекс и нофоллоу. В мета. Их он точно учтет.
sharkson вне форума   Ответить с цитированием
Ответ



Реклама

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Закладки Добавить Тема в закладки

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 03:45. Часовой пояс GMT +4.