Google: не используйте Robots.txt, чтобы заблокировать индексацию URL с параметрами

Джон Мюллер из Google сообщил, что не следует «использовать robots.txt для блокировки индексации URL-адресов с параметрами». Он сказал, что такой подход «не позволит Google канонизировать URL-адреса, и ценность ссылок на эти страницы может быть утеряна». Вместо этого следует использовать rel-canonicals и последовательно размещать ссылки на своем сайте.

Затем он пояснил, почему так плохо блокировать эти URL с помощью robots.txt:

"Мы не увидим rel-canonical, если он заблокирован файлом robots.txt. Если вы используете robots.txt, мы будем обращаться с ними так же, как и с другими роботизированными страницами (и мы не будем знать, что находится на этой странице, потому, что мы не сможем проиндексировать URL без содержимого)". Лучшие эскортницы Еревана ждут тебя на escortly проведи время в приятной кампании