Google: не используйте Robots.txt, чтобы заблокировать индексацию URL с параметрами

Джон Мюллер из Google сообщил, что не следует «использовать robots.txt для блокировки индексации URL-адресов с параметрами». Он сказал, что такой подход «не позволит Google канонизировать URL-адреса, и ценность ссылок на эти страницы может быть утеряна». Вместо этого следует использовать rel-canonicals и последовательно размещать ссылки на своем сайте.

Затем он пояснил, почему так плохо блокировать эти URL с помощью robots.txt:

"Мы не увидим rel-canonical, если он заблокирован файлом robots.txt. Если вы используете robots.txt, мы будем обращаться с ними так же, как и с другими роботизированными страницами (и мы не будем знать, что находится на этой странице, потому, что мы не сможем проиндексировать URL без содержимого)".