Clean–param. Помогаем Яндексу избавиться от мусора.
В противовес разочарованиям по статистике, Яндекса представил интересную новинку для вебмастеров. Clean–param, новая директива для избавления от динамического мусора и дубликатов, генерируемых современными CMS. С использованием нового параметра для robots.txt должна возрасти скорость индексации сайтов.
Пример использования директивы Clean–param:
На сайте есть страницы:
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123
Параметр ‘ref=’ используется только для того, чтобы отследить с какого ресурса был сделан запрос, [...]