Динамические ссылки

[scalper]

Несколько недель назад начал отслеживать заходы поисковиков на сайт по логам сервера, и заметил, что каждый день много заходов по динамическим ссылкам. Но на сайте включены ЧПУ ссылки. С динамических ссылок идет редирект на статистические. Но меня мучают два вопроса:
1. Откуда поисковики берут динамические ссылки???
2. Стоит ли запретить заходы поисковиков в robots.txt по динамическим ссылкам?

[nemo]

Несколько недель назад начал отслеживать заходы поисковиков на сайт по логам сервера, и заметил, что каждый день много заходов по динамическим ссылкам. Но на сайте включены ЧПУ ссылки. С динамических ссылок идет редирект на статистические. Но меня мучают два вопроса:
1. Откуда поисковики берут динамические ссылки???
2. Стоит ли запретить заходы поисковиков в robots.txt по динамическим ссылкам?

Встречный вопрос: Функция коротких ссылок была включена на сайте стразу после установки или по прошествии некоторого времени, когда уже были добавлены некоторые товары? Дело в том, что из-за того, что сайт мог быть первоначально быстро проиндексирован, до включения этой функции, в индексе могут оставаться страницы с динамическими ссылками очень долго, неопределённо долго. По крайней мере, на одном из подопечных сайтов до сих пор с Гугла и Яндекса статистика фиксирует более 50 % трафика по ссылкам на страницы, которые были у старой версии сайта на другом скрипте и по товарам, которых уже давно (с конца прошлого года), вообще нет на сайте. И это не смотря на то, что после переустановки сайт был проиндексирован в первые 3 дня, а робот яндекса продолжает каждый день заходить с интервалом в несколько минут (сегодня, к примеру, уже 1000 заходов). Так что, склонен считать это особенностью поисковых систем, апгрейд которых не столь част и не гарантирует полной замены старых не существующих ссылок и страниц на новые, пусть даже уже известные ПС.
Возможно, следует ещё подождать и понаблюдать.
Если вы точно помните, какой товар был добавлен после включения функции коротких ссылок, то попробуйте найти этот товар в поисковой системе и посмотреть, какого рода ссылка. Сравните с поиском нескольких товаров добавленных до включения функции.

[scalper]

ЧПУ включены уже больше года. В кеше поисковиков динамических ссылок нет. Заметил, что даже на новые товары, добавленные месяца два назад, поисковики попадают по обоим типам ссылок. Видимо, находят их где-то на сайте.

[nemo]

А не проверяли, в карте сайта тоже все ссылки короткие?

[scalper]

В том-то и дело, что в карте сайта все ссылки ЧПУ.

[nemo]

Хм... интересно... Нужно искать, может через какие-то установленные дополнительные блоки/модули/хаки. У меня сейчас под рукой нет подопечных сайтов с этой используемой функцией, чтобы поискать и проверить.

[scalper]

Из дополнительных модулей только автопоиск, практически такой же как здесь в "demo3" и добавил к изображениям highslide.
Пока закрыл индексацию динамических ссылок в роботсе. Буду разбираться с этим явлением когда времени свободного станет чуть больше.

[scalper]

Я понял как находят поисковики динамические ссылки при включенном ЧПУ. Это связано с конопкой добавить в корзину. Возможно, это просто недоработка разработчиками ЧПУ. Попробую объяснить на примере детальной страницы товара.

В block_product_details.html присутствуют такие строки:

<form name="form_{item_id}" action="{product_details_href}" method="post">
{hidden_parameters}
<input type="hidden" name="rp" value="{rp}">

На детальной странице товара эти строки уже содержат в себе ссылку на страницу без ЧПУ такого вида:

<form name="form_592" action="product_details.php" method="post">
<input type="hidden" name="item_id" value="592">
<input type="hidden" name="rp" value="product_details.php?item_id=592">

После добавления товара в корзину идет переадресация на product_details.php. Т.е. действие ЧПУ заканчивается после добавления товара в корзину.
Та же ситуация если добавить товар в корзину на странице списка товаров.