Зашёл в яндекс вебмастер и обомлел... В индексе 660 страниц а вот "загружено роботом" аж 46082!!! Что он там такого поназагружал особо посмотреть не удалось, а вот в индексе обнаружил массу одинаковых страниц вида: _http://site.ru/nazvanierazdela.html?sort_ord=5&sort_dir=asc&filte r=&fl3=1&fd4=15
Мне от хостера начали приходить страшные сообщения, что сайт превышает все что только можно, а в частности просто убийственен по пикам MySql. Зашёл в статистику хостинга, посмотрел, оказалось что сайт грузят роботы гугла и яндекса. И тут до меня дошло, что если яндекс загрузил 46к страниц, то какая же это нагрузка на хостинг? Представляете сколько запросов к базе может дать подобная переиндексация сайта? Поисковик то грузит не по одной страничке а сразу многопотоково по всем фронтам без задержек...
В общем, возник вопрос. Как отрубить индексацию части сайта или каких-то одинаковых страниц с вот такими висяками: ?sort_ord=5&sort_dir=asc&filter=&fl3=1&fd4=15
Кто ни будь сталкивался с подобным?
Социальные закладки