Нехватает много страниц в индексе Яндекса - кто нибудь в курсе как с ним бороться ?

[Anstrem]

Вообщем уже длительное время обращаю внимание на то что половина уникальных страниц сайта по неизвестной совершенно причине напрочь отсутствует в поисковом индексе Яндекс.
Всяко разно уже испробовал - никакой закономерности и причинно-следственной связи найти не удалось.
Может кто-нибудь может прояснить что это за аномалия такая ?

Вот для примера страничка:
Возраст ее месяца 2, если ввести в Google прямо как есть эту ссылку, то получаем ее и саму и внутри sitemap и отдельно еще как страницу с отзывами (коих там правда нет).
В Яндекс индексе ее нет, в ошибках сканирования тоже, хотя сайт робот естественно за 2 месяца посещал неоднократно и в sitemap то уж по любому должен был ссылку увидеть...

Собственно если бы речь шла об одной-двух страничках товаров, то как бы и фиг с ним, но хотя я точно не подсчитывал, но на вскидку в индексе отсуствует сильно БОЛЬШАЯ часть всех товаров... из десятка попадает от силы 1-2 наименования.

Винить сам сайт или Viart вроде не в чем, т.к. в Google наличествуют абсолютно все 100% страниц.
Я молчу уж конечно про то, что Google считывает и обновляет всю инфу с сайта в течение суток (а то и несколько раз в течение суток), а Яша такое ощущение что раз в месяц ... но черт уж с ней со скоростью, но по содержимому то блин почему такая разница ?

[oldmanager]

У вас в файле robots.txt совсем не упоминается Яндекс!
Пропишите для его роботов персональные настройки, пользуясь и .
Может поможет

[Anstrem]

У вас в файле robots.txt совсем не упоминается Яндекс!
Пропишите для его роботов персональные настройки, пользуясь и .
Может поможет

А в чем несоответствие рекомендациям то ?
Вот из них выдержка:
"В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' "


И кстати результат проверки указанного выше проблемного URL в меню Яндекс.Webmaster, там как раз где robots.txt подключается:

Результаты проверки URL
URL Результат
разрешен

Т.е. с robots.txt все в порядке - '*' - это значит секция для всех и воспринимается поисковиками однозначно.
Кстати наличие в robot.txt однвременно секций '*' и Yandex - типичная ошибка, о чем уже здесь писал - в этом случае Яндекс против всех правил логики секцию '*' - игнорирует... но это так у них в правилах и написано: "если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются."

[oldmanager]

Можете конечно и так оставить, я не настаиваю. Просто я предложил попробовать вариант...
Вроде все говорят, что Яндекс своенравный и непредсказуемый. Так почему бы его не подмаслить персональными записями в файле?