Сколько мусора в индексе поисковиков!

[qwert]

В индекс поисковиков попало столько хрени из-за того что ссылка "Добавить в корзину" нигде не закрыта... Смотрю у меня в базе яндекса такие ссылки:



И их дохрена. Я вообще думаю нужно в файле robots.txt закрыть /product_details.php и все что после него. Ведь если включены быстрые ссылки то страница товара выглядит как /tovar.html. И надо ссылку "Добавить в корзину" взять везде в noindex и nofollow. Пошел делать.

[phpdude]

с другой стороны это удобно! пользователь сразу поймет что ему пытатся продать что он ищет! )

[qwert]

с другой стороны это удобно! пользователь сразу поймет что ему пытатся продать что он ищет! )

ага
Ну а если серьезно то вот какой должен быть robots.txt, по крайней мере я так сделал:
Disallow: /product_details.php
Disallow: /article_print.php
Disallow: /product_print.php
Disallow: /tell_friend.php
Disallow: /*.html?rnd=
Disallow: /search.php
Disallow: /basket.php

Это если включены ЧПУ. И странно что разработчики это не предусматривают, ведь у Гугл и у других поисковиков такой же синтаксис robots... теперь осталось только в файлах вставить нужные тэги у этих ссылок, чтобы запретить индексацию (хотя она уже запрещена, но явно не помешает это сделать).

[nemo]

А вы проявите "творческий подход" и превратите "мусор" в "конфетку" и полезную вещь. При правильном переименовании, скажем "Корзина" в "Заказать", вы гарантированно получите дополнительный целевой трафик. Пользователь никогда в поисковике не забьёт словосочетание "Розовый слон в корзину", но забьёт "Розовый слон заказать" (купить и т.п.). И "мусор" пропадёт, и релевантность возрастёт, и пользователь всё найдёт... о как, стихами заговорил . Это был бесплатный маленький урок по SEO ("...используй то, что под рукой и не ищи себе другое...).
P.S. проверено не на одном интернет-магазине.

[Krasniy001]

а что делать с мусором который после себя оставляет фильтр?
например:
esi-auy?filter=%26fl3%3D12&tab=spec
?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
и т.д

[nemo]

а что делать с мусором который после себя оставляет фильтр?
например:
esi-auy?filter=%26fl3%3D12&tab=spec
?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
и т.д

Наверное, можно решить и эту задачу, но стоит ли? Поисковики не индексируют по фильтрам. К примеру, у пресловутого Яндекс-маркета URL страницы по результатам фильтрации "Фотоаппараты" > "PENTAX" > "По цене", имеет такой вид _http://market.yandex.ru/guru.xml?CMD=-RR=9,0,0,0-PF=1801946%2BEQ%2Bsel%2B1871591-VIS=1F2-CAT_ID=100514-EXC=1-PG=10&hid=91148&filter=&num=&greed_mode=false

[a2l]

А мне кажется, что подобную задачу можно решить конкретно под поисковики.
Прописать правило, чтобы они игнорировали параметры в поисковой строке.
У Гугла, кстати, в панели для вебмастера есть такая тонкая настройка.

[qwert]

А мне кажется, что подобную задачу можно решить конкретно под поисковики.
Прописать правило, чтобы они игнорировали параметры в поисковой строке.
У Гугла, кстати, в панели для вебмастера есть такая тонкая настройка.

эта проблема решается просто:
Disallow: /*filter=

Вообще советую почитать регулярные выражения в robots.txt на самом яндексе.

[Krasniy001]

Наверное, можно решить и эту задачу, но стоит ли? Поисковики не индексируют по фильтрам. К примеру, у пресловутого Яндекс-маркета URL страницы по результатам фильтрации "Фотоаппараты" > "PENTAX" > "По цене", имеет такой вид _http://market.yandex.ru/guru.xml?CMD=-RR=9,0,0,0-PF=1801946%2BEQ%2Bsel%2B1871591-VIS=1F2-CAT_ID=100514-EXC=1-PG=10&hid=91148&filter=&num=&greed_mode=false

Я затронул эту тему потому что ПС проиндексировали такие url

[nemo]

Ну а если серьезно то вот какой должен быть robots.txt, по крайней мере я так сделал:
Disallow: /product_details.php

Ой... Только обратил внимание... А зачем же запрещать индексирование страниц с детальным описанием товаров? В магазине же это самое главное...

[scalper]

Смотрю у меня в базе яндекса такие ссылки:



И их дохрена. Я вообще думаю нужно в файле robots.txt закрыть /product_details.php и все что после него. Ведь если включены быстрые ссылки то страница товара выглядит как /tovar.html. И надо ссылку "Добавить в корзину" взять везде в noindex и nofollow. Пошел делать.

Сам на днях заметил, что в индекс поисковиков попало много дублей страниц благодаря похожим ссылкам. Запретил индексацию в robots.txt. Ссылка из первого поста закрывается так:
Disallow: /*cart=ADD*

При таком варианте, сама страница с детальным описанием товара не запрещается.

Также, желательно запретить индексацию ссылок на сортировку (по умолчанию, названию, цене..) - они тоже создают ненужные дубли страниц в индексе поисковиков. Закрывается так:
Disallow: /*sort_ord=*

[Krasniy001]

Скажите пожалуйста это правильное правило?

Disallow: /*?manf=*
Disallow: /*?filter=*
Disallow: /*?tab=*

для ссылок вида:
/icpe-9000?filter=%26fl3%3D12
/icpe-9000?manf=12&filter=%26fl3%3D12
/icpe-9000?tab=desc

еще раз возвращаюсь к этой теме т.к. в яше куча мусора

1. что делать с мусором который после себя оставляет фильтр или производитель?
например:
esi-auy?filter=%26fl3%3D12&tab=spec
?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
и т.д
получается на одну страницу с товаром несколько ссылок.

2. Скажите пожалуйста это правильное правило для запрета через robots.txt?

Disallow: /*?manf=*
Disallow: /*?filter=*
Disallow: /*?tab=*

для ссылок вида:
/icpe-9000?filter=%26fl3%3D12
/icpe-9000?manf=12&filter=%26fl3%3D12
/icpe-9000?tab=desc

Почему все игнорируют тему?!

[nemo]

Видимо, потому, что программисты далеко не все разбираются в SEO (и это естественно) и ответ нужно ждать от профи именно в SEO или на соответствующих разделах на самих поисковых системах, например Я не спец, не знаю пока, поэтому и игнорирую.

[Subbota]

правильное.

или так...

User-agent:*
Disallow: /*cart=ADD
Disallow: /*?rnd=
Disallow: /*?manf=
Disallow: /*?filter=
Disallow: /*?sort_ord=
Disallow: /*?sort_dir=
Disallow: /*category_id=
Disallow: /*page=
Disallow: /*?currency_code=
Disallow: /*?item_id=
Disallow: /?gclid=CNj3r_3nlqcCFUco3wodE3wNcw
Disallow: /admin/
Disallow: /db/
Disallow: /product_details.php
Disallow: /products.php
Disallow: /price.php
Disallow: /reviews.php
Disallow: /user_login.php
Disallow: /user_profile.php
Disallow: /search.php
Disallow: /basket.php
Disallow: /support.php
Disallow: /article_print.php
Disallow: /product_print.php
Disallow: /tell_friend.php
Disallow: /site_search.php
Disallow: /mail(магазин).php
User-agent: Yandex
Allow: /
User-agent: asterias
Disallow: /
User-agent: b2w/0.1
Disallow: /
User-agent: BackDoorBot/1.0
Disallow: /
User-agent: Black Hole
Disallow: /
User-agent: BlowFish/1.0
Disallow: /
User-agent: Bookmark search tool
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: Bullseye/1.0
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: Cegbfeieh
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: CherryPicker /1.0
Disallow: /
User-agent: CherryPickerElite/1.0
Disallow: /
User-agent: CherryPickerSE/1.0
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: cosmos
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: FairAd Client
Disallow: /
User-agent: Flaming AttackBot
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: Gaisbot
Disallow: /
User-agent: GetRight/4.2
Disallow: /
User-agent: grub
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: Harvest/1.5
Disallow: /
User-agent: hloader
Disallow: /
User-agent: httplib
Disallow: /
User-agent: humanlinks
Disallow: /
User-agent: InfoNaviRobot
Disallow: /
User-agent: Iron33/1.0.2
Disallow: /
User-agent: JennyBot
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Keyword Density/0.9
Disallow: /
User-agent: larbin
Disallow: /
User-agent: LexiBot
Disallow: /
User-agent: libWeb/clsHTTP
Disallow: /
User-agent: LinkextractorPro
Disallow: /
User-agent: LinkScan/8.1a Unix
Disallow: /
User-agent: LinkWalker
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: lwp-trivial
Disallow: /
User-agent: lwp-trivial/1.34
Disallow: /
User-agent: Mata Hari
Disallow: /
User-agent: Microsoft URL Control
Disallow: /
User-agent: Microsoft URL Control - 5.01.4511
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: MIIxpc/4.2
Disallow: /
User-agent: Mister PiX
Disallow: /
User-agent: moget
Disallow: /
User-agent: moget/2.1
Disallow: /
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: NetAnts
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: NICErsPRO
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Openbot
Disallow: /
User-agent: Openfind
Disallow: /
User-agent: Openfind data gathere
Disallow: /
User-agent: Oracle Ultra Search
Disallow: /
User-agent: PerMan
Disallow: /
User-agent: ProPowerBot/2.14
Disallow: /
User-agent: ProWebWalker
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: QueryN Metasearch
Disallow: /
User-agent: Radiation Retriever 1.1
Disallow: /
User-agent: RepoMonkey
Disallow: /
User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /
User-agent: RMA
Disallow: /
User-agent: searchpreview
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: SpankBot
Disallow: /
User-agent: spanner
Disallow: /
User-agent: suzuran
Disallow: /
User-agent: Szukacz/1.4
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: Telesoft
Disallow: /
User-agent: The Intraformant
Disallow: /
User-agent: TheNomad
Disallow: /
User-agent: TightTwatBot
Disallow: /
User-agent: Titan
Disallow: /
User-agent: toCrawl/UrlDispatcher
Disallow: /
User-agent: True_Robot
Disallow: /
User-agent: True_Robot/1.0
Disallow: /
User-agent: turingos
Disallow: /
User-agent: URL Control
Disallow: /
User-agent: URL_Spider_Pro
Disallow: /
User-agent: URLy Warning
Disallow: /
User-agent: VCI
Disallow: /
User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /
User-agent: Web Image Collector
Disallow: /
User-agent: WebAuto
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: WebBandit/3.50
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: WebEnhancer
Disallow: /
User-agent: WebmasterWorldForumBot
Disallow: /
User-agent: WebSauger
Disallow: /
User-agent: Website Quester
Disallow: /
User-agent: Webster Pro
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebZip
Disallow: /
User-agent: WebZip/4.0
Disallow: /
User-agent: Wget
Disallow: /
User-agent: Wget/1.5.3
Disallow: /
User-agent: Wget/1.6
Disallow: /
User-agent: WWW-Collector-E
Disallow: /
User-agent: Xenu's
Disallow: /
User-agent: Xenu's Link Sleuth 1.1c
Disallow: /
User-agent: Zeus
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /
User-agent: Zeus Link Scout
Disallow: /

[foksik]

А вот вопрос у меня такой. Там где перечисленны User-agent`ы, откуда вообще этот список? Например, я там увидел User-agent: TeleportPro, это же прога которая сайты выкачивает. Мне кажется она врятли будет реагировать на запреты в robots.txt
Мне всегда казалось, что под User-agent подразумеваются только поисковики...

[Subbota]

Есть определенные правила составления robots.txt. можете об этом в инете подробно почитать. Данный robots.txt составлялся под иой мой проект, и запрет на индексацию тех страниц, которые не нужны были мне для индексации. Возможно и есть ошибки, но они не критические и от Вашего недуга - помогут.

[Shmasser]

У меня проблема с повышенной нагрузкой сайта на сервер. Повидимому это происходит в моменты заходов на сайт ботов. В связи с этим вопрос.
Правильно ли в robots.txt, для уменьшения нагрузки, запретить к индексации след. папки:
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /styles/
Disallow: /payments/
Disallow: /preview/
Disallow: /sms/
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /styles/
Disallow: /payments/
Disallow: /preview/
Disallow: /sms/
Host: mysite.ru
Есть кто в курсе?
А почитать
И ещё здесь >>>

[Samodelkin]

Как я уже однажды писал у меня была проблема с нагрузкой на виртуальный хостинг при заходе роботов (не с этим скриптом)
решал так:
В robots.txt прописываем

User-agent: Yandex
Crawl-delay: 60 

Тем самым указываем яндексу сканировать страницы раз в одну минуту

[gromov]

в то время, когда создавалась тема, я как-то активно плевал на подобные "тонкие" настройки , да и не seo тоже сомтрел с другой позиции

сейчас, плотно занимаясь оптимизацией и продвижением, понимаю, сколько мусора таки лезет в выдачу
оно вроде бы как и ничего страшного, если бы не новые фильтры от Яшки за зеркала страниц и различный тех мусор.

один из самых старых моих проектов сделан как-раз на viartshop script (до сих пор стоит 3.6, модифицированная всячески)
-11тыс страниц на апе яндекса - многие веб-мастера после подобного пьют что-то от сердца
т.к. сам по себе проект для меня уже был не суть важен, просто увидел факт резких скачков страниц из индекса - в индекс, решил посмотреть внимательнее, что же там так прыгает.

часть страниц удалялась явно за неуник контент (до 15% от общего объема), остальными были различные технические страницы

в общем, это все лирика, из важного:

1. в список нужно(можно) добавить Disallow: /reviews.php/
(в моем проекте это было критично важно - более 6тыс товаров, из которых до 20 всего имели отзывы, из них 15 - на уровне "круто", "спасибо", "ух ты". Но при этом каждый товар в выдачу тянет и пустую, практически, страницу с формой заполнения отзыва и списком отзывов. Выставил настройки "отзывы могут оставлять только зарегистрированные", чтобы меньше спам шел, и забанил индексирование этого дела.)
(явный минус - если вы продвигаетесь за счет уникальных комментов или они у вас идут естественным путем, то запрещать индексирование этого дела не с руки. Тогда нужно следить за тем, чтобы все товары имели развернуты (знаков от 200 БП) осмысленные уникальные комменты)

2. по факту удаления из выдачи разного мусора на следующем апе выдачи я обнаружил резкий рост в позициях по Яшке - до +40 и выход в топ по ВЧ. Я уверен, что никаких больше действий с сайтом не было.

делаем выводы

ps всем привет ) спс, что я все еще в обойме

[nemo]

Наблюдаю за одним из проектов тоже ещё на прежней версии 3.6. Версия практически со всеми последними обновлениями для неё, пока она была актуальна. Кроме файла robots.txt заполненного согласно рекомендаций этого форума, страницы содержат тег canonical url (для этой версии есть только в нашем дистрибутиве). В индексе Гугла и Яндекса страниц столько, сколько в карте сайта, т.е. статьи, товары. Почти ничего лишнего. "Мусора" практически нет.