Сколько мусора в индексе поисковиков!

[qwert]

В индекс поисковиков попало столько хрени из-за того что ссылка "Добавить в корзину" нигде не закрыта... Смотрю у меня в базе яндекса такие ссылки:



И их дохрена. Я вообще думаю нужно в файле robots.txt закрыть /product_details.php и все что после него. Ведь если включены быстрые ссылки то страница товара выглядит как /tovar.html. И надо ссылку "Добавить в корзину" взять везде в noindex и nofollow. Пошел делать.

[phpdude]

с другой стороны это удобно! пользователь сразу поймет что ему пытатся продать что он ищет! )

[qwert]

с другой стороны это удобно! пользователь сразу поймет что ему пытатся продать что он ищет! )

ага
Ну а если серьезно то вот какой должен быть robots.txt, по крайней мере я так сделал:
Disallow: /product_details.php
Disallow: /article_print.php
Disallow: /product_print.php
Disallow: /tell_friend.php
Disallow: /*.html?rnd=
Disallow: /search.php
Disallow: /basket.php

Это если включены ЧПУ. И странно что разработчики это не предусматривают, ведь у Гугл и у других поисковиков такой же синтаксис robots... теперь осталось только в файлах вставить нужные тэги у этих ссылок, чтобы запретить индексацию (хотя она уже запрещена, но явно не помешает это сделать).

[nemo]

А вы проявите "творческий подход" и превратите "мусор" в "конфетку" и полезную вещь. При правильном переименовании, скажем "Корзина" в "Заказать", вы гарантированно получите дополнительный целевой трафик. Пользователь никогда в поисковике не забьёт словосочетание "Розовый слон в корзину", но забьёт "Розовый слон заказать" (купить и т.п.). И "мусор" пропадёт, и релевантность возрастёт, и пользователь всё найдёт... о как, стихами заговорил . Это был бесплатный маленький урок по SEO ("...используй то, что под рукой и не ищи себе другое...).
P.S. проверено не на одном интернет-магазине.

[Krasniy001]

а что делать с мусором который после себя оставляет фильтр?
например:
esi-auy?filter=%26fl3%3D12&tab=spec
?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
и т.д

[nemo]

а что делать с мусором который после себя оставляет фильтр?
например:
esi-auy?filter=%26fl3%3D12&tab=spec
?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
и т.д

Наверное, можно решить и эту задачу, но стоит ли? Поисковики не индексируют по фильтрам. К примеру, у пресловутого Яндекс-маркета URL страницы по результатам фильтрации "Фотоаппараты" > "PENTAX" > "По цене", имеет такой вид _http://market.yandex.ru/guru.xml?CMD=-RR=9,0,0,0-PF=1801946%2BEQ%2Bsel%2B1871591-VIS=1F2-CAT_ID=100514-EXC=1-PG=10&hid=91148&filter=&num=&greed_mode=false

[a2l]

А мне кажется, что подобную задачу можно решить конкретно под поисковики.
Прописать правило, чтобы они игнорировали параметры в поисковой строке.
У Гугла, кстати, в панели для вебмастера есть такая тонкая настройка.

[qwert]

А мне кажется, что подобную задачу можно решить конкретно под поисковики.
Прописать правило, чтобы они игнорировали параметры в поисковой строке.
У Гугла, кстати, в панели для вебмастера есть такая тонкая настройка.

эта проблема решается просто:
Disallow: /*filter=

Вообще советую почитать регулярные выражения в robots.txt на самом яндексе.

[Krasniy001]

Наверное, можно решить и эту задачу, но стоит ли? Поисковики не индексируют по фильтрам. К примеру, у пресловутого Яндекс-маркета URL страницы по результатам фильтрации "Фотоаппараты" > "PENTAX" > "По цене", имеет такой вид _http://market.yandex.ru/guru.xml?CMD=-RR=9,0,0,0-PF=1801946%2BEQ%2Bsel%2B1871591-VIS=1F2-CAT_ID=100514-EXC=1-PG=10&hid=91148&filter=&num=&greed_mode=false

Я затронул эту тему потому что ПС проиндексировали такие url

[nemo]

Ну а если серьезно то вот какой должен быть robots.txt, по крайней мере я так сделал:
Disallow: /product_details.php

Ой... Только обратил внимание... А зачем же запрещать индексирование страниц с детальным описанием товаров? В магазине же это самое главное...

[scalper]

Смотрю у меня в базе яндекса такие ссылки:



И их дохрена. Я вообще думаю нужно в файле robots.txt закрыть /product_details.php и все что после него. Ведь если включены быстрые ссылки то страница товара выглядит как /tovar.html. И надо ссылку "Добавить в корзину" взять везде в noindex и nofollow. Пошел делать.

Сам на днях заметил, что в индекс поисковиков попало много дублей страниц благодаря похожим ссылкам. Запретил индексацию в robots.txt. Ссылка из первого поста закрывается так:
Disallow: /*cart=ADD*

При таком варианте, сама страница с детальным описанием товара не запрещается.

Также, желательно запретить индексацию ссылок на сортировку (по умолчанию, названию, цене..) - они тоже создают ненужные дубли страниц в индексе поисковиков. Закрывается так:
Disallow: /*sort_ord=*

[Krasniy001]

Скажите пожалуйста это правильное правило?

Disallow: /*?manf=*
Disallow: /*?filter=*
Disallow: /*?tab=*

для ссылок вида:
/icpe-9000?filter=%26fl3%3D12
/icpe-9000?manf=12&filter=%26fl3%3D12
/icpe-9000?tab=desc

[Krasniy001]

еще раз возвращаюсь к этой теме т.к. в яше куча мусора

1. что делать с мусором который после себя оставляет фильтр или производитель?
например:
esi-auy?filter=%26fl3%3D12&tab=spec
?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
и т.д
получается на одну страницу с товаром несколько ссылок.

2. Скажите пожалуйста это правильное правило для запрета через robots.txt?

Disallow: /*?manf=*
Disallow: /*?filter=*
Disallow: /*?tab=*

для ссылок вида:
/icpe-9000?filter=%26fl3%3D12
/icpe-9000?manf=12&filter=%26fl3%3D12
/icpe-9000?tab=desc

[Krasniy001]

Почему все игнорируют тему?!

[nemo]

Видимо, потому, что программисты далеко не все разбираются в SEO (и это естественно) и ответ нужно ждать от профи именно в SEO или на соответствующих разделах на самих поисковых системах, например Я не спец, не знаю пока, поэтому и игнорирую.

[Subbota]

правильное.

или так...

User-agent:*
Disallow: /*cart=ADD
Disallow: /*?rnd=
Disallow: /*?manf=
Disallow: /*?filter=
Disallow: /*?sort_ord=
Disallow: /*?sort_dir=
Disallow: /*category_id=
Disallow: /*page=
Disallow: /*?currency_code=
Disallow: /*?item_id=
Disallow: /?gclid=CNj3r_3nlqcCFUco3wodE3wNcw
Disallow: /admin/
Disallow: /db/
Disallow: /product_details.php
Disallow: /products.php
Disallow: /price.php
Disallow: /reviews.php
Disallow: /user_login.php
Disallow: /user_profile.php
Disallow: /search.php
Disallow: /basket.php
Disallow: /support.php
Disallow: /article_print.php
Disallow: /product_print.php
Disallow: /tell_friend.php
Disallow: /site_search.php
Disallow: /mail(магазин).php
User-agent: Yandex
Allow: /
User-agent: asterias
Disallow: /
User-agent: b2w/0.1
Disallow: /
User-agent: BackDoorBot/1.0
Disallow: /
User-agent: Black Hole
Disallow: /
User-agent: BlowFish/1.0
Disallow: /
User-agent: Bookmark search tool
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: Bullseye/1.0
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: Cegbfeieh
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: CherryPicker /1.0
Disallow: /
User-agent: CherryPickerElite/1.0
Disallow: /
User-agent: CherryPickerSE/1.0
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: cosmos
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: FairAd Client
Disallow: /
User-agent: Flaming AttackBot
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: Gaisbot
Disallow: /
User-agent: GetRight/4.2
Disallow: /
User-agent: grub
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: Harvest/1.5
Disallow: /
User-agent: hloader
Disallow: /
User-agent: httplib
Disallow: /
User-agent: humanlinks
Disallow: /
User-agent: InfoNaviRobot
Disallow: /
User-agent: Iron33/1.0.2
Disallow: /
User-agent: JennyBot
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Keyword Density/0.9
Disallow: /
User-agent: larbin
Disallow: /
User-agent: LexiBot
Disallow: /
User-agent: libWeb/clsHTTP
Disallow: /
User-agent: LinkextractorPro
Disallow: /
User-agent: LinkScan/8.1a Unix
Disallow: /
User-agent: LinkWalker
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: lwp-trivial
Disallow: /
User-agent: lwp-trivial/1.34
Disallow: /
User-agent: Mata Hari
Disallow: /
User-agent: Microsoft URL Control
Disallow: /
User-agent: Microsoft URL Control - 5.01.4511
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: MIIxpc/4.2
Disallow: /
User-agent: Mister PiX
Disallow: /
User-agent: moget
Disallow: /
User-agent: moget/2.1
Disallow: /
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: NetAnts
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: NICErsPRO
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Openbot
Disallow: /
User-agent: Openfind
Disallow: /
User-agent: Openfind data gathere
Disallow: /
User-agent: Oracle Ultra Search
Disallow: /
User-agent: PerMan
Disallow: /
User-agent: ProPowerBot/2.14
Disallow: /
User-agent: ProWebWalker
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: QueryN Metasearch
Disallow: /
User-agent: Radiation Retriever 1.1
Disallow: /
User-agent: RepoMonkey
Disallow: /
User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /
User-agent: RMA
Disallow: /
User-agent: searchpreview
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: SpankBot
Disallow: /
User-agent: spanner
Disallow: /
User-agent: suzuran
Disallow: /
User-agent: Szukacz/1.4
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: Telesoft
Disallow: /
User-agent: The Intraformant
Disallow: /
User-agent: TheNomad
Disallow: /
User-agent: TightTwatBot
Disallow: /
User-agent: Titan
Disallow: /
User-agent: toCrawl/UrlDispatcher
Disallow: /
User-agent: True_Robot
Disallow: /
User-agent: True_Robot/1.0
Disallow: /
User-agent: turingos
Disallow: /
User-agent: URL Control
Disallow: /
User-agent: URL_Spider_Pro
Disallow: /
User-agent: URLy Warning
Disallow: /
User-agent: VCI
Disallow: /
User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /
User-agent: Web Image Collector
Disallow: /
User-agent: WebAuto
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: WebBandit/3.50
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: WebEnhancer
Disallow: /
User-agent: WebmasterWorldForumBot
Disallow: /
User-agent: WebSauger
Disallow: /
User-agent: Website Quester
Disallow: /
User-agent: Webster Pro
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebZip
Disallow: /
User-agent: WebZip/4.0
Disallow: /
User-agent: Wget
Disallow: /
User-agent: Wget/1.5.3
Disallow: /
User-agent: Wget/1.6
Disallow: /
User-agent: WWW-Collector-E
Disallow: /
User-agent: Xenu's
Disallow: /
User-agent: Xenu's Link Sleuth 1.1c
Disallow: /
User-agent: Zeus
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /
User-agent: Zeus Link Scout
Disallow: /

[foksik]

А вот вопрос у меня такой. Там где перечисленны User-agent`ы, откуда вообще этот список? Например, я там увидел User-agent: TeleportPro, это же прога которая сайты выкачивает. Мне кажется она врятли будет реагировать на запреты в robots.txt
Мне всегда казалось, что под User-agent подразумеваются только поисковики...

[Subbota]

Есть определенные правила составления robots.txt. можете об этом в инете подробно почитать. Данный robots.txt составлялся под иой мой проект, и запрет на индексацию тех страниц, которые не нужны были мне для индексации. Возможно и есть ошибки, но они не критические и от Вашего недуга - помогут.

[Shmasser]

У меня проблема с повышенной нагрузкой сайта на сервер. Повидимому это происходит в моменты заходов на сайт ботов. В связи с этим вопрос.
Правильно ли в robots.txt, для уменьшения нагрузки, запретить к индексации след. папки:
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /styles/
Disallow: /payments/
Disallow: /preview/
Disallow: /sms/
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /styles/
Disallow: /payments/
Disallow: /preview/
Disallow: /sms/
Host: mysite.ru
Есть кто в курсе?
А почитать
И ещё здесь >>>

[Samodelkin]

Как я уже однажды писал у меня была проблема с нагрузкой на виртуальный хостинг при заходе роботов (не с этим скриптом)
решал так:
В robots.txt прописываем

User-agent: Yandex
Crawl-delay: 60 

Тем самым указываем яндексу сканировать страницы раз в одну минуту