+ Ответить в теме
Страница 1 из 2 1 2 ПоследняяПоследняя
Показано с 1 по 20 из 39
  1. #1
    Заблокирован qwert скоро придёт к известности qwert скоро придёт к известности
    Регистрация
    18.11.2009
    Адрес
    Russia, Irkutsk
    Возраст
    27
    Сообщений
    80
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    0 Всего
    Загрузки
    0
    Закачек
    0
    Вес репутации
    0

    По умолчанию Сколько мусора в индексе поисковиков!

    В индекс поисковиков попало столько хрени из-за того что ссылка "Добавить в корзину" нигде не закрыта... Смотрю у меня в базе яндекса такие ссылки:



    И их дохрена. Я вообще думаю нужно в файле robots.txt закрыть /product_details.php и все что после него. Ведь если включены быстрые ссылки то страница товара выглядит как /tovar.html. И надо ссылку "Добавить в корзину" взять везде в noindex и nofollow. Пошел делать.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  2. #2
    Пользователь phpdude - весьма и весьма положительная личность phpdude - весьма и весьма положительная личность phpdude - весьма и весьма положительная личность
    Регистрация
    18.08.2009
    Адрес
    в ... урал.
    Сообщений
    37
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    0 Всего
    Загрузки
    0
    Закачек
    0
    Вес репутации
    14

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    с другой стороны это удобно! пользователь сразу поймет что ему пытатся продать что он ищет! )
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  3. #3
    Заблокирован qwert скоро придёт к известности qwert скоро придёт к известности
    Регистрация
    18.11.2009
    Адрес
    Russia, Irkutsk
    Возраст
    27
    Сообщений
    80
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    0 Всего
    Загрузки
    0
    Закачек
    0
    Вес репутации
    0

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Цитата Сообщение от phpdude Посмотреть сообщение
    с другой стороны это удобно! пользователь сразу поймет что ему пытатся продать что он ищет! )
    ага
    Ну а если серьезно то вот какой должен быть robots.txt, по крайней мере я так сделал:
    Disallow: /product_details.php
    Disallow: /article_print.php
    Disallow: /product_print.php
    Disallow: /tell_friend.php
    Disallow: /*.html?rnd=
    Disallow: /search.php
    Disallow: /basket.php

    Это если включены ЧПУ. И странно что разработчики это не предусматривают, ведь у Гугл и у других поисковиков такой же синтаксис robots... теперь осталось только в файлах вставить нужные тэги у этих ссылок, чтобы запретить индексацию (хотя она уже запрещена, но явно не помешает это сделать).
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  4. #4
    ViArts Team nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима
    Регистрация
    01.04.2009
    Сообщений
    1,564
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    50 Всего
    Загрузки
    12
    Закачек
    2
    Вес репутации
    10

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    А вы проявите "творческий подход" и превратите "мусор" в "конфетку" и полезную вещь. При правильном переименовании, скажем "Корзина" в "Заказать", вы гарантированно получите дополнительный целевой трафик. Пользователь никогда в поисковике не забьёт словосочетание "Розовый слон в корзину", но забьёт "Розовый слон заказать" (купить и т.п.). И "мусор" пропадёт, и релевантность возрастёт, и пользователь всё найдёт... о как, стихами заговорил . Это был бесплатный маленький урок по SEO ("...используй то, что под рукой и не ищи себе другое...).
    P.S. проверено не на одном интернет-магазине.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  5. #5
    Сообщество ViArts Krasniy001 - весьма и весьма положительная личность Krasniy001 - весьма и весьма положительная личность Krasniy001 - весьма и весьма положительная личность
    Регистрация
    09.08.2009
    Возраст
    29
    Сообщений
    409
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    27 Всего
    Загрузки
    8
    Закачек
    0
    Вес репутации
    18

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    а что делать с мусором который после себя оставляет фильтр?
    например:
    esi-auy?filter=%26fl3%3D12&tab=spec
    ?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
    и т.д
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  6. #6
    ViArts Team nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима
    Регистрация
    01.04.2009
    Сообщений
    1,564
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    50 Всего
    Загрузки
    12
    Закачек
    2
    Вес репутации
    10

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Цитата Сообщение от Krasniy001 Посмотреть сообщение
    а что делать с мусором который после себя оставляет фильтр?
    например:
    esi-auy?filter=%26fl3%3D12&tab=spec
    ?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
    и т.д
    Наверное, можно решить и эту задачу, но стоит ли? Поисковики не индексируют по фильтрам. К примеру, у пресловутого Яндекс-маркета URL страницы по результатам фильтрации "Фотоаппараты" > "PENTAX" > "По цене", имеет такой вид _http://market.yandex.ru/guru.xml?CMD=-RR=9,0,0,0-PF=1801946%2BEQ%2Bsel%2B1871591-VIS=1F2-CAT_ID=100514-EXC=1-PG=10&hid=91148&filter=&num=&greed_mode=false
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  7. #7
    a2l
    a2l вне форума
    Сообщество ViArts a2l как роза среди колючек a2l как роза среди колючек a2l как роза среди колючек a2l как роза среди колючек
    Регистрация
    28.07.2009
    Адрес
    Где-то в мире. Рядом с Сетью.
    Возраст
    28
    Сообщений
    140
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    0 Всего
    Загрузки
    0
    Закачек
    0
    Вес репутации
    16

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    А мне кажется, что подобную задачу можно решить конкретно под поисковики.
    Прописать правило, чтобы они игнорировали параметры в поисковой строке.
    У Гугла, кстати, в панели для вебмастера есть такая тонкая настройка.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  8. #8
    Заблокирован qwert скоро придёт к известности qwert скоро придёт к известности
    Регистрация
    18.11.2009
    Адрес
    Russia, Irkutsk
    Возраст
    27
    Сообщений
    80
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    0 Всего
    Загрузки
    0
    Закачек
    0
    Вес репутации
    0

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Цитата Сообщение от a2l Посмотреть сообщение
    А мне кажется, что подобную задачу можно решить конкретно под поисковики.
    Прописать правило, чтобы они игнорировали параметры в поисковой строке.
    У Гугла, кстати, в панели для вебмастера есть такая тонкая настройка.
    эта проблема решается просто:
    Disallow: /*filter=

    Вообще советую почитать регулярные выражения в robots.txt на самом яндексе.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  9. #9
    Сообщество ViArts Krasniy001 - весьма и весьма положительная личность Krasniy001 - весьма и весьма положительная личность Krasniy001 - весьма и весьма положительная личность
    Регистрация
    09.08.2009
    Возраст
    29
    Сообщений
    409
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    27 Всего
    Загрузки
    8
    Закачек
    0
    Вес репутации
    18

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Цитата Сообщение от nemo Посмотреть сообщение
    Наверное, можно решить и эту задачу, но стоит ли? Поисковики не индексируют по фильтрам. К примеру, у пресловутого Яндекс-маркета URL страницы по результатам фильтрации "Фотоаппараты" > "PENTAX" > "По цене", имеет такой вид _http://market.yandex.ru/guru.xml?CMD=-RR=9,0,0,0-PF=1801946%2BEQ%2Bsel%2B1871591-VIS=1F2-CAT_ID=100514-EXC=1-PG=10&hid=91148&filter=&num=&greed_mode=false
    Я затронул эту тему потому что ПС проиндексировали такие url
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  10. #10
    ViArts Team nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима
    Регистрация
    01.04.2009
    Сообщений
    1,564
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    50 Всего
    Загрузки
    12
    Закачек
    2
    Вес репутации
    10

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Цитата Сообщение от qwert Посмотреть сообщение
    Ну а если серьезно то вот какой должен быть robots.txt, по крайней мере я так сделал:
    Disallow: /product_details.php
    Ой... Только обратил внимание... А зачем же запрещать индексирование страниц с детальным описанием товаров? В магазине же это самое главное...
    Интернет-магазин на Viart Shop, это не так сложно и страшно, как кажется...
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  11. #11
    Пользователь scalper - весьма и весьма положительная личность scalper - весьма и весьма положительная личность scalper - весьма и весьма положительная личность
    Регистрация
    07.05.2009
    Адрес
    Kiev, Ukraine
    Сообщений
    33
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    1 Всего
    Загрузки
    2
    Закачек
    0
    Вес репутации
    15

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Цитата Сообщение от qwert Посмотреть сообщение
    Смотрю у меня в базе яндекса такие ссылки:



    И их дохрена. Я вообще думаю нужно в файле robots.txt закрыть /product_details.php и все что после него. Ведь если включены быстрые ссылки то страница товара выглядит как /tovar.html. И надо ссылку "Добавить в корзину" взять везде в noindex и nofollow. Пошел делать.
    Сам на днях заметил, что в индекс поисковиков попало много дублей страниц благодаря похожим ссылкам. Запретил индексацию в robots.txt. Ссылка из первого поста закрывается так:
    Disallow: /*cart=ADD*

    При таком варианте, сама страница с детальным описанием товара не запрещается.

    Также, желательно запретить индексацию ссылок на сортировку (по умолчанию, названию, цене..) - они тоже создают ненужные дубли страниц в индексе поисковиков. Закрывается так:
    Disallow: /*sort_ord=*
    Последний раз редактировалось scalper; 25.01.2010 в 00:19.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  12. #12
    Сообщество ViArts Krasniy001 - весьма и весьма положительная личность Krasniy001 - весьма и весьма положительная личность Krasniy001 - весьма и весьма положительная личность
    Регистрация
    09.08.2009
    Возраст
    29
    Сообщений
    409
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    27 Всего
    Загрузки
    8
    Закачек
    0
    Вес репутации
    18

    По умолчанию

    Скажите пожалуйста это правильное правило?

    Disallow: /*?manf=*
    Disallow: /*?filter=*
    Disallow: /*?tab=*

    для ссылок вида:
    /icpe-9000?filter=%26fl3%3D12
    /icpe-9000?manf=12&filter=%26fl3%3D12
    /icpe-9000?tab=desc

    еще раз возвращаюсь к этой теме т.к. в яше куча мусора

    1. что делать с мусором который после себя оставляет фильтр или производитель?
    например:
    esi-auy?filter=%26fl3%3D12&tab=spec
    ?manf=12&filter=%26fl3%3D12%26fl2%3D%D1%F2%E0%ED%E 4%E0%F0%F2%ED%FB%E5
    и т.д
    получается на одну страницу с товаром несколько ссылок.

    2. Скажите пожалуйста это правильное правило для запрета через robots.txt?

    Disallow: /*?manf=*
    Disallow: /*?filter=*
    Disallow: /*?tab=*

    для ссылок вида:
    /icpe-9000?filter=%26fl3%3D12
    /icpe-9000?manf=12&filter=%26fl3%3D12
    /icpe-9000?tab=desc

    Почему все игнорируют тему?!
    Последний раз редактировалось Subbota; 21.09.2012 в 00:43.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  13. #13
    ViArts Team nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима
    Регистрация
    01.04.2009
    Сообщений
    1,564
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    50 Всего
    Загрузки
    12
    Закачек
    2
    Вес репутации
    10

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Видимо, потому, что программисты далеко не все разбираются в SEO (и это естественно) и ответ нужно ждать от профи именно в SEO или на соответствующих разделах на самих поисковых системах, например Я не спец, не знаю пока, поэтому и игнорирую.
    Интернет-магазин на Viart Shop, это не так сложно и страшно, как кажется...
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  14. #14
    Moderator Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится
    Регистрация
    28.02.2010
    Сообщений
    471
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    95 Всего
    Загрузки
    32
    Закачек
    0
    Вес репутации
    28

    По умолчанию robots.txt

    правильное.

    или так...

    User-agent:*
    Disallow: /*cart=ADD
    Disallow: /*?rnd=
    Disallow: /*?manf=
    Disallow: /*?filter=
    Disallow: /*?sort_ord=
    Disallow: /*?sort_dir=
    Disallow: /*category_id=
    Disallow: /*page=
    Disallow: /*?currency_code=
    Disallow: /*?item_id=
    Disallow: /?gclid=CNj3r_3nlqcCFUco3wodE3wNcw
    Disallow: /admin/
    Disallow: /db/
    Disallow: /product_details.php
    Disallow: /products.php
    Disallow: /price.php
    Disallow: /reviews.php
    Disallow: /user_login.php
    Disallow: /user_profile.php
    Disallow: /search.php
    Disallow: /basket.php
    Disallow: /support.php
    Disallow: /article_print.php
    Disallow: /product_print.php
    Disallow: /tell_friend.php
    Disallow: /site_search.php
    Disallow: /mail(магазин).php
    User-agent: Yandex
    Allow: /
    User-agent: asterias
    Disallow: /
    User-agent: b2w/0.1
    Disallow: /
    User-agent: BackDoorBot/1.0
    Disallow: /
    User-agent: Black Hole
    Disallow: /
    User-agent: BlowFish/1.0
    Disallow: /
    User-agent: Bookmark search tool
    Disallow: /
    User-agent: BotALot
    Disallow: /
    User-agent: BuiltBotTough
    Disallow: /
    User-agent: Bullseye/1.0
    Disallow: /
    User-agent: BunnySlippers
    Disallow: /
    User-agent: Cegbfeieh
    Disallow: /
    User-agent: CheeseBot
    Disallow: /
    User-agent: CherryPicker
    Disallow: /
    User-agent: CherryPicker /1.0
    Disallow: /
    User-agent: CherryPickerElite/1.0
    Disallow: /
    User-agent: CherryPickerSE/1.0
    Disallow: /
    User-agent: CopyRightCheck
    Disallow: /
    User-agent: cosmos
    Disallow: /
    User-agent: Crescent
    Disallow: /
    User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
    Disallow: /
    User-agent: DittoSpyder
    Disallow: /
    User-agent: EmailCollector
    Disallow: /
    User-agent: EmailSiphon
    Disallow: /
    User-agent: EmailWolf
    Disallow: /
    User-agent: EroCrawler
    Disallow: /
    User-agent: ExtractorPro
    Disallow: /
    User-agent: FairAd Client
    Disallow: /
    User-agent: Flaming AttackBot
    Disallow: /
    User-agent: Foobot
    Disallow: /
    User-agent: Gaisbot
    Disallow: /
    User-agent: GetRight/4.2
    Disallow: /
    User-agent: grub
    Disallow: /
    User-agent: grub-client
    Disallow: /
    User-agent: Harvest/1.5
    Disallow: /
    User-agent: hloader
    Disallow: /
    User-agent: httplib
    Disallow: /
    User-agent: humanlinks
    Disallow: /
    User-agent: InfoNaviRobot
    Disallow: /
    User-agent: Iron33/1.0.2
    Disallow: /
    User-agent: JennyBot
    Disallow: /
    User-agent: Kenjin Spider
    Disallow: /
    User-agent: Kenjin Spider
    Disallow: /
    User-agent: Keyword Density/0.9
    Disallow: /
    User-agent: larbin
    Disallow: /
    User-agent: LexiBot
    Disallow: /
    User-agent: libWeb/clsHTTP
    Disallow: /
    User-agent: LinkextractorPro
    Disallow: /
    User-agent: LinkScan/8.1a Unix
    Disallow: /
    User-agent: LinkWalker
    Disallow: /
    User-agent: LNSpiderguy
    Disallow: /
    User-agent: lwp-trivial
    Disallow: /
    User-agent: lwp-trivial/1.34
    Disallow: /
    User-agent: Mata Hari
    Disallow: /
    User-agent: Microsoft URL Control
    Disallow: /
    User-agent: Microsoft URL Control - 5.01.4511
    Disallow: /
    User-agent: Microsoft URL Control - 6.00.8169
    Disallow: /
    User-agent: MIIxpc
    Disallow: /
    User-agent: MIIxpc/4.2
    Disallow: /
    User-agent: Mister PiX
    Disallow: /
    User-agent: moget
    Disallow: /
    User-agent: moget/2.1
    Disallow: /
    User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
    Disallow: /
    User-agent: MSIECrawler
    Disallow: /
    User-agent: NetAnts
    Disallow: /
    User-agent: NetMechanic
    Disallow: /
    User-agent: NICErsPRO
    Disallow: /
    User-agent: Offline Explorer
    Disallow: /
    User-agent: Openbot
    Disallow: /
    User-agent: Openfind
    Disallow: /
    User-agent: Openfind data gathere
    Disallow: /
    User-agent: Oracle Ultra Search
    Disallow: /
    User-agent: PerMan
    Disallow: /
    User-agent: ProPowerBot/2.14
    Disallow: /
    User-agent: ProWebWalker
    Disallow: /
    User-agent: Python-urllib
    Disallow: /
    User-agent: QueryN Metasearch
    Disallow: /
    User-agent: Radiation Retriever 1.1
    Disallow: /
    User-agent: RepoMonkey
    Disallow: /
    User-agent: RepoMonkey Bait & Tackle/v1.01
    Disallow: /
    User-agent: RMA
    Disallow: /
    User-agent: searchpreview
    Disallow: /
    User-agent: SiteSnagger
    Disallow: /
    User-agent: SpankBot
    Disallow: /
    User-agent: spanner
    Disallow: /
    User-agent: suzuran
    Disallow: /
    User-agent: Szukacz/1.4
    Disallow: /
    User-agent: Teleport
    Disallow: /
    User-agent: TeleportPro
    Disallow: /
    User-agent: Telesoft
    Disallow: /
    User-agent: The Intraformant
    Disallow: /
    User-agent: TheNomad
    Disallow: /
    User-agent: TightTwatBot
    Disallow: /
    User-agent: Titan
    Disallow: /
    User-agent: toCrawl/UrlDispatcher
    Disallow: /
    User-agent: True_Robot
    Disallow: /
    User-agent: True_Robot/1.0
    Disallow: /
    User-agent: turingos
    Disallow: /
    User-agent: URL Control
    Disallow: /
    User-agent: URL_Spider_Pro
    Disallow: /
    User-agent: URLy Warning
    Disallow: /
    User-agent: VCI
    Disallow: /
    User-agent: VCI WebViewer VCI WebViewer Win32
    Disallow: /
    User-agent: Web Image Collector
    Disallow: /
    User-agent: WebAuto
    Disallow: /
    User-agent: WebBandit
    Disallow: /
    User-agent: WebBandit/3.50
    Disallow: /
    User-agent: WebCopier
    Disallow: /
    User-agent: WebEnhancer
    Disallow: /
    User-agent: WebmasterWorldForumBot
    Disallow: /
    User-agent: WebSauger
    Disallow: /
    User-agent: Website Quester
    Disallow: /
    User-agent: Webster Pro
    Disallow: /
    User-agent: WebStripper
    Disallow: /
    User-agent: WebZip
    Disallow: /
    User-agent: WebZip/4.0
    Disallow: /
    User-agent: Wget
    Disallow: /
    User-agent: Wget/1.5.3
    Disallow: /
    User-agent: Wget/1.6
    Disallow: /
    User-agent: WWW-Collector-E
    Disallow: /
    User-agent: Xenu's
    Disallow: /
    User-agent: Xenu's Link Sleuth 1.1c
    Disallow: /
    User-agent: Zeus
    Disallow: /
    User-agent: Zeus 32297 Webster Pro V2.9 Win32
    Disallow: /
    User-agent: Zeus Link Scout
    Disallow: /
    Последний раз редактировалось Subbota; 29.11.2011 в 14:23.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  15. #15
    Пользователь foksik скоро придёт к известности
    Регистрация
    01.06.2010
    Сообщений
    37
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    1 Всего
    Загрузки
    0
    Закачек
    0
    Вес репутации
    9

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    А вот вопрос у меня такой. Там где перечисленны User-agent`ы, откуда вообще этот список? Например, я там увидел User-agent: TeleportPro, это же прога которая сайты выкачивает. Мне кажется она врятли будет реагировать на запреты в robots.txt
    Мне всегда казалось, что под User-agent подразумеваются только поисковики...
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  16. #16
    Moderator Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится Subbota за этого человека можно гордится
    Регистрация
    28.02.2010
    Сообщений
    471
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    95 Всего
    Загрузки
    32
    Закачек
    0
    Вес репутации
    28

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Есть определенные правила составления robots.txt. можете об этом в инете подробно почитать. Данный robots.txt составлялся под иой мой проект, и запрет на индексацию тех страниц, которые не нужны были мне для индексации. Возможно и есть ошибки, но они не критические и от Вашего недуга - помогут.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  17. #17
    ViArts Man Shmasser как роза среди колючек Shmasser как роза среди колючек Shmasser как роза среди колючек
    Регистрация
    17.12.2010
    Адрес
    Москва
    Сообщений
    266
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    25 Всего
    Загрузки
    19
    Закачек
    0
    Вес репутации
    11

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    У меня проблема с повышенной нагрузкой сайта на сервер. Повидимому это происходит в моменты заходов на сайт ботов. В связи с этим вопрос.
    Правильно ли в robots.txt, для уменьшения нагрузки, запретить к индексации след. папки:
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /admin/
    Disallow: /styles/
    Disallow: /payments/
    Disallow: /preview/
    Disallow: /sms/
    User-agent: Yandex
    Disallow: /cgi-bin/
    Disallow: /admin/
    Disallow: /styles/
    Disallow: /payments/
    Disallow: /preview/
    Disallow: /sms/
    Host: mysite.ru
    Есть кто в курсе?
    А почитать
    И ещё здесь >>>
    Последний раз редактировалось Shmasser; 13.04.2011 в 11:43.
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  18. #18
    ViArts Man Samodelkin - очень-очень хороший человек Samodelkin - очень-очень хороший человек Samodelkin - очень-очень хороший человек Samodelkin - очень-очень хороший человек Samodelkin - очень-очень хороший человек
    Регистрация
    26.06.2009
    Адрес
    Воронеж
    Сообщений
    322
    Сказали 'Спасибо' за это сообщение. :
    4 за это сообщение
    14 Всего
    Загрузки
    1
    Закачек
    0
    Вес репутации
    20

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Как я уже однажды писал у меня была проблема с нагрузкой на виртуальный хостинг при заходе роботов (не с этим скриптом)
    решал так:
    В robots.txt прописываем
    PHP код:
    User-agentYandex
    Crawl
    -delay60 
    Тем самым указываем яндексу сканировать страницы раз в одну минуту
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  19. Сказали спасибо:

    brand (18.12.2011) , nemo (28.04.2011) , Subbota (27.04.2011) , VST (27.04.2011)

  20. #19
    Добрый модератор gromov - луч света в тёмном царстве gromov - луч света в тёмном царстве gromov - луч света в тёмном царстве gromov - луч света в тёмном царстве gromov - луч света в тёмном царстве
    Регистрация
    01.04.2009
    Сообщений
    230
    Сказали 'Спасибо' за это сообщение. :
    3 за это сообщение
    4 Всего
    Загрузки
    3
    Закачек
    0
    Вес репутации
    10

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    в то время, когда создавалась тема, я как-то активно плевал на подобные "тонкие" настройки , да и не seo тоже сомтрел с другой позиции

    сейчас, плотно занимаясь оптимизацией и продвижением, понимаю, сколько мусора таки лезет в выдачу
    оно вроде бы как и ничего страшного, если бы не новые фильтры от Яшки за зеркала страниц и различный тех мусор.

    один из самых старых моих проектов сделан как-раз на viartshop script (до сих пор стоит 3.6, модифицированная всячески)
    -11тыс страниц на апе яндекса - многие веб-мастера после подобного пьют что-то от сердца
    т.к. сам по себе проект для меня уже был не суть важен, просто увидел факт резких скачков страниц из индекса - в индекс, решил посмотреть внимательнее, что же там так прыгает.

    часть страниц удалялась явно за неуник контент (до 15% от общего объема), остальными были различные технические страницы

    в общем, это все лирика, из важного:

    1. в список нужно(можно) добавить Disallow: /reviews.php/
    (в моем проекте это было критично важно - более 6тыс товаров, из которых до 20 всего имели отзывы, из них 15 - на уровне "круто", "спасибо", "ух ты". Но при этом каждый товар в выдачу тянет и пустую, практически, страницу с формой заполнения отзыва и списком отзывов. Выставил настройки "отзывы могут оставлять только зарегистрированные", чтобы меньше спам шел, и забанил индексирование этого дела.)
    (явный минус - если вы продвигаетесь за счет уникальных комментов или они у вас идут естественным путем, то запрещать индексирование этого дела не с руки. Тогда нужно следить за тем, чтобы все товары имели развернуты (знаков от 200 БП) осмысленные уникальные комменты)

    2. по факту удаления из выдачи разного мусора на следующем апе выдачи я обнаружил резкий рост в позициях по Яшке - до +40 и выход в топ по ВЧ. Я уверен, что никаких больше действий с сайтом не было.

    делаем выводы

    ps всем привет ) спс, что я все еще в обойме
    Последний раз редактировалось gromov; 28.10.2011 в 11:36. Причина: соскучился
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо

  21. Сказали спасибо:

    brand (18.12.2011) , Liss (28.10.2011) , exBitrix (28.10.2011)

  22. #20
    ViArts Team nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима nemo репутация неоспорима
    Регистрация
    01.04.2009
    Сообщений
    1,564
    Сказали 'Спасибо' за это сообщение. :
    0 за это сообщение
    50 Всего
    Загрузки
    12
    Закачек
    2
    Вес репутации
    10

    По умолчанию Re: Сколько мусора в индексе поисковиков!

    Наблюдаю за одним из проектов тоже ещё на прежней версии 3.6. Версия практически со всеми последними обновлениями для неё, пока она была актуальна. Кроме файла robots.txt заполненного согласно рекомендаций этого форума, страницы содержат тег canonical url (для этой версии есть только в нашем дистрибутиве). В индексе Гугла и Яндекса страниц столько, сколько в карте сайта, т.е. статьи, товары. Почти ничего лишнего. "Мусора" практически нет.
    Интернет-магазин на Viart Shop, это не так сложно и страшно, как кажется...
    Digg this Post!Bookmark Post in Technorati
    Ответить с цитированием Ответить с цитированием
    Спасибо


 

Информация о теме

Пользователи, просматривающие эту тему

Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)

     

Метки этой темы

Социальные закладки

Социальные закладки

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
Back to top