Сообщения без ответов | Активные темы Текущее время: 17 апр 2024, 05:17



Ответить на тему  [ Сообщений: 31 ]  Страница 1, 2, 3, 4  »
Robots.txt 
Автор Сообщение
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Яндекс индексирует страницы типа:
http://zverstva.net/services.html?servi ... age_id=112

кому мешает в Robots.txt можно что то типа
Код:
Для просмотра Вы должны быть в группе пользователей Elite-Board.

прописать

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


10 окт 2010, 01:14
Профиль WWW
Администратор
Аватара пользователя

Зарегистрирован: 20 сен 2010, 21:15
Сообщения: 2899
Аватара пользователя

принято


10 окт 2010, 19:20
Профиль
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Еще индексирует:
/add/select/cat/?i=
/add/select/region/?i=
Хотя в принципе и исключает из за не распознанной кодировки.

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


11 окт 2010, 10:35
Профиль WWW
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Пока что нашел в процессе освоения яндексом моего сайта...
Мой Robots.txt
Код:
Для просмотра Вы должны быть в группе пользователей Elite-Board.


/sendmail/ - Это белая страница
/region_changer/- убрал, чтоб поисковик не шарился по одним и тем же страницам, а ходил по основному разделу (т.е. все регионы). Вопрос спорный, но я убрал, посмотрю что будет.
/services.html?service= -уже упоминал.
/add/select/cat/- просто фрейм с полем выбором категории.
/add/select/region/- тоже просто фрейм без самого сайта.

К слову..от фреймов хорошо бы отказаться..

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


12 окт 2010, 10:34
Профиль WWW
Администратор
Аватара пользователя

Зарегистрирован: 20 сен 2010, 21:15
Сообщения: 2899
Аватара пользователя

Спасибо, будет уже в следующей сборке

фреймы пока останутся
увы...


13 окт 2010, 00:29
Профиль

Зарегистрирован: 14 окт 2010, 17:52
Сообщения: 122

Рекомендую еще убирать sort, Яша очень отрицательно относится к страницам с результатами поиска :(
У себя сделал так:
Disallow: /sort/
Ушли из индекса для всех регионов, но остались по городам, пришлось добавить :
Disallow: /город/sort/
и так для всех городов. Помогло :D


13 окт 2010, 21:44
Профиль
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Да верно.. к результатам поиска плохо относится-но оно и понятно.. дублирование контента.

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


14 окт 2010, 08:26
Профиль WWW
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Из sitemap кстати тоже можно убрать
Там, кстати есть url /pay/ - белая страница. можно тоже в robots.txt запихать. Не надо её показывать)

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


17 окт 2010, 22:05
Профиль WWW

Зарегистрирован: 04 ноя 2010, 18:23
Сообщения: 4

Надо стараться избавляться от дублей, нельзя это недооценивать, за дубли Яндекс заносит сайт под фильтр АГС, оставляя в индексе лишь 5-15 страниц. Если это произойдет - коту под хвост все Ваши старания над сайтом, добиться выхода из-под такого фильтра потом ох как не просто!


29 ноя 2010, 18:51
Профиль
Аватара пользователя

Зарегистрирован: 25 сен 2010, 01:10
Сообщения: 486
Откуда: Москва
Аватара пользователя

Сложности в этом никакой нет. Просто занимает очень много времени, так как понятное дело, робот не будет пристально следить за вашим сайтом и ждать, когда он "самоочистится" от дублей.
Конечно, можно и в баню попасть, если дублирование страниц будет настолько масштабным, что будет смахивать на поисковый спам, но это опять же- решается легко, но ценой огромного времени.

_________________
Лучший хостинг по версии Хостинг-Обзор.ру

Звериный домик «Зверком»


29 ноя 2010, 22:13
Профиль WWW
Показать сообщения за:  Поле сортировки  
Ответить на тему   [ Сообщений: 31 ] 

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron