Обо всём по немножку

ПроДвижение сайтов и про фотографию

Previous Entry Share Next Entry
Как составить правильный robots.txt
photocaptureru

Запись опубликована в моём блоге Pervushin.com. Пожалуйста, оставляйте комментарии там. Спасибо что добавили статью в Twitter


Совсем недавно я заглянул в Яндекс.Вебмастер и ужаснулся. Вообще в этой панели я редкий гость, в этот раз просто понадобилось добавить карту сайта, если быть точным несколько различных карт, которые мы обозрели ранее.


Так вот, как вы знаете, на главной панели вебмастера имеется сразу несколько показателей и график числа страниц исключенных роботом. Вот мне в глаза этот график и бросился – на нем был изображен резкий скачок синей кривой, которая отвечает за исключение страниц намеренно запрещенных к индексации. Мне стало интересно, что же такого я там назапрещал (есть такое слово?:)).


Как составить правильный robots.txt для wordpress?


Просмотрев все страницы с запрещенными к индексации URL я увидел среди них вполне нормальные посты, которые действительно были исключены из индекса благодаря имеющемуся у меня robots.txt.


Дальше больше. Решив за одно просмотреть проиндексированные URL, по мимо нормальных страниц я заметил всякую хрень, наподобие такой: /404-not-found-wordpress.html/feed или вот такой /404-not-found-wordpress.html/404-pravitelstvo. А затем я зашел в вебмастер Google… Это пипец какой-то, но там примерно тоже самое.


В общем понял я одно – нельзя полагаться на 100% на выложенные в сети примеры robots.txt для wordpress, как сделал это я. Каждый robots.txt необходимо настраивать под конкретный сайт. Этим и займемся.



Дальше интересней...




Источник: Как составить правильный robots.txt |
Комментировать | Метки: , , , ,

Думаю эти записи принесут Вам не мало пользы:





?

Log in