Похоже, что Google имеет привычку плевать на указания для ботов поисковых машин и вообще ведёт себя немного странно.
Пример 1:
Порядка полутора миллионов страниц del.icio.us находятся в кэше при том, что в страницах ясно прописано указание этого не делать:
<meta name=”robots” content=”noarchive,nofollow,noindex”/>
Пример 2:
Файл robots.txt, на www.google.com имеет внутри следующий текст:
User-agent: *
Disallow: /finance
… ясно дающий указание не индексировать данный участок вебсайта. В это же время, можно обнаружить порядка 44 тысяч страниц под www.google.com/finance - отлично проиндексированных и доступных при поиске.
По сообщениям многих владельцев сайтов, это поведение бота Google не является чем-то экстраординарным, встречаясь буквально на каждом шагу. Кого вообще волнует этот дурацкий этикет в наше прогрессивное время? :)
Взято с ленты Digital Inspiration.
6 комментариев ↓
Анар // Апр 5, 2007 at 13:48
А мне вот сегодня в адсенсовской админке отлкючили на время один проектик за директиву host в роботсе.
gega1972 // Янв 13, 2008 at 14:07
может стоит попробовать синтаксис :
gega1972 // Янв 13, 2008 at 14:07
meta name=”robots” content=”noarchive, nofollow, noindex” /
dasa // Янв 26, 2008 at 02:20
Так они все так хорошо обдумали что многим это не понять .. Так что не старайтесь зря..
Алексей Родионов // Июн 23, 2008 at 13:15
И как тогда в таких случаях двигать в гугле?
?????? // Сен 15, 2008 at 23:34
2All: а нельзя оставлять комментарии по теме, а не тупые повесил на стенку, автор жжет, +1 и т.д. Деградация интернета блин
You must log in to post a comment.