Oct
Робот Яндекса учитывает содержание следующих тегов:
<meta content="..." name="Keywords" /> — может учитываться при определении соответствия страницы поисковым запросам,
<meta content="..." name="Description" /> — содержание данного тега может использоваться в сниппетах (описаниях сайтов на странице результатов поиска),
<meta content="N;url=_адрес цели перенаправления_" http-equiv="refresh" /> — перенаправление (редирект) пользователя на страницу с адресом url, после N секунд нахождения на данной странице. При небольших значениях N считается временным перенаправлением, аналогичным серверным редиректам с HTTP-кодом 302/303/307.
Также робот Яндекса учитывает указания в тегах:
<meta content="all" name="robots" /> — разрешено индексировать текст и ссылки на странице, аналогично <meta content="index, follow" name="robots" />
<meta content="noindex" name="robots" /> — не индексировать текст страницы,
<meta content="nofollow" name="robots" /> — не переходить по ссылкам на странице и не индексировать их,
<meta content="none" name="robots" /> — запрещено индексировать и текст, и ссылки на странице, аналогично <meta content="noindex, nofollow" name="robots" />
<meta content="noarchive" name="robots" /> — не показывать ссылку на сохраненную копию на странице результатов поиска.
Робот не узнает о документах, если ссылки на них стоят со страницы, содержащей мета-тег со значением nofollow, тем не менее, они могут быть проиндексированы, если где-либо еще на них указаны ссылки без nofollow.
Если мета-теги не указаны, по умолчанию они имеют положительное значение (index, follow, archive). В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию.
Тег <noindex>
Для запрета индексирования служебных участков текста вы можете использовать тег <noindex>. Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:
<noindex>текст, индексирование которого нужно запретить</noindex>
Атрибут rel="nofollow" тега <a>
Атрибут rel="nofollow" используется в теге <a> в формате:
<a href="url" rel="nofollow">текст ссылки</a>
Атрибут работает аналогично мета-тегу со значением nofollow, но распространяется только на ссылку, для которой указан.
Очень полезно, когда нужно сохранить вес сайта перед поисковыми системами, когда ставишь внешние ссылки :)