О проекте RoboMap
Основная цель проекта RoboMap - это исследовать тонкости индексирования сайта поисковиками и влияние файла robots.txt на этот процесс.
В частности, будет выяснено, как поисковики обрабатывают инструкции Allow в robots.txt и разные типы ссылок. Для этого был создан набор страниц, на каждую из которых ссылается только один тип ссылок. Вот список разновидностей ссылок, которые будут исследоваться:
- Текстовая ссылка
- Простая JavaScript ссылка через window.open()
- Простая JavaScript ссылка через document.location.href
- JavaScript ссылка с url в контексте вызова: my_open_function('http://mysite.ru/page.html')
- JavaScript ссылка с url вне контекста вызова: open_my_site()
- JavaScript редирект, не ассоциированный с тегом <a>
- HTTP Redirect.
- Директива Allow в файле robots.txt
Анализироваться будут наиболее популярные в рунете поисковики:
- Яндекс
- Рамблер
- MSN/Live
- Yahoo
- Webalta
Пожалуйста, не ссылайтесь на внутренние втраницы напрямую! Это может нарушить чистоту эксперимента. Если Захотите где-то упомянуть данное исследование, то ссылайтесь на главную страницу. Спасибо за понимание.