Date: Mon, 13 May 2002 18:30:54 +0400 (MSD)
From: Igor Sysoev <is@rambler-co.ru>
Newsgroups: apache-talk (http://www.lexa.ru/apache-talk)
Subject: [Apache] Условная генерация robots.txt
> Проблема такая, что есть 2 домена второго уровня: первый - главный, второй -
> второстепенный. Так вот. Поисковик Яндекс "засосал" второй домен
> (второстепенный) и поэтому не хочет индексировать главный домен, потому что он
> понял, что эти домены - зеркала.
>
> Собственно на яндексе в таком случае советуют сделать так, чтобы при обращении
> к второстепенному домену выдавался robots.txt запрещающий индексацию всего
> сайта и тогда заявка на индексирование главного домена будет принята.
Учитывая средства, способов много. Я бы предпочёл mod_rewrite:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^some.domain.ru$
RewriteRule ^/robot.txt$ /robot.txt.disable [PT,L]
Vova
