Генериране и създаване на Robots.txt 

Премахнете отметката за всяка търсеща машина, която не желаете да обхожда сайта ви.