User-agent: *
Host: http://allunity.ru/
Sitemap: http://allunity.ru/sitemap.xml
Sitemap: http://allunity.ru/sitemapindex.xml
Sitemap: http://allunity.ru/site.map.xml
Sitemap: http://allunity.ru/simple.site.map.xml
Sitemap: http://allunity.ru/sitemap.xml
Allow: /
Allow: /sitemap.htm
Disallow: /cgi-bin

User-agent: dotbot
Disallow: /bin

User-agent: gigabot
Crawl-delay: 1