Файл robots.txt

Задание:

Создать файл robots.txt, содержащий правила индексирования сайта.

   User-agent: *
   Disallow: /includes/
   Disallow: /admin/
   Sitemap: https://mysite.ru/sitemap.xml