Через Include/Exclude задают шаблоны игнорируемых URL – административные разделы, фильтры каталога, страницы поиска. Настройка по MIME-типам исключает из карты изображения и видео. Через Spider указывают максимальную глубину сканирования и ограничивают…