Краулер

Краулер помогает проверить сайт целиком. Проверка помогает понять, есть ли страницы без заголовков, есть ли дубликаты и вообще помогает найти все ссылки на сайте. По умолчанию данный раздел будет пустым. Для того, чтоб в нем появились данные - необходимо запустить краулер.

Иногда, некоторые ссылки есть только в карте-сайта. Краулер пока не умеет обрабатывать карту сайта.

Запуск краулера прямо сейчас - данный способ подходит для небольших сайтов, так как если на сайте будет много страниц, то операция будет идти долго и скрипт отключится по тайм ауту
Запуск краулера через планировщик задач - более безопасный способ запуска, так как в этом случае задача будет идти в фоне и скрипт сможет выполняться сколь-угодно долго.

Во время работы краулера данный раздел будет потихоньку заполняться. Скорость заполнения будет зависеть от скорости работы вашего сайта.