Установка:
Для установки libwww-robotrules-perl в Ubuntu / Linux Mint / Debian, введите в Терминал:
Подробная информация о пакете:
База данных разрешений, полученных от robots.txt
-
Зависимости:
-
Модуль для управления и доступа к строкам URI
-
Практический язык извлечения и отчета Ларри Уолла