Установка:

Для установки ruby-webrobots в Ubuntu / Linux Mint / Debian, введите в Терминал:

sudo apt update
sudo apt install ruby-webrobots
Dzen
ruby-webrobots — Библиотека для создания роботов с поддержкой robots.txt

Подробная информация о пакете:

Библиотека для создания роботов с поддержкой robots.txt

  • Зависимости:

  • racc

    Генератор парсеров LALR Ruby

  • ruby

    Интерпретатор объектно-ориентированного языка сценариев Ruby (версия по умолчанию)

  • ruby-nokogiri

    HTML, XML, SAX и Reader для Ruby