User agent
Das Objekt user_agent gibt den User-Agent, d. h. den Namen des Crawlers, für eine bestimmte Gruppe in der Datei robots. txt zurück. Sie besteht aus einer Richtlinie User-agent und einem Wert für den Namen des Benutzer-Agenten.
Zum Beispiel:
User-agent: *
Das Objekt user_agent hat die folgenden Attribute:
Inhalt
user_agent.directive
Rückgabe User-agent.
user_agent.value
Gibt den Namen des Benutzer-Agenten zurück.