Robots
Das Robots-Objekt enthält die Standardregelgruppen für die Datei robots. txt
.
Das Objekt robots hat das folgende Attribut:
Inhalt
default_groups
Gibt eine Liste von Gruppenobjekten für jede Gruppe von Regeln zurück.
Das Robots-Objekt enthält die Standardregelgruppen für die Datei robots. txt
.
Das Objekt robots hat das folgende Attribut:
Gibt eine Liste von Gruppenobjekten für jede Gruppe von Regeln zurück.