Rule
Das Objekt rule liefert eine individuelle Regel für die Datei robots. txt, die den Crawlern mitteilt, auf welche Seiten sie zugreifen können und auf welche nicht. Sie besteht aus einer Direktive, die entweder Allow oder Disallow sein kann, und einem Wert für den zugehörigen URL-Pfad.
Zum Beispiel:
Nicht zulassen: /Richtlinien/
Das Objekt rule hat die folgenden Attribute:
Inhalt
rule.directive
Gibt die Regelrichtlinie zurück, die entweder Allow sein kann, um Crawlern den Zugriff auf die angegebene URL zu erlauben, oder Disallow, um sie zu blockieren.
rule.value
Gibt den zugehörigen URL-Pfad für die Regel zurück.