A Gruppe von Optionen, die Sie verwenden können, um anzugeben, welche Art von Inhalt gecrawlt wird, welche URLs zum Crawlen und wie tief und wann zu kriechen.