# robots.txt User-agent: * # alle Bots duerfen indizieren Disallow: /intern/ # Firmeninternas Disallow: /include/ # Programmierungen Disallow: /database/ # Datenbanken Disallow: /_db_import/ # Datenbanken Disallow: /logs/ # Log-Dateien