# robots.txt for http://www.site.com/ # User-agent: * # Alle Suchmaschinen werden angesprochen # Disallow: / # Kein Robot darf irgendetwas auswerten. # robots.txt for http://www.site.com/ # User-agent: * # Alle Suchmaschinen werden angesprochen # Disallow: /cyberworld/map/ # Sperrung eines bestimmten Bereiches # Disallow: /tmp/ # Sperrung eines bestimmten Bereiches # robots.txt for http://www.lexia.de/ User-agent: * # Alle Suchmaschinen werden angesprochen Disallow: / # Kein Robot darf irgendetwas auswerten.