Zurück   Trojaner-Board > Malware entfernen > Überwachung, Datenschutz und Spam
Crawler, Spider über htaccess. und robots.txt ausschließen

Crawler, Spider über htaccess. und robots.txt ausschließen


Überwachung, Datenschutz und Spam: Crawler, Spider über htaccess. und robots.txt ausschließen

Windows 7 Fragen zu Verschlüsselung, Spam, Datenschutz & co. sind hier erwünscht. Hier geht es um Abwehr von Keyloggern oder aderen Spionagesoftware wie Spyware und Adware. Themen zum "Trojaner entfernen" oder "Malware Probleme" dürfen hier nur diskutiert werden. Benötigst du Hilfe beim Trojaner entfernen oder weil du dir einen Virus eingefangen hast, erstelle ein Thema in den oberen Bereinigungsforen.

 
Vorheriger Beitrag Vorheriger Beitrag   Nächster Beitrag Nächster Beitrag
Alt 01.01.2016, 21:09   #5
cosinus
/// Winkelfunktion
/// TB-Süch-Tiger™
 
Crawler, Spider über htaccess. und robots.txt ausschließen - Standard

Crawler, Spider über htaccess. und robots.txt ausschließen


Zitat:
Zitat von Nanafa Beitrag anzeigen
sondern darum, gerade in eher persönlich gehaltenen Foren nicht "ausgespäht" zu werden, weil da ja als angemeldete Mitglieder auch oft diese ganzen Spider unterwegs sind... Das war so die Logik, die ich mir dazu gedacht habe... Hoffe noch auf Antwort, und ansonsten muss ich mich da evtl mal noch weiter bilden
Lies doch mal zB https://de.wikipedia.org/wiki/Robots_Exclusion_Standard

Zitat:
Zitat von wiki
In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Website-Betreiber haben so die Möglichkeit, ausgesuchte Bereiche ihrer Website für (bestimmte) Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawlers angewiesen. Man spricht hier auch von „freundlichen“ Webcrawlern. Ein Ausgrenzen bestimmter Teile einer Website durch das Protokoll garantiert keine Geheimhaltung

__________________
Logfiles bitte immer in CODE-Tags posten

 

Themen zu Crawler, Spider über htaccess. und robots.txt ausschließen
abend, antwort, ausschließen, code, daten, faust, folge, folgende, gefunde, guten, inter, interne, internet, irgendetwas, nicht, persönliche, versuche, warum, übernehmen


« Poison Ivy als Fernwartungstool geeignet? | "Frohes neues Jahr" Spam Mail »


Ähnliche Themen: Crawler, Spider über htaccess. und robots.txt ausschließen


  1. Spam über meinen web.de Account versendet - Mails nur über MacBook und iPhone abgerufen
    Alles rund um Mac OSX & Linux - 02.12.2015 (11)
  2. Seagate Dashboard Backup Antivir und Malwarebytes haben mehrere Virgen gefunden PUA/Crawler.Gen, PUA/DownloadSponsor.Gen
    Log-Analyse und Auswertung - 15.07.2015 (7)
  3. Treiber über Geräte Manager oder über Software aus dem Internet Downloaden ?
    Netzwerk und Hardware - 11.04.2015 (8)
  4. Verschiedene Problem unter Windows, möchte Malwareverdacht ausschließen
    Plagegeister aller Art und deren Bekämpfung - 28.02.2014 (16)
  5. Internet langsam - nach Ausschließen von Technischen Problem Trojaner Check
    Plagegeister aller Art und deren Bekämpfung - 06.02.2014 (3)
  6. Crawler.com entfernen
    Anleitungen, FAQs & Links - 21.10.2013 (2)
  7. Phishing-Mail - Restrisiko ausschließen?
    Plagegeister aller Art und deren Bekämpfung - 31.07.2013 (23)
  8. Bluescreen ohne erkennbaren Grund - Vireninfektion ausschließen
    Log-Analyse und Auswertung - 24.07.2013 (7)
  9. Alle Server gehackt !? JS, htaccess - http://habboigratis.altervista.org
    Plagegeister aller Art und deren Bekämpfung - 05.02.2013 (3)
  10. Über 40GB freier Speicherplatz auf C:\ über Nacht verschwunden
    Plagegeister aller Art und deren Bekämpfung - 29.01.2013 (1)
  11. Probleme mit Anzeigetreiber - will Virus ausschließen.
    Log-Analyse und Auswertung - 25.12.2012 (0)
  12. Trojaner/Virus über malwarebyte gefunden; Infizierung über Link - was nun?
    Log-Analyse und Auswertung - 14.09.2012 (5)
  13. Facebook-Crawler sammelt mehr als 170 Millionen Datensätze
    Nachrichten - 28.07.2010 (0)
  14. Frage->AntiVir(aggressiv) ... Wie kann man dateien aus der suche ausschließen?
    Antiviren-, Firewall- und andere Schutzprogramme - 20.08.2008 (3)
  15. Kann mal bitte jemand die Logfile anschauen? Trojan.small/super spider
    Log-Analyse und Auswertung - 23.01.2005 (3)
  16. Verzweiflung: Super Spider nervt mich zu Tode - kann mir jemand helfen?
    Log-Analyse und Auswertung - 26.10.2004 (5)
  17. schwachköpfe ausschließen
    Lob, Kritik und Wünsche - 20.07.2003 (34)
Anleitungen und Tipps

- Für alle Hilfesuchenden! Was beachten?

- Anleitung: MyStartSearch.com entfernen

- Anleitung: WebSearches löschen

- Hilfe: iStartSurf entfernen – so gehts!

- Anleitung: Omiga Plus richtig entfernen

- Browser Viren entfernen


Zum Thema Crawler, Spider über htaccess. und robots.txt ausschließen - Zitat: Zitat von Nanafa sondern darum, gerade in eher persönlich gehaltenen Foren nicht "ausgespäht" zu werden, weil da ja als angemeldete Mitglieder auch oft diese ganzen Spider unterwegs sind... Das - Crawler, Spider über htaccess. und robots.txt ausschließen...
Archiv
Du betrachtest: Crawler, Spider über htaccess. und robots.txt ausschließen auf Trojaner-Board

Search Engine Optimization by vBSEO ©2011, Crawlability, Inc.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55