Neue Antwort schreiben 
 
Themabewertung:
  • 0 Bewertung(en) - 0 im Durchschnitt
  • 1
  • 2
  • 3
  • 4
  • 5
Apache Weiterleitung für Endlosschleife
Dirk Offline
Software Archäologe

Beiträge: 14.698
Registriert seit: Jul 2008
Beitrag #1
Apache Weiterleitung für Endlosschleife
Vielleicht weiß ja jemand Rat, wegen kaputten Searchbots habe ich URLs im Log die so aussehen:
Code:
https://winhistory.de/more/chicago.htm/bilder/386/downloads/winstart/downloads/vpc/vpc/winstart/bilder/win98int.htm

Also ne Seite hier Chicago.htm und danach noch sinnlose Pfade und dann ne andere Datei. Er lädt die Chicago Seite und das Scripting ist kaputt, weil relative Pfade ins Klo gehen.

Bisher habe ich das in der htaccess ausgefiltert. Aber ich Frage mich, wo diese Funktion herkommt. Das Problem ist das die Seite halt was liefert und der bot von da aus endlos Müll erfindet. Wahrscheinlich war einfach nur mal nen Link kaputt.

Jemand ne Idee?? Weiß nicht so recht wonach ich da googeln soll.

09.08.2023 19:19
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden Diese Nachricht in einer Antwort zitieren
s4ndwichMakeR Offline
Realitätsfeinmotoriker‮

Beiträge: 5.195
Registriert seit: Jul 2008
Beitrag #2
RE: Apache Weiterleitung für Endlosschleife
Rausfitern? Falls du „fehlerhafte Routen durch manuelle Einträge oder Regeln dann doch zum richtigen Inhalt leiten“ meinst, dann ist das ja absolut nicht zu empfehlen, weil du jede Engine darin bestärktst, dass es dort was zu holen gibt. Nach einer Weile 404 hinter einem bestimmten URL dürfte die Engine das doch wohl rausnehmen?

Hast du eigentlich irgendwo eine Engine-freundliche Sitemap (z.B. dieser Sitemap-XML-Standard), um den Crawlern Starthilfe zu geben?

• • • – • – – • – –
10.08.2023 16:26
Alle Beiträge dieses Benutzers finden Diese Nachricht in einer Antwort zitieren
Dirk Offline
Software Archäologe

Beiträge: 14.698
Registriert seit: Jul 2008
Beitrag #3
RE: Apache Weiterleitung für Endlosschleife
Hab jetzt wieder nen Filter drin, versteh den Fehler aber nicht. Die Uri gibt's nicht, also müsste auch ohne rumfummeln nen 404 geben?

Ja es ist besser geworden. Bis ich das vor ein paar Jahren im Fehler log gefunden hatte, waren erhebliche traffic Anteile da drin.

Nein eine sitemap habe ich nicht. Weil müsste ich manuell pflegen und für die Bots aus dem Westen unnötig. Waren alles russische Bots. Nicht gerade nützliche user-schaft. Im log findet sich auch etliche WordPress URLs. Überlege da mal was hinzuzufügen.

Leider ist die Web Statistik vom neuen hoster auch total altbacken. Netscape ist da der beliebteste browser

10.08.2023 17:19
Webseite des Benutzers besuchen Alle Beiträge dieses Benutzers finden Diese Nachricht in einer Antwort zitieren
Neue Antwort schreiben 


Gehe zu:


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste