Allgemeines

[X_MasterDave_X]

...und nachher wieder zusammen kleben.

[Bigfish]

Sieht so aus, als ob es gerade mal wieder eine Suchmaschine/KI training auf das Forum abgesehen hat. Die Session-Tabelle hat nur begrenzt Platz und den brauchen die Bots auf.

Aktuell sieht das so aus, als ich das schreibe:
19576 Benutzer sind online. Registrierte Benutzer: 9, Gäste: 19566, with 1 spider

Zum Beispiel:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sh ... rs/crawler))
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Reflectionbot/1.0; +https://reflection.ai/bot) Chrome/151.0.0.0 Safari/537.36
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36
Mozilla/5.0 (Linux; Android 7. AppleWebKit/537.36 (HTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

Für die BOTS habe ich die robots.txt angepasst. Das dauert dann bis zu 24h dass das wirksam wird.

Es gibt aber auch viele, die nur als "normaler" Nutzer ohne Bot-Kennzeichnung daher kommen. Auffällig ist, dass die alle auf /forum/archive/index.php oder /forum/archive/index.php/... irgendwas zugreifen. Das habe ich jetzt auch mal mit in die robots.txt aufgenommen, aber keine Ahnung ob die Bots, die sich nicht als Bots zu erkennen geben, daran halten werden.

Könnte noch drüber nachdenken, das direkt zu sperren. Da ich glaube normale Forennutzer werden das nicht nutzen. Aber keine Ahnung wie das dann mit normalen Suchmaschinen ist und was die so besuchen.

[Bigfish]

Da KI-Bots ja mittlerweile selbst Webserver haken um an Daten zu kommen (*Hust * Australien *Hust*) werden sich KI Bots wohl kaum um eine robots.txt kümmern?

https://www.heise.de/news/OpenAI-Agent- ... 63920.html



Aber Danke für die Erläuterung!


Hat nix mit dem Forum zu tun, aber noch so etwas was aktuell eskaliert:

https://www.reddit.com/r/NoStupidQuesti ... ork/?tl=de

https://www.reddit.com/r/techsupport/co ... ic_google/

https://www.reddit.com/r/firefox/commen ... earch_bar/

[Arminus]

Da KI-Bots ja mittlerweile selbst Webserver haken um an Daten zu kommen (*Hust * Australien *Hust*) werden sich KI Bots wohl kaum um eine robots.txt kümmern?

Hier werden imho zwei Sachen zusammengeschmissen, ich würde für keins der beiden den Begriff KI-Bots nutzen. Auf der anderen Seite gibt's Crawler, die unser Forum maltretieren, um Futter zum Training von LLMs aufzubauen. Die sollten sich an die robots.txt lesen und tun es zum Großteil leider nicht. Das andere sind (KI-)Agenten, die im Kontext vom Prosttrainings bei allen Frontier Labs, vor allem aber bei OpenAI, durch Hacks auffallen. Und bei diesen wäre völlig egal, was in der robots.txt drin steht, deren Handlen war quasi immer einfach illegal.


@JoeMill: Wegen Agenten könnten wir natürlich eine llms.txt ablegen und dort darum bitten, lieber das Paradoxforum heimzusuchen, aber da niemand ernsthaft direkt mit Agenten crawlen wird, weil einfach zu teuer...

[Iche_Bins]

@Arminus ich habe jetzt mal via .htaccess den Zugriff auf /forum/archive hinter eine Basic-Auth gepackt, daher die Bots sollten eine 401 bekommen und für die Zugriffe wird keine neue Session aufgemacht, die unnötig Platz in der Session-Tabelle belegt.

Die Änderungen an der robots.txt haben ein wenig geholfen insofern, dass Meta jetzt mit einem anderen Crawler vorbeikam

[Iche_Bins]

Das Forum war wieder Recht langsam, aber lief immerhin mit 6097 Gästen online

[Arminus]

Habe in den letzten Tagen zwar keine Timeouts, aber öfters wieder krasse Latenzen beobachtet. Bei ca. 800 Gästen, was für uns ja mittlerweile Peanuts sind.

[Bigfish]

Habe in den letzten Tagen zwar keine Timeouts, aber öfters wieder krasse Latenzen beobachtet. Bei ca. 800 Gästen, was für uns ja mittlerweile Peanuts sind.

Können Wir bestätigen!

[Bigfish]

Ist das richtig so, dass diese Seiten öffentlich sind: https://www.si-games.com/forum/content. ... d-me-first ???


Sehe da gerade mehrere "Gäste" die darauf zugreifen.