OAI-SearchBot und GPTBot: Unterschied einfach erklärt

Kurz gesagt: OAI-SearchBot erfasst Websites für die Suche in ChatGPT. GPTBot sammelt Inhalte für das Training von KI-Modellen. ChatGPT-User ruft Seiten auf, wenn ein Nutzer ChatGPT direkt dazu auffordert.

Die drei Crawler von OpenAI

OAI-SearchBot: erfasst Websites, damit sie in den Suchergebnissen von ChatGPT erscheinen können. Laut OpenAI wird er nicht zum Training verwendet.
GPTBot: sammelt öffentlich zugängliche Inhalte, die für das Training von KI-Modellen genutzt werden können.
ChatGPT-User: ruft eine Seite auf, wenn ein Nutzer in ChatGPT konkret darum bittet.

Warum OAI-SearchBot für Unternehmen wichtig ist

Ist OAI-SearchBot gesperrt, kann ChatGPT eine Website in Suchantworten schlechter berücksichtigen. Das passiert häufiger als gedacht, etwa durch pauschale Sperren in der robots.txt, durch Bot-Schutz beim Hosting oder durch Firewalls.

Warum robots.txt allein nicht reicht

Auch wenn die robots.txt alles erlaubt, können Schutzmechanismen auf dem Server Anfragen von Crawlern abweisen. Entscheidend ist, ob die wichtigsten Seiten für den Crawler tatsächlich erreichbar sind. Diese Prüfung gehört bei FUXKI zu jeder Analyse.

Wie FUXKI damit umgeht

Die Website von FUXKI erlaubt OAI-SearchBot, GPTBot und ChatGPT-User ausdrücklich. Bei Kunden prüft FUXKI die Erreichbarkeit im Rahmen der Analyse und klärt gemeinsam, welche Crawler zugelassen werden sollen.

Quelle

OpenAI: Übersicht der OpenAI-Crawler.

Häufige Fragen

Muss ich GPTBot erlauben, um in ChatGPT sichtbar zu sein?

Für die Suchfunktion von ChatGPT ist OAI-SearchBot entscheidend, nicht GPTBot. Beide lassen sich unabhängig voneinander erlauben oder sperren.

Reicht es, OAI-SearchBot in der robots.txt zu erlauben?

Nicht immer. Auch Firewalls, Bot-Schutz oder Sperren beim Hosting können Crawler blockieren. Deshalb prüft FUXKI die tatsächliche Erreichbarkeit.