Crawler, Algorithmus & Co. – Das steckt hinter der Google Suche

Die Grundlagen im Überblick
Was sind die Schlüsselfaktoren, die entscheiden, welche Ergebnisse Du erhältst?
Was sind Google Algorithmus Updates und wie häufig kommen sie vor?
Google Algorithmus und Suchmaschinenoptimierung
Kurzer Exkurs: Warum gibt es unterschiedliche Suchergebnisse auf Desktop und Mobil?
Fazit: Deshalb macht uns der Google Algorithmus glücklich

Die Grundlagen im Überblick

Um die Funktionsweisen von Google’s Universum überhaupt in den Grundsätzen zu verstehen, gibt es einige Grundbegriffe, die Du kennen solltest.

Crawler, Spider, Robot oder wie auch immer Du es nennen möchtest

Ein (Web-)Crawler ist quasi das Synonym zu Spider, Robot, Bot, und Co. Er analysiert und indexiert Daten aus dem Internet. Das heißt, er schaut sich Deine Website an, liest dort die Inhalte und speichert dann Informationen darüber. Außerdem werden bereits indexierte Seiten auf Aktualisierungen und Neuerungen untersucht. Durch diesen Prozess werden Informationen gezielter für Nutzer ausgespielt, sodass diese nur relevanten Content auf Suchanfragen erhalten. Der Crawler ist somit die Basis einer jeden Suchmaschine und unverzichtbar. Aus diesem Grund wird ein Bot, Spider, etc. immer dann wichtig, wenn Du Deine Website für Suchmaschinen optimieren willst.

Es wird jedoch nicht immer nur ein einzelner Bot hergenommen, um das Internet zu durchsuchen. Google verwendet gleich mehrere, so zum Beispiel einen nur für Bilder. Die Bots haben also eine klare thematische Zuordnung, nach der sie untergliedert sind.

So funktioniert der Indexierungsprozess

Im Prinzip kannst Du Dir den Crawler vorstellen wie eine Spinne – deshalb ist Spider auch einer seiner unzähligen Namen. Ähnlich wie diese „krabbelt“ oder „kriecht“ ein Bot nämlich die einzelnen Fäden des Netzes entlang. Natürlich sind Fäden hierbei nur eine Metapher. Im Prinzip funktioniert das Internet jedoch ähnlich: Interne und externe Verlinkungen verbinden einzelne Websites wie ein großes Netz.

Die Spider verfolgt somit die einzelnen Links auf den Webseiten und findet so immer weitere Websites und deren Unterseiten. Außerdem können Sitemaps von Webmastern in der Google Search Console eingereicht werden, die ebenfalls genau vom Crawler unter die Lupe genommen werden. Sie helfen diesem dann dabei zu erkennen, was im Index landen soll. Durch diese Maßnahmen werden immer mehr Inhalte indexiert und zu einer Art kontinuierlich wachsenden Content-Bibliothek zusammengefügt. All diese Inhalte werden daraufhin für Suchende im Internet auffindbar gemacht. Diesen Index durchsucht der Suchmaschinenalgorithmus dann, wenn Du einen Suchbegriff eingibst, um Dir die passende Antwort auszuspielen.

So zeigst Du dem Crawler, was indexiert werden soll und was nicht

Du kannst dem Crawler dabei helfen, Websites zu finden. Hierfür sind interne Links auf Seiten und aus der Website Navigation zu diversen Unterseiten besonders relevant. So schaffst Du es, diese Seiten für den Crawler sichtbar zu machen, da der Bot einfach den Verweisen folgen kann. Außerdem ist das Einreichen einer Sitemap sinnvoll, da Du hierüber Aktualisierungen Deines Contents oder neue Inhalte besser an Google übermitteln kannst. Regelmäßige Veröffentlichungen auf Deiner Website sind dabei ein wichtiges Signal an Google und vermitteln, dass Deine Seite in kontinuierlichen Abständen gecrawlt werden sollte.

Natürlich kannst Du dem Googlebot auch mitteilen, welche Inhalte er sich nicht anzusehen bzw. nicht zu indexieren braucht. Um Seiten aus dem Index auszuschließen, kannst Du Hyperlinks zum entsprechenden Content mit dem noindex-Attribut kennzeichnen. Möchtest Du das Ganze weiter verfeinern, kannst Du mit einer robots.txt-Datei arbeiten. Diese ist im Stammverzeichnis einer Domain hinterlegt und legt fest, welche URLs vom Crawler besucht werden dürfen. Hier kannst Du gezielt über eine Disallow-Anweisung den Crawler von bestimmten Seitenbereichen ausschließen.

Grenzen von Crawlern

Natürlich gibt es auch Momente, in denen Webcrawler an ihre Grenzen stoßen. Das ist beispielsweise im Deep- oder Dark-Web der Fall. Inhalte hier sind extra so platziert, dass sie nicht so einfach gefunden werden und sollen für den Otto-Normal Internetnutzer unsichtbar bleiben.

Algorithmus, PageRank, Rankingsysteme – Was ist das?

Nachdem der Crawler verschiedene Seiten des Internets durchsucht und gefunden hat, kommen die Algorithmen zum Einsatz. Diese werden für die Gewichtung und Bewertung der einzelnen Websites hergenommen. Sie machen somit quasi die Vorsortierung, sodass Du am Ende auch die passende und relevante Antwort auf Deine Suchanfrage erhältst. Die verschiedenen Rankingsysteme einer Suchmaschine durchsuchen dabei mehrere Milliarden Websites, die sich bereits dank des Crawlers im Index befinden. So erhältst Du die Antwort auf Deine Frage in Sekundenschnelle.

Geschichte des Algorithmus

Die Geburtsstunde des Algorithmus war Ende der 90er Jahre, unter dem Namen PageRank Algorithmus. Die Google-Gründer Larry Page und Sergey Brin erfanden ihn. Er sollte die Basis für den Erfolg der Suchmaschine bilden. Ziel war es, das Internet so nach Websites durchsuchen zu können, dass ganz bestimmte Seiten auf Suchanfragen ausgespielt werden. Zu Beginn wurde die Gewichtung allerdings nur anhand der Verlinkungsstruktur vorgenommen – Das heißt: Je höher die Anzahl externer Verlinkungen, desto bedeutender die Seite und desto höher die Bewertung. Anhand dieser Gewichtung wurde das Ranking in den SERPs festgelegt.

So entwickelt sich der Algorithmus bis heute

Mittlerweile gibt es natürlich eine Vielzahl von Faktoren, die Einfluss auf das Ranking einer Seite haben. Verlinkungen sind dabei nur einer von vielen. Das Problem ist: Für eine Suchanfrage gibt es oft mehrere Millionen mögliche Seiten im Netz, die die entsprechende Antwort liefern. Der Algorithmus muss somit jede einzelne Seite bewerten, um die exakt Passende für den Nutzer auszusuchen. Das ist ein äußerst komplexer Prozess. Es gibt mehrere hundert dieser sogenannten Rankingfaktoren, die zur Analyse einer Website hergenommen werden. Die meisten davon sind gar nicht offiziell bekannt. Die einzelnen Faktoren können jedoch grob in unterschiedliche Bewertungsbereiche aufgeteilt werden, in denen dann wiederum unterschiedliche Kriterien betrachtet werden.

Welche Faktoren gewichtet der Google-Algorithmus?

Es gibt ganz unterschiedliche Bereiche, die der Algorithmus analysiert, um Dir das bestmögliche Ergebnis bieten zu können. Dazu gehören unter anderem:

• Content – Hier ist klar: Qualität > Quantität. Hochwertige Inhalte überzeugen und binden Deine Website-Besucher.
• Links – Externe und interne Links von relevanten und passenden Seiten geben Deinen Nutzern einen Mehrwert. Verlinkungen aus relevanten Quellen sind deshalb wichtig.
• User Experience – Ist Deine Seite nicht leicht und intuitiv bedienbar, wird der Aufenthalt auf Deiner Seite relativ kurz bleiben. Achte deshalb darauf, dass Deine Besucher problemlos mit der Website interagieren können.
• Social Signals – Die Signale, die die Suchmaschine aus den Sozialen Medien erhält, werden immer wichtiger. Auch hier liegt der Fokus auf hochwertigen Inhalten, die von den Nutzern gerne geliked und geteilt werden. Solche Interaktionen senden positive Signale an die Suchmaschine und verbessern das Ranking.
• Brand – Eine fest etablierte und positionierte Marke hilft Dir dabei, bessere Rankings zu erzielen. Arbeite somit an Deinem Brandimage und der Markenbekanntheit.
• Technik – Die technische Grundlage einer Website sollte immer tadellos sein. Kommt es dennoch irgendwo zu Fehlern oder Problemen, ist es wichtig, diese zu beheben, da sich das andernfalls negativ auf Deine Positionierung in den SERPs auswirken kann.

Diese Kriterien sind Teil des Verfahrens, dass ein Suchalgorithmus durchschreitet, um die Relevanz und Qualität verschiedener Inhalte zu bewerten. Natürlich gibt es für jede einzelne Kategorie noch unzählige weitere Unterbereiche, die ebenfalls genauestens analysiert werden. Um Deine Seite entsprechend anpassen zu können, gibt es von Google öffentlich einsehbare Guidelines, anhand derer Du Dich orientieren kannst.

Was sind die Schlüsselfaktoren, die entscheiden, welche Ergebnisse Du erhältst?

Laut Google gibt es verschiedene Faktoren, die beeinflussen, welche Ergebnisse Dir in den SERPs ausgespielt werden. Besonders wichtig sind dabei die folgenden fünf Oberkategorien, die Schritt für Schritt aufeinander aufbauen:

Wortanalyse

Semantische Zusammenhänge sind mittlerweile besonders wichtig, wenn es um Suchanfragen geht. Der Suchmaschinenalgorithmus analysiert dabei den Kontext und die Bedeutung der eingegebenen Wörter, um das bestmögliche Ergebnis auszuspielen. Hierfür gibt es verschiedene Sprachmodelle, die bei der Entschlüsselung der Zusammenhänge helfen sollen. Diese Wortanalyse wird dann genutzt, um den perfekten und relevantesten Treffer im Index zu finden.

Zur Wortanalyse gehört allerdings nicht nur das Verständnis der Zusammenhänge. Vielmehr geht es auch darum, Suchanfragen thematisch einzuordnen, um die entsprechende Antwort noch zutreffender zu machen. Enthält eine Suche Schlagwörter wie „Öffnungszeiten“, weiß die Suchmaschine direkt, dass der Nutzer keine Ergebnisse zu Produkten oder der Geschichte des Unternehmens erhalten möchte, sondern konkret wissen will, wann das Geschäft öffnet und schließt. Enthält die Suchanfrage das Wort „Bilder“, wird der Suchende direkt zu Google Images geleitet. Zusätzlich analysiert der Algorithmus den Content nach Aktualität, um Dir keine veralteten und somit eventuell nicht mehr relevanten Inhalte anzuzeigen.

Abgleich des Suchbegriffs

Ist die Bedeutung des Wortes oder der Phrase klar, wird nach Seiten gesucht, die zur (Suchan-)Frage passen. Deshalb wird hier der Suchindex durchsucht, um passende Websites zu finden. Dabei wird ein besonderes Augenmerk auf Keywords gelegt, die zur Suchanfrage passen. Aus diesem Grund werden verschiedene Stellen des Textes, wie beispielsweise Titel, Überschriften und auch ganze Textpassagen, danach durchleuchtet. Ist diese Stichwortübereinstimmungsprüfung geschehen, werden bisherige Interaktionsdaten betrachtet, um zu analysieren, wie das Ergebnis bisher bei Nutzern ankam und ob es hilfreich war. So können Anfragen mit noch relevanteren Ergebnissen beantwortet werden.

Da der Algorithmus ein maschinell lernendes System ist, kann er aus bisherigen Daten und Signalen Schlüsse ziehen und diese für zukünftige Anfragen anwenden. Dabei betrachtet der Algorithmus alle Suchanfragen objektiv, ohne etwas in sie hineinzuinterpretieren. Subjektive Einstellungen, Absichten oder Standpunkte beachtet Google deshalb beim Abgleich des Suchbegriffs nicht.

Ranking nützlicher Seiten

Zu diesem Abschnitt der Schlüsselfaktoren zählen die Rankingfaktoren, die einen klaren Einfluss darauf haben, welche Ergebnisse als gut angesehen werden und daraufhin eine bessere Positionierung in den Suchergebnissen erhalten. Neben der Benutzerfreundlichkeit der Seite, einer optimierten Ladegeschwindigkeit, der Qualität des Contents, usw. sind deshalb auch beispielsweise Verlinkungen ein wichtiges Signal für die Suchmaschine.

Hierbei ist jedoch Vorsicht geboten! Nicht jede Verlinkung hat auch einen positiven Effekt. Achte darauf, dass nicht von Spamwebsites auf Deine Seite verwiesen wird. Diese Websites haben häufig das Ziel, die Suchmaschine zu täuschen oder in die Irre zu führen. Spam und die dazugehörigen Machenschaften sind etwas, das Google gar nicht gerne sieht. Aus diesem Grund ist in einem solchen Fall eher mit Abstrafungen und negativen Konsequenzen zu rechnen als mit einer Verbesserung des eigenen Rankings. Um immer den korrekten Weg zu gehen und nicht Gefahr zu laufen negative Folgen für Deine Website zu verursachen, solltest Du Dich an den Richtlinien für Webmaster von Google orientieren.

Die besten Ergebnisse

Im nächsten Schritt wird dann analysiert, ob die Informationen auch wirklich mit der Suchanfrage zusammenpassen. Richtig verstanden: Der komplette bisherige Prozess läuft in Sekundenschnelle im Hintergrund ab – Du hast also nach wie vor noch kein Ergebnis auf Deinem Bildschirm.

Oftmals gibt es unendlich viele Ergebnisse, die auf eine Suchanfrage zutreffen. Welche sind jetzt also die, die dem Nutzer im Endeffekt auch ausgespielt werden? Hierfür werden verschiedenste Informationen und Inhalte aus dem Index analysiert und Dir dann die passendste davon ausgespielt. Das funktioniert deshalb, weil sich die einzelnen Rankingfaktoren stetig an das ständig weiterentwickelnde Web anpassen. Dadurch können noch bessere Suchergebnisse geliefert werden. Dafür werden beispielsweise folgende Dinge untersucht:

• Über welchen Browser surfen die Nutzer?
• Welche Endgeräte werden verwendet?
• Auf welchen Displaygrößen werden die Ergebnisse ausgespielt?
• Wie sind die Seitenladezeiten?
• Wie ist die Internetverbindung?

Kontextbezug

Im letzten Schritt, bevor Du endlich das Suchergebnis präsentiert bekommst, wird der persönliche Kontext untersucht. Dafür werden Dinge, die Google bisher von Dir weiß, einbezogen. Dazu gehören beispielsweise

• Dein aktueller Standort
• Bisherige Suchen
• Sucheinstellungen und so weiter.

Vor allem der Standort ist dabei ein wichtiger Faktor, der teilweise dazu führt, dass für ein und dasselbe Schlagwort komplett unterschiedliche Ergebnisse angezeigt werden.

In manchen Fällen wird auch Dein bisheriger Suchverlauf für eine Suchanfrage relevant. Hier interpretiert Google Interessen in vergangene Suchen und nutzt diese Kenntnisse dafür, Dir zukünftig noch besser auf Dich zugeschnittene Ergebnisse zu präsentieren. Möchtest Du jedoch nicht, dass Google dies verwendet, kannst Du über Deinen Google Account festlegen, welche Daten zur Optimierung der Suchergebnisse verwendet werden dürfen.

Zusammengefasst: Was passiert bei Suchanfragen?

Alles startet damit, dass Du eine Suchanfrage in das Suchfeld von Google eintippst. Direkt danach startet der für Dich unsichtbare Prozess, der nach dem perfekten Treffer für Deine Anfrage sucht. Innerhalb kürzester Zeit (oftmals weniger als eine Sekunde), durchsucht der Algorithmus den Suchindex, welcher eine Art Bibliothek mit allen bisher gecrawlten Inhalten des Internets ist. Diese „Bibliothek“ ist bereits lange vor Deiner Suche sortiert und geordnet worden, was dem Algorithmus seine Arbeit erheblich erleichtert. Nachdem dieser also im Hintergrund den semantischen Zusammenhang Deiner Anfrage verstanden, Suchbegriffe abgeglichen und die Rankings der relevantesten Seiten betrachtet hat, sucht er Dir das passende Ergebnis und bezieht dann noch wichtige persönlicheHintergrundinformationen mit ein, die die Anfrage in den richtigen Kontext setzen. Ist dieser komplette Prozess abgelaufen, erhältst Du das für Dich sichtbare Ergebnis mit den hilfreichsten und relevantesten Antworten.

Was sind Google Algorithmus Updates und wie häufig kommen sie vor?

Spekulationen zufolge soll der Google Algorithmus rund 500 bis 600 Mal pro Jahr verändert bzw. optimiert werden. In den meisten Fällen geschieht dies stillschweigend und unter der Hand. Oftmals liegt das daran, dass kontinuierlich verbessert wird und deshalb häufig nur Kleinigkeiten verändert werden. Dennoch gibt es öfters Fälle, in denen ein Google Update bewusst offiziell kommuniziert wird. Das ist in der Regel dann so, wenn viele Webmaster davon betroffen sind oder es um gewaltige Änderungen am Algorithmus geht, die die Rankings stark beeinflussen können. Dies ist beispielsweise bei den Core Web Vitals der Fall, welche als neuer Rankingfaktor eingefügt werden. Obwohl diese erst im Jahr 2021 relevant werden sollen, hat Google diese bereits Mitte 2020 angekündigt.

Zusätzlich gibt es immer wieder Anpassungen an technische Neuerungen, wie Smartphones, Voice Search, etc., die in den Google Algorithmus einfließen. Die kontinuierliche Verbesserung ist dabei wichtig, um stets die bestmöglichen Suchergebnisse erzielen zu können und den Anfragen des Nutzers zu entsprechen.

Du möchtest mehr zum Thema Core Web Vitals erfahren?

Wie wäre es mit unserem kostenlosen, 5-teiligen Core Web Vitals Crashkurs? Hier haben wir Dir alle wichtigen Infos knackig und in schnell konsumierbaren Content-Pieces aufbereitet. Du bekommst dabei nicht nur eine Einführung von Google-Sprachrohr Martin Splitt höchstpersönlich, sondern auch:

• Tipps, wie Du herausfindest, ob bei Deiner Seite Handlungsbedarf besteht
• Eine Checkliste mit möglichen Optimierungsansätzen
• Hilfestellungen zum Umgang mit der Google Search Console und dem dort enthaltenen Core Web Vitals-Report
• Eine Vorlage für ein Google Data Studio Reporting, mit dem Du die Metriken immer im Blick behalten kannst

Neugierig geworden? Dann melde Dich jetzt an! Mit einem Klick auf das Bild gelangst Du zum Anmeldeformular.

Google Algorithmus und Suchmaschinenoptimierung

Gerade durch diese Updates werden SEOs auf der ganzen Welt regelmäßig auf Trab gehalten. Neben den sowieso bereits zahlreichen Rankingfaktoren, die beim Prozess der Suchmaschinenoptimierung beachtet werden müssen, kommen dadurch nämlich stetig neue hinzu. Doch noch viel schlimmer: Bereits getroffene Anpassungen werden eventuell aus dem Nichts irrelevant.

Ziel von SEO ist es, den Algorithmus so zu verstehen, dass Anpassungen an Websites vorgenommen werden können, die daraufhin zu Top-Rankings in den Suchergebnissen führen. Hierfür werden OnPage- und OffPage-Optimierungen vorgenommen. Beide beinhalten unzählige Variablen, die Einfluss auf die Performance und Sichtbarkeit einer Website nehmen. Zusätzlich ist es wichtig, bei der Erstellung und Aktualisierung von Website Content auf das richtige Keyword zu setzen – eine Keyword-Analyse hilft Dir dabei. Schaffst Du es, durch Suchmaschinenoptimierung Deine Website und deren Inhalte genau auf den Algorithmus abzustimmen, wirst Du dadurch ein besseres Ranking erzielen.

Kurzer Exkurs: Warum gibt es unterschiedliche Suchergebnisse auf Desktop und Mobil?

Manchmal passiert es: Zu ein und derselben Suchanfrage bei Google erhältst Du unterschiedliche Ergebnisse. Oftmals liegt es an den persönlichen Anpassungen, die Google bei jeder Suchanfrage vornimmt. Zusätzlich kann es verschiedene Ursachen geben:

• Der Standort, an dem Du Dich gerade befindest
• Variierende Suchergebnisse durch eine Suchanfrage an verschiedene Server
• Verwendung einer Google-Seite, die zwar Deiner Sprache entspricht, aber zu einem anderen Land gehört (google.de vs. google.ch oder google.at)
• Verwendung unterschiedlicher Browser oder Betriebssysteme
• Einfluss vorheriger Suchanfragen
• Einfluss des Web-Protokolls bzw. früher besuchter Seiten

Außerdem kommt hinzu, dass sich die mobile und die Desktop-Suche deutlich unterscheiden. Das liegt daran, dass Google einen eigenen Suchindex für Mobilgeräte hat: Der sogenannte Mobile First Index. In ihm sammelt Google Informationen zu mobilen Versionen von Websites, die er dann abruft, wenn eine Suchanfrage auf einem mobilen Endgerät gestellt wird. Damit möchte der Suchmaschinen-Gigant als Teil der „mobilen Revolution“ darauf bauen, dass zukünftig tendenziell mehr Smartphones und Tablets verwendet werden als Desktops.

Fazit: Deshalb macht uns der Google Algorithmus glücklich

Selbstverständlich ist der Google Algorithmus nicht allein. Jede Suchmaschine besitzt ein ähnliches Instrument, um die Suchanfragen der Nutzer bestmöglich zu beantworten. Der Algorithmus von Yahoo trägt beispielsweise den Namen Slurp. Bei all diesen Systemen handelt es sich um komplexe Prozesse, die gerade durch regelmäßige Updates die SEO-Welt oft auf den Kopf stellen. Dennoch sind Suchmaschinen längst ein fester Teil unseres Lebens und nicht mehr wegzudenken. Etwas „googeln“ ist längst in unseren Wortschatz etabliert und selten ist man schneller und unkomplizierter an Wissen gekommen als über Suchmaschinen. Google und Co. erleichtern uns das Leben und die Wissensaufnahme und das alles Dank Crawler und Algorithmus.

FAQs