SERP Scraping

Das Scra­ping der Goog­le-Such­ma­schi­nen­er­geb­nis­sei­te (“SERP”) ist die Lösung, um das Gehirn der KI auto­ma­tisch mit rele­van­tem und detail­lier­tem Wis­sen über ein The­ma zu füttern.

Reden wir einen Moment auf hohem Niveau.

Die KI hat einen Cutoff aus der Per­spek­ti­ve des Wis­sens. Die Gren­ze für GPT 3.5 ist 2021 und die Gren­ze für GPT 4 ist 2023. Aber selbst wenn die KI über Wis­sen zu einem The­ma ver­fügt, bedeu­tet das nicht, dass sie über tie­fes Wis­sen zu die­sem The­ma verfügt.

Wenn du also einen Arti­kel über ein The­ma schrei­ben willst, über das die KI nichts weiß, oder über ein The­ma, das tie­fes Wis­sen erfor­dert, soll­test du die SERP-Scra­ping-Funk­ti­on von Zimm­Wri­ter nutzen.

Hinter den Kulissen (High Level)

Ich den­ke, es ist wich­tig, mit dir zu tei­len, was bei einem SERP-Scra­pe hin­ter den Kulis­sen vor sich geht. Lass uns das mal aus der Per­spek­ti­ve des Bulk Wri­ters in Zimm­Wri­ter besprechen:

1. Gib den Titel eines Blog­bei­trags in den Bulk Wri­ter in Zimm­Wri­ter ein
2. Akti­vie­re SERP-Scra­ping (erfor­dert ScrapeOwl)
3. Kon­fi­gu­rie­re alle Optio­nen und star­te dann den Bulk Wri­ter
4. Zimm­Wri­ter führt dann die fol­gen­den Schrit­te aus:

• Kon­tak­tie­re Scra­peOwl, um eine Goog­le-Suche nach dem Titel des Arti­kels durchzuführen.
• Du erhältst von Scra­peOwl eine Lis­te der Web­sei­ten, die für die­sen Begriff ran­gie­ren, zusam­men mit Fra­gen von Leu­ten, die eben­falls Fra­gen stel­len, und eini­gen ande­ren Daten.
• Spei­che­re den SERP-Scra­pe in der Cache-Daten­bank. Bis zu 5.000 SERP-Scra­pes kön­nen gleich­zei­tig im Cache gespei­chert werden.
• Bestim­me, wel­che Web­sei­ten, die für den Begriff ran­ken, für die­sen Begriff rele­vant sind. 
  • Bei sehr eng gefass­ten Such­an­fra­gen gibt es manch­mal kei­ne Ergeb­nis­se, die das The­ma behan­deln (z. B. wenn du ver­suchst zu goo­geln “wie man einer Schne­cke das Fahr­rad­fah­ren bei­bringt”, wirst du sehen, dass es nichts dazu gibt).
  • Wenn kei­ne Ergeb­nis­se gefun­den wer­den, bricht Zimm­Wri­ter den Vor­gang ab.
• Scra­pe bis zu 5 Web­sei­ten, die für die Such­an­fra­ge als rele­vant ein­ge­stuft wur­den, aus der SERP 
  • Wenn es sich bei meh­re­ren Ergeb­nis­sen um You­Tube-Vide­os han­delt, wird nur das ers­te You­Tube-Video­tran­skript ausgewertet.
  • Jede Web­site wird gescraped, die Zwi­schen­über­schrif­ten wer­den gesam­melt, SEO-Key­words wer­den extra­hiert und eine Zusam­men­fas­sung mit Hil­fe von KI wird für jede Web­site erstellt.
  • Jede gescrap­te Web­sei­te wird in der Cache-Daten­bank gespei­chert. Im Cache kön­nen bis zu 5.000 Web­sei­ten gleich­zei­tig vor­han­den sein.
• Ver­wen­de die Zwi­schen­über­schrif­ten der bis zu 5 Web­sei­ten, um dei­ne Glie­de­rung zu erstellen.
• Ver­wen­de die Zusam­men­fas­sun­gen der bis zu 5 Web­sei­ten, um Dis­kus­si­ons­punk­te für jede Unter­über­schrift in dei­nem Arti­kel zu erstel­len (z.B. jede H2, H3, etc.).
• Ver­wen­de die SEO-Key­words, die du aus den gescrap­ten Web­sei­ten ermit­telt hast, um sie in dei­nen Arti­kel einzufügen.

Wir hof­fen, dass die­ser Über­blick nicht nur etwas Licht ins Dun­kel bringt, son­dern auch erklärt, war­um es län­ger dau­ert, einen Arti­kel mit SERP-Scra­ping zu schrei­ben als ohne.

Geolocation-Zeug

Die Stan­dard­ein­stel­lung für die Geo­lo­ka­li­sie­rung ist Ver­ei­nig­te Staa­ten (die goog​le​.com ver­wen­det) und der Stan­dard­stand­ort ist Hous­ton, TX, Ver­ei­nig­te Staa­ten. Wenn du nur goog​le​.com scra­pen willst und dir die Geo­lo­ka­li­sie­rung egal ist, dann lass ein­fach alles ste­hen und lie­gen und es wird wun­der­bar funktionieren.

WICHTIGER HINWEIS: Die Zwi­schen­spei­che­rung funk­tio­niert nur auf der Grund­la­ge des ein­ge­ge­be­nen Titels und berück­sich­tigt nicht den geo­gra­fi­schen Stand­ort. Wenn du also einen Titel in den USA scra­pen lässt und dann fragst, ob du ihn in Kana­da erneut scra­pen sollst, wird der gecach­te Scra­pe aus den USA ver­wen­det. Um dies zu ver­mei­den, musst du das Kon­troll­käst­chen Cache über­schrei­ben aktivieren.

SERP-Scraping im Bulk Writer

Wie SERP-Scra­ping im Bulk Wri­ter funk­tio­niert, habe ich oben schon beschrie­ben, aber es gibt noch ein paar wei­te­re wich­ti­ge Punkte.

Das SERP-Scra­ping-Menü hat meh­re­re Optionen:

• SERP-Cache für über­ein­stim­men­de Titel über­schrei­ben – akti­vie­re die­ses Käst­chen, um einen vor­han­de­nen alten Cache für einen über­ein­stim­men­den Blog­post-Titel zu über­schrei­ben, anstatt ihn zu verwenden.
• Web­sei­ten-Cache für über­ein­stim­men­de URLs über­schrei­ben – akti­vie­re die­ses Kon­troll­käst­chen, um einen vor­han­de­nen alten Cache für eine über­ein­stim­men­de URL zu über­schrei­ben, die beim SERP-Scra­pe gefun­den wer­den könnte.
• SEO-Schlüs­sel­wör­ter aus SERP deak­ti­vie­ren – akti­vie­re die­ses Kon­troll­käst­chen, damit Zimm­Wri­ter kei­ne SEO-Schlüs­sel­wör­ter aus den SERP ver­wen­det und du das Kon­troll­käst­chen “Auto­ma­ti­sche Schlüs­sel­wör­ter” akti­vie­ren kannst, um AI-gene­rier­te Schlüs­sel­wör­ter zu akti­vie­ren, wenn du das möchtest.
• PAA für FAQ deak­ti­vie­ren – akti­vie­re die­ses Kon­troll­käst­chen, damit Zimm­Wri­ter nicht die von Goog­le gestell­ten Fra­gen als FAQ-Fra­gen ver­wen­det und statt­des­sen KI-gene­rier­te Fra­gen einsetzt.

Hier sind noch ein paar Din­ge, die du im Bulk Wri­ter beach­ten solltest:

• SERP Scra­ping ist mit der SEO CSV kom­pa­ti­bel. Es gilt der gesun­de Men­schen­ver­stand. Wenn einer CSV-Zei­le eine Glie­de­rung, SEO-Key­words oder Hin­ter­grund­in­for­ma­tio­nen feh­len, wer­den die SERP-Daten für die­se Tei­le verwendet.
• SERP-Scra­ping ist auch mit der Funk­ti­on für benut­zer­de­fi­nier­te Glie­de­run­gen kom­pa­ti­bel, aber das hängt von dei­ner Erfah­rung ab.

SERP Scraping im SEO Writer

Die Schalt­flä­che SERP Scra­ping befin­det sich in Schritt 2 des SEO Writer-Menüs.

Ein Wort zum *Wenn* in Bezug auf Zusammenfassungen aus der SERP

Eine Sache, die ich zuerst erklä­ren muss und die ich mit größ­ter Wich­tig­keit beto­ne, ist, *wann* die Zusam­men­fas­sun­gen von den bis zu 5 gescrap­ten Web­sites im SEO Wri­ter ver­wen­det wer­den. Die Zusam­men­fas­sun­gen sind für dich im Front­end nicht sicht­bar, wer­den aber im Backend beim Schrei­ben des Arti­kels verwendet.

Im Bulk Wri­ter wer­den die Zusam­men­fas­sun­gen ver­wen­det, um Dis­kus­si­ons­punk­te für jede Zwi­schen­über­schrift zu erstellen.

Aber im SEO Wri­ter wer­den die Zusam­men­fas­sun­gen ver­wen­det, um Dis­kus­si­ons­punk­te für jede Unter­über­schrift zu gene­rie­ren die kei­ne “URL für Scra­ping” und kei­ne “Hin­ter­grund­in­for­ma­tio­nen” für die­se spe­zi­fi­sche Unter­über­schrift ent­hält.

Lies das noch ein paar Mal.

Ich erklä­re es dir jetzt noch ein­mal, aber in umge­kehr­ter Rei­hen­fol­ge. Wenn du im Feld “URL für Scra­ping” eine URL für eine Unter­über­schrift oder Hin­ter­grund­in­for­ma­tio­nen für eine Unter­über­schrift angibst, dann wer­den die Zusam­men­fas­sun­gen der Web­sei­ten aus dem SERP-Scra­pe nicht für die­se spe­zi­el­le Unter­über­schrift ver­wen­det werden.

Ein Wort zum globalen Hintergrund

Du kannst den SEO Wri­ter immer noch zu 100% so ver­wen­den, wie du ihn vor dem SERP-Scra­ping ver­wen­det hast. Aber die Art und Wei­se, wie du den glo­ba­len Hin­ter­grund ver­wen­dest, soll­te sich ändern, wenn du SERP-Scra­ping betreibst.

Die KI braucht Fleisch, um über Nischen­the­men zu schrei­ben und in die­se The­men ein­zu­tau­chen. Ohne SERP-Scra­ping wür­dest du die­ses Fleisch im glo­ba­len Hin­ter­grund (bis zu 1.200 Wör­ter) oder im Hin­ter­grund einer bestimm­ten Unter­über­schrift (bis zu 500 Wör­ter) bereitstellen.

Beim SERP-Scra­ping brauchst du jedoch kei­nen lan­gen glo­ba­len Hin­ter­grund mehr. Tat­säch­lich ist er sogar schäd­lich und eine Geld­ver­schwen­dung. Die Faust­re­gel für SERP-Scra­ping lautet…

• Ver­wen­de einen kur­zen glo­ba­len Hin­ter­grund von 75 Wör­tern, wenn du die KI über ein enges oder Nischen­the­ma schrei­ben lässt.
• Ver­wen­de kei­nen glo­ba­len Hin­ter­grund, wenn du die KI über ein brei­tes The­ma schrei­ben lässt.

War­um?

Erin­nerst du dich dar­an, wie ich (ein paar Absät­ze wei­ter oben) die “Dis­kus­si­ons­punk­te” erwähnt habe, die für jede Unter­über­schrift mit­hil­fe der aus den SERP gene­rier­ten Zusam­men­fas­sun­gen erstellt werden?

Da die­se Dis­kus­si­ons­punk­te für jede Unter­ru­brik spe­zi­fisch sind (d.h. für jede Unter­ru­brik wer­den neue Dis­kus­si­ons­punk­te gene­riert), sind sie viel nütz­li­cher als ein mons­trö­ser, 1.200 Wör­ter umfas­sen­der Hin­ter­grund, der nur bruch­stück­haft auf eine Unter­ru­brik zutrifft.

Außer­dem haben die Dis­kus­si­ons­punk­te den zusätz­li­chen Vor­teil, dass sie Wie­der­ho­lun­gen ver­mei­den. Eine häu­fi­ge Beschwer­de bei der Ver­wen­dung eines lan­gen glo­ba­len Hin­ter­grunds für einen Arti­kel mit mehr als 10 Unter­über­schrif­ten ist die Wie­der­ho­lung von Inhal­ten in ver­schie­de­nen Unter­über­schrif­ten. Bei der Ver­wen­dung der SERP-Scra­ping-Funk­ti­on ist dies jedoch in der Regel nicht der Fall.

TLDR: Wenn du das SERP-Scra­ping im SEO Wri­ter ver­wen­dest, soll­test du kei­nen lan­gen glo­ba­len Hin­ter­grund ver­wen­den; etwa 75 Wör­ter sind ausreichend.

Vorab-Scraping der SERP mit der Schaltfläche “SERP jetzt scrapen”

Wenn du auf die Schalt­flä­che zum Scra­pen der SERP drückst, siehst du die Schalt­flä­che “Scra­pe the SERP Now” (die im Menü des Bulk Wri­ters nicht vor­han­den ist).

Wenn du auf die­se Schalt­flä­che drückst, wird als ers­tes ein SERP-Scra­pe des Blog­post-Titels gestartet.

Wenn du die­sen But­ton drückst, wer­den die Menüs geschlos­sen und Zimm­Wri­ter durch­sucht die SERP nach dem Titel dei­nes Blog­bei­trags. Sobald dies abge­schlos­sen ist, fügt Zimm­Wri­ter Fol­gen­des hinzu:

1. einen glo­ba­len Hintergrund
2. eine Lis­te der H2 und H3 Unter­über­schrif­ten der Mit­be­wer­ber aus der SERP
3. eine Lis­te von SEO-Keywords

Wenn du die SERP im Vor­aus scrapst (wie du es gera­de getan hast), kannst du jetzt “Opti­on 3” ver­wen­den, um dei­ne Zwi­schen­über­schrif­ten auf der Grund­la­ge des glo­ba­len Hin­ter­grunds der SERP + der Zwi­schen­über­schrif­ten der Kon­kur­renz zu generieren.

Wenn du bereit bist, den Arti­kel von Zimm­Wri­ter schrei­ben zu las­sen, kannst du auf eine der bei­den Schalt­flä­chen unten im SEO Wri­ter-Menü kli­cken (z. B. SEO Wri­ter star­ten (mit Scra­ping-URLs)” oder “SEO Wri­ter star­ten (ohne Scra­ping-URLs)”) und Zimm­Wri­ter wird die gescrap­ten SERP-Daten zum Schrei­ben des Arti­kels verwenden.

Scraping der SERP ohne Pre-Scrape

Was wird passieren?

Zimm­Wri­ter scrab­belt zuerst die SERP (sofern sie nicht schon vor­her gescrabbt wur­de, wie oben beschrie­ben) und schreibt dann dei­nen Artikel.

Häufig gestellte Fragen

Wie lange dauert das SERP-Scraping?

Stel­le zu 100 % sicher, dass dein Ope­nAI-Kon­to auf Nut­zungs­stu­fe 2 ist. Andern­falls wirst du fest­stel­len, dass das SERP-Scra­ping SEHR lang­sam ist. Du fin­dest dein Raten­li­mit oben links in der die­ser Seite.

Du kannst die Nut­zungs­stu­fe 2 ganz ein­fach errei­chen, indem du 50 Dol­lar auf dein Ope­nAI-Kon­to auf­lädst. Mehr über die Nut­zungs­stu­fen und Tarif­gren­zen erfährst du auf der Ope­nAI Tarif­gren­ze Seite.

Im All­ge­mei­nen kann das Scra­pen der SERP (bevor Zimm­Wri­ter mit dem Schrei­ben dei­nes Arti­kels beginnt) zwi­schen 5 und 20 Minu­ten dau­ern, vor­aus­ge­setzt, du bist auf Nut­zungs­ebe­ne 2. Sobald der SERP-Scra­pe und die Web­sei­ten-Scra­pes im Cache gespei­chert sind, wird die­se Zeit auf Null reduziert.

Warum bleiben einige Websites, die gescraped werden, für gefühlte 5–10 Minuten bei 0% Fortschritt?

Wenn Zimm­Wri­ter auf eine “neue” Domain für eine Web­sei­te stößt, geht er davon aus, dass er kei­ne aus­ge­fal­le­nen Scra­peOwl-Ein­stel­lun­gen (wie Pre­mi­um-Pro­xys, Java­script usw.) benö­tigt. Zimm­Wri­ter ver­sucht dann, die Web­sei­te mit den Stan­dard­ein­stel­lun­gen zu scra­pen und erhält 1 Cre­dit für einen erfolg­rei­chen Scrape.

Aber manch­mal lässt sich die Web­sei­te nicht scra­pen, weil die Domain den Scra­per blo­ckiert oder weil sie Java­Script ver­wen­det, um den Inhalt zu ren­dern, usw.

Zimm­Wri­ter geht also wie folgt vor:

1. Er ver­sucht 3x, die Web­sei­te zu scrapen.
2. Wenn alle 3x fehl­schla­gen, ver­sucht Zimm­Wri­ter es noch 3x, aber mit akti­vier­ten “Pre­mi­um Proxies.
3. Wenn alle 3x fehl­schla­gen, ver­sucht Zimm­Wri­ter 3x wei­te­re Ver­su­che, aber mit akti­vier­tem “render_js.
4. Wenn alle 3x fehl­schla­gen, ver­sucht Zimm­Wri­ter 3x wei­te­re Ver­su­che, aber mit “block_resources” auf fal­se gesetzt

Hin­weis: Jeder Ver­such kann bis zu 60 Sekun­den dau­ern, bevor eine Zeit­über­schrei­tung ein­tritt, und fehl­ge­schla­ge­ne Ver­su­che kos­ten kei­ne ScrapeOwl-Credits!

Wenn Zimm­Wri­ter die Web­sei­te zu irgend­ei­nem Zeit­punkt erfolg­reich scra­pen konn­te und Pre­mi­um Pro­xies, render_js oder block_resources erfor­der­lich waren, spei­chert Zimm­Wri­ter die Domain mit die­ser Kon­fi­gu­ra­ti­on in den ScrapeOwl-Einstellungen.

Wenn das Scra­pen nicht erfolg­reich war, fügt Zimm­Wri­ter die Domain trotz­dem zum Scra­peOwl-Ein­stel­lungs­me­nü hin­zu, aller­dings mit dem Sta­tus “blo­ckiert”, was bedeu­tet, dass die Domain über­sprun­gen wird, wenn sie in Zukunft bei einem SERP-Scra­pe gefun­den wird.

Siehst du den Bereich “auto­ma­tisch hin­zu­ge­füg­te Domains”? Das sind alles Domains, die Zimm­Wri­ter beim Scra­pen gefun­den hat, mit denen er zu kämp­fen hat­te und die dann mit einer bestimm­ten Ein­stel­lung zur Daten­bank hin­zu­ge­fügt wurden.

Im Moment kann Zimm­Wri­ter bis zu 50 auto­ma­tisch hin­zu­ge­füg­te Domains spei­chern. Sobald das Limit erreicht ist, wer­den die ältes­ten hin­zu­ge­füg­ten Domains ent­fernt, um Platz für die neue­ren zu schaf­fen. Wer zuerst kommt, mahlt zuerst.

Wenn du beim SERP-Scra­ping häu­fig auf eine Domä­ne stößt, kannst du das Häk­chen bei “AA” ent­fer­nen, auf “Spei­chern” kli­cken und die­se Domä­ne wird dann dem “manu­ell hin­zu­ge­füg­ten Bereich” hin­zu­ge­fügt. Das glei­che Limit von 50, aber die­se Domains wer­den nicht auto­ma­tisch entfernt.