Kako indeksirati veliku web lokaciju i izvući podatke pomoću vrištećeg žabljeg SEO Spider-a

Trenutno pomažemo nekoliko klijenata s Marketo migracijama. Kako velike kompanije koriste ovakva korporativna rješenja, to je poput paukove mreže koja se godinama plete u procese i platforme... do tačke da kompanije nisu ni svjesne svake dodirne točke.

Uz platformu za automatizaciju marketinškog preduzeća poput Marketo, obrasci su početna točka podataka na web lokacijama i odredišnim stranicama. Kompanije na svojim web lokacijama često imaju hiljade stranica i stotine obrazaca koje treba identificirati za ažuriranje.

Odličan alat za to je Screaming Frog's SEO Spider... možda najpopularnija platforma u SEO tržište za indeksiranje, reviziju i izdvajanje podataka sa sajta. Platforma je bogata funkcijama i nudi stotine opcija za gotovo svaki zadatak koji vam je potreban. Međutim, funkcije se protežu daleko od optimizacije za pretragu, s jednom nevjerovatno korisnom funkcijom za izdvajanje podataka sa vaše web lokacije dok se ona indeksira.

Vrišteći žaba SEO Spider: puzanje i ekstrakt

Ključna karakteristika Screaming Frog SEO Spider je da možete izvoditi prilagođena izvlačenja na osnovu regex, XPath, ili CSSPath specifičnosti. Ovo je izuzetno korisno jer želimo indeksirati klijentove web lokacije i revidirati i prikupiti vrijednosti MunchkinID i FormId sa stranica.

Otvorite alat Konfiguracija> Prilagođeno> Izdvajanje da prepoznate elemente koje želite izvući.

Ekran za izdvajanje omogućava praktično neograničeno prikupljanje podataka:

Ekstrakcija regularnih izraza, XPath i CSSPath

Za MunchkinID, identifikator se nalazi unutar skripte obrasca koja se nalazi na stranici:

<script type='text/javascript' id='marketo-fat-js-extra'>
    /* <![CDATA[ */
    var marketoFat = {
        "id": "123-ABC-456",
        "prepopulate": "",
        "ajaxurl": "https:\/\/yoursite.com\/wp-admin\/admin-ajax.php",
        "popout": {
            "enabled": false
        }
    };
    /* ]]> */

Zatim primjenjujemo a Regex pravilo za hvatanje ID-a unutar oznake skripte koja je umetnuta na stranicu:

Regex: ["']id["']: *["'](.*?)["']

Za ID obrasca, podaci su u ulaznoj oznaci unutar obrasca Marketo:

<input type="hidden" name="formid" class="mktoField mktoFieldDescriptor" value="1234">

Primjenjujemo XPath pravilo za hvatanje ID-a iz obrasca koji je umetnut na stranicu. Upit XPath traži obrazac s ulazom s imenom formid, zatim ekstrakcija sprema vrijednost:

XPath: //form/input[@name="formid"]/@value

Izdvojite oznake umetnutih stilova

Trenutno pomažemo klijentu da počisti stranicu na kojoj su koristili umetnute stilove na Elementor dodatku kako bi prilagodili gotovo svaki element sa stranicom. Da bismo identificirali gdje su korišteni umetnuti stilovi, izbacili smo stranicu s brojnim RegEx pravilima za prilagođeno izdvajanje:

• Span Inline stil:

<span\s+(?:[^>]*?\s+)?style\s*=\s*"([^"]*)"

• Inline stil sidrene oznake:

<a\s+(?:[^>]*?\s+)?style\s*=\s*"([^"]*)"

• Div Tag Inline stil:

<div\s+(?:[^>]*?\s+)?style\s*=\s*"([^"]*)"

• Umetnuti stil oznake naslova:

<h+(?:[^>]*?\s+)?style\s*=\s*"([^"]*)"

Isključite poddomene u vašem indeksiranju

At Martech Zone, servisiramo stranicu na više jezika na različitim poddomenama. Popisivanje ovih prijevoda nije neophodno jer su sva sredstva i informacije zasnovane na osnovnom sajtu. Zbog toga smo omogućili konfiguraciju liste isključivanja i dodali sljedeće pravilo:

.*\.martech.zone

Ovo također možete koristiti da preskočite indeksiranje nepotrebnih staza kao što su oznake dodavanjem:

martech.zone/tag/.*

Platforma čak ima i zgodnu metodu za testiranje nekih URL-ova protiv pravila kako biste bili sigurni da radi ispravno prije nego što indeksirate svoju web lokaciju.

Vriskanje žabe SEO Spider Javascript prikazivanje

Još jedna odlična opcija Screaming Frog je da niste ograničeni na HTML na stranici, možete prikazati bilo koji JavaScript koji će umetnuti obrasce unutar vaše web stranice. Unutar Konfiguracija> Pauk, možete otići na karticu Prikazivanje i omogućiti ovo.

Za to je potrebno malo više vremena za indeksiranje stranice, ali dobit ćete obrasce koje JavaScript prikazuje na strani klijenta, kao i obrasce koji su umetnuti na strani poslužitelja.

Iako je ovo vrlo specifična aplikacija, nevjerovatno je korisna dok radite s velikim web lokacijama. Apsolutno ćete htjeti provjeriti gdje su obrasci ugrađeni u cijelu web lokaciju.

Preuzmite Screaming Frog SEO Spider

Disclosure: Martech Zone koristi svoje partnerske veze u ovom članku.