Teknisk SEO for webudviklere: Crawlability & Indexering
Søgemaskiner skal kunne finde og forstå dine sider. Hvis de ikke kan det, kommer dit indhold ikke med i søgeresultaterne – uanset hvor godt det er.
Crawlability betyder, at en søgemaskine kan indlæse dine sider og følge dine links. Indexering betyder, at søgemaskinen vælger at gemme dine sider i sit indeks. Hvis én af de to dele fejler, mister du synlighed.
Hvad kan forhindre en side i at komme i søgeresultaterne?
Du kan komme til at blokere søgemaskiner fra vigtigt indhold ved en fejl. Mange bruger fx en robots.txt-fil til at holde crawlers ude af admin-sider og loginområder. Men hvis filen ikke er sat korrekt op, kan du også komme til at blokere blogindlæg, produktsider eller hele sektioner af din hjemmeside.
Fejl i sitemapet skaber også problemer. Dit sitemap bør kun indeholde sider, der virker, er vigtige og skal vises i søgeresultater. Hvis du lister ødelagte links eller redirects, mister søgemaskiner tillid til dit sitemap – og nogle af siderne bliver måske ikke crawlet.
Nogle sider bliver aldrig fundet, fordi du ikke linker til dem. Disse sider kaldes for “forældreløse sider”. Hvis du heller ikke har dem med i sitemapet, vil søgemaskiner sandsynligvis aldrig opdage dem.
Hvis du vil have dine sider indekseret, skal du linke til dem internt og inkludere dem i et opdateret sitemap.
Hvorfor vælger en søgemaskine at springe en side over?
Søgemaskiner ignorerer sider, hvis de modtager modstridende signaler.
For eksempel: Du tilføjer en side til sitemapet, men sætter også noindex i meta-tagget. Eller du tilføjer en canonical, der peger på en anden version – og markerer den anden version med noindex. I begge tilfælde bliver ingen af siderne indekseret.
Redirects skaber også problemer. Hvis dine interne links peger på URL’er, der videresender til en anden side, bruger søgemaskinen ekstra ressourcer. For mange redirects svækker strukturen. Link direkte til den endelige side i stedet.
Duplikeret indhold kan også forhindre indexering. Hvis det samme indhold findes på flere sider, og du ikke vælger én som den “rigtige”, kan søgemaskinen vælge at springe dem alle over.
Du undgår det ved at:
Linke direkte til vigtige sider, bruge canonical korrekt, undgå redirect-kæder og fjerne noindex fra sider, du vil have i søgeresultaterne.
Hvad viser Google og Bing?
Google Search Console og Bing Webmaster Tools viser, hvordan søgemaskinerne crawler dit website. Du kan se, hvilke sider de har fundet, og hvorfor nogle blev sprunget over.
Typiske fejlmeddelelser er:
- Blokeret af
robots.txt - Ekskluderet pga.
noindex - Duplikeret uden canonical
- Crawlet men ikke indekseret
- Opdaget men ikke crawlet
Disse værktøjer er nyttige, men de viser kun fejl efter crawl er sket. Du kan ikke bruge dem til at forhindre fejl – kun til at reagere på dem.
Sådan opdager du fejl før søgemaskinerne gør
Brug dine egne crawl-værktøjer for at finde fejl, før Google eller Bing besøger din side. Disse værktøjer opfører sig som en søgemaskine og viser dig, hvad de ser.
Ahrefs, SEMrush og Sitebulb scanner hele websitet og finder ødelagte links, redirect-kæder, blokerede sider og forkert brug af canonical-tags. De forklarer også, hvordan du løser problemerne.
Til mindre sider findes der også lettere værktøjer. Merkle Indexability Checker kan teste én URL ad gangen. Ubersuggest kan scanne hele sitet og vise crawl- og indeksfejl.
Disse værktøjer giver dig kontrollen. Du kan rette fejl, før de rammer din synlighed.
Sådan gør du dine sider klar til søgning
Du skal bygge din side, så søgemaskiner let kan forstå og indeksere den.
Tjek at dine vigtige sider:
- Er med i sitemapet
- Har mindst ét internt link
- Bruger korrekt canonical
- Ikke er blokeret af
robots.txt - Ikke bruger
noindex - Ikke linker gennem flere redirects
Søgemaskiner ønsker klare signaler. Undgå modstridende beskeder. Hvis du guider dem godt, vil de indeksere dine sider uden problemer.
Kombinér data fra Google Search Console og Bing med regelmæssige tekniske tjek. Så kan du opdage fejl, før de koster dig synlighed.