Crawling og Indeksering

Crawling og indeksering er to begraber som oftes bliver blandet sammen.

Crawling er når søgemaskiner besøger dit site med deres “robotter”. Roboten følger link rundt på domæneret og optager alt hvad den ser. Roboten har inden den kom ind på siden lagt et budget for hvor mange sider den ønsker at se, det er derfor vigtig at du ikke spilder robotens tid med “duplicate content”, login sider eller underlige link loops.

Indeksering er den udregning(algorytme) søgemaskinen laver intent for at finde frem til hvad din side omhandler og hvad der skal med i søgeresultatet. Indexseringen er altså behandling af den data søgemaskinen fandt under crawlingen.