Skip to Content

Kaip padaryti, kad google neindeksuotų puslapio?

Wed, 2009/04/01 - 20:15 — netikSEO

Praeitame įraše minėjau, kad visai netikėtai buvau suindeksuotas googlės per kelias dienas. Gali atsirasti kritikų, kurie pradės mokinti, ką reikia daryti, jei nenori būti suindeksuotas. Užbėgdamas kritikams už akių, pateiksiu keletą patarimų pats.

Robots.txt protokolas

Robots.txt protokolas yra skirtas užblokuoti paieškos sistemų robotams lankytis jūsų svetainėje ar tam tikrose svetainės dalyse, kurios yra prienamos paprastiems lankytojams. Robots.txt failas turi du pagrindinius elementus "user agent" ir "disallow". Kartais naudojamas ir "allow" elementas. Robots.txt failas turi būti patalpintas pagrindinėje svetainės direktorijoje/byloje. Per daug nesigilinsiu į technines detales ir pateiksiu keletą pavyzdžių:

Jei norite, kad visi robotai aplankytų visus jūsų puslapius:

User-agent: *
Disallow:

simbolis "*" yra kaip jokeris kortose, t.y. gali būti bet koks simbolis.

Jei norite uždrausti visiems robotams lankytis jūsų svetainėje:

User-agent: *
Disallow: /

Jei norite uždrausti lankytis, tik tam tikruose svetainės puslapiuose:

User-agent: *
Disallow: /privatus/
Disallow: /nuotraukos/

Ir t.t., ir panašiai. Daugiau galite pasiskaityti robots.txt svetainėje.

Kodėl neleisti robotams indeksuoti turinio?

Paprastai yra kelios priežastys, kodėl nenorima leisti robotams indeksuoti turinio:

  • Svetainė yra dar neparuošta ar testuojama ir nenorima, kad lankytojai ją atrastų;
  • Pasikartojantis turinys;
  • Privatumo sumetimais

Neparuošta svetainė

Kaip jau minėjau dėl šios priežasties nepatarčiau blokuoti robotų indeksavimo. Paieškos sistemoms yra labai svarbus svetainės amžius ir kuo anksčiau ji bus suindeksuota, tuo greičiau ją priims "rimtai". Išimtinis atvejis, jei svetainė jau suindeksuota ir kuriama bei testuojama atskira svetainės dalis...

Pasikartojantis turinys

Dauguma paieškos sistemų labai nemėgsta pasikartojančio turinio ir dėl to net gali nubausti jūsų svetainę suteikdami jai mažesnį reitingą. Pasikartojantis turinys gali atsirasti ne iš piktos valios. Pavyzdžiui, jeigu jūs naudojate tag'us, tas pats straipsnis atsiras paspaudus ant kiekvieno tag'o. Jums atrodys, kad tai tas pats straipsnis, paieškos robotams, kad tai du ar keli tokie patys straipsniai.

Taip pat vartotojų patogumui, jūs galite turėti "spausdinti" mygtuką, kuris paruošia straipsnį patogiasniam spausdinimui. Vėlgi robotams, tai du tokie patys straipsniai.

Išvengti tokiems atvejams naudojamas robots.txt protokolas arba "nofollow" atributas.

Privatumas

Kartais visiškai nėra noro, kad robotai suindeksuotų jūsų privačią informaciją - nuotraukos, failai, sąrašai ir pan. Arba jei puslapis neteikia konkrečios informacijos, kol neapsilankei tam tikruose puslapiuose prieš tai. Pvz, log-in puslapis, vartotojų kūrimo puslapis ar tik registruotiems vartotojams prieinami puslapiai ir pan.



blog | about seo