Osingumootorid ja nende osa veebilehe liikluses

Sõber andis mingi aeg tagasi lingi kus räägitakse otsingumootorite poolt tekitatud koormusest veebilehtedele ning sellest mis neist tagasi tuleb.

Google Analytics on üks tänuväärt tööriist kui sind huvitab mis sinu lehega toimub. Aga sellest üksi ei saa täit pilti kogu lehe külastatavuse kohta. Nimelt töötab Analytics javascripti kaudu mis tähendab, et kui lehte külastab robot jääb “klikk” lugemata (tegelikult ma pole 100% kindel ega ei ole kontrollinud fakti, et bot’id javascripti ei käivita, aga reaalselt võttes – see javascripti jooksutamine pole niisama lihtne, ning – miks nad peakski seda tegema?). Mitte et sellest hullu oleks – ega bot ju tegelikult sisu ei loe ega reklaamidele kliki, küll aga jääb märkamatuks, et selle kliki jaoks on ikkagi toimunud veebiserveris lehe serveerimine ning andmebaasipäringud.

Näiteks – Kui Google Analytics ütleb viimase 30 päeva kohta 121211 visiiti ning 717546 page view’d, siis webalizer ütleb eelmise kuu kohta Total Pages – 1192878.

Mis edasi – kes koormab lehte? Võttes Esimese IP aadressi 66.249.71.145 – traceroute ütleb, et see on google bot, ning lehelt on ta laadinud 2.41 GB datat. See pole google boti ainuke IP, nii et kogu google lugemiste teadasaamiseks peaks natuke rohkem rehkendama.
Järgmine IP on 77.88.26.26, mis kuulub venelaste otsingumootorile. Lehelt on ta laadinud 1.63 GB andmeid.
Järgmised IP’d:
74.6.8.90 – yahoo – 501.13 MB
74.6.22.164 – yahoo – 290.17 MB
66.249.71.247 – google – 300.85 MB
72.30.142.122 – yahoo – 176.44 MB
66.249.71.186 – google – 170.82 MB

195.50.209.247 – neti.ee – 31.88 MB

Kokku terve lehe liiklus antud perioodil 21.34 GB

Mis on selle juures aga huvitav – Otsingumootoritest tulev liiklus (Google Analytics):
Google – 49,707
Neti.ee – 26,951
Live – 807
Yahoo – 693
Yandex – 238

Selle kõige tulemusena paar mõtet –
* Kui iga klikk on oluline, siis on kindlasti mõistlik optimeerida baasipäringud ning bottidele näidata lihtsamaid lehti.
* Samtui on mõistlik bot’id hoida eemal ebavajalikest lehekülgedest mille lugemine tekitab baasi koormust aga ei oma tähendust otsingumootorist tulejatele (ntx reaalajas arvutatav statistika).
* Kindlasti tasub vältida saidi sisemiste counterite käivitamist kui külastajateks on bot’id (vältimaks väära ettekujutust suurest külastatavusest).
* Arvestades otsimootoritele andmist ning neilt saamist, ning kui iga klikk ei ole oluline, siis on ilmselt mõistlik antud joonise puhul kõik teised otsimootorid peale google ja neti.ee ära blokkida, sest kui mu lehel jäävad ka need 693 Yahoo kasutajat käimata ei juhtu sellest sooja ega külma, küll aga jääb ära märkimisväärne hulk koormust võrgule ning veebiserverile.

Näitena sobib siia ka hiljutine juhtum, kus puutusin kokku ühe leheküljega mis langes iga paari tunni tagant kooma (kehv programmeerimispraktika) ning peaasjalikult osutusid “tapjateks” otsingumootorid.

Advertisements

2 thoughts on “Osingumootorid ja nende osa veebilehe liikluses

  1. Jutt õige, Googlet saab õpetada ja dresseerida. Antud juhul on aga pigem probleemiks Yahoo ja sõbrad. Kui Google tekitab koormuse, siis selle eest saab tagasi ka liikluse, erinevalt teistest otsirobotitest kes koormavad ka lehte ent külastajaid ei too. Igaljuhul tasub sellele tähelepanu pöörata – kuidas ja mil määral piirata teiste otsirobotite toimetamisi oma lehel.

Lisa kommentaar

Täida nõutavad väljad või kliki ikoonile, et sisse logida:

WordPress.com Logo

Sa kommenteerid kasutades oma WordPress.com kontot. Logi välja / Muuda )

Twitter picture

Sa kommenteerid kasutades oma Twitter kontot. Logi välja / Muuda )

Facebook photo

Sa kommenteerid kasutades oma Facebook kontot. Logi välja / Muuda )

Google+ photo

Sa kommenteerid kasutades oma Google+ kontot. Logi välja / Muuda )

Connecting to %s

%d bloggers like this: