Linkitys etusivulle ja bottien erottaminen ihmisistä

06.10.2005 klo 22.41 • Aihe: Web

Viime talvena kirjoitin etusivulinkkien sijoittamisesta ja käytöstä. Silloin tutkimus perustui 928 klikkaukseen kahden viikon ajalta. Nyt kahdeksan kuukautta ja 13 710 klikkausta myöhemmin tulokset näyttävät edelleen lähes täsmälleen samoilta.

Linkkien sijoittuminen:
Linkkien sijoittuminen sivulla.

Linkkien käyttö:
Logo 3 %, navigointi 67 %, Olet täällä 22 %, Alatunniste 8 %.

Katso taustatiedot ja ehdotukset aiemmasta kirjoituksesta.

Bottien erottaminen ihmisistä

Yksi ongelma klikkausten automaattisessa tutkimisessa on oikeiden käyttäjien erottaminen hakukoneroboteista, automaattisista kopiointiohjelmista yms. ”boteista”. Tässä tutkimuksessa erottelin ihmiset boteista HTTP_USER_AGENT-tiedon perusteella. Alle puolet kaikista tallennetuista klikkauksista oli oikeiden käyttäjien aiheuttamia.

Boteiksi tulkitsin kaikki ne, joiden user agent -tiedossa esiintyi jokin näistä merkkijonoista, tai joiden HTTP_USER_AGENT oli jokin näistä. Osa näistä lienee kuitenkin oikeita käyttäjiä.

Onkohan olemassa suhteellisen luotettavaa ja ajantasaista listaa tai muuta menetelmää bottien erottamiseksi ihmisistä?

Kommentit

1 Aki Björklund (07.10.2005 klo 12.03)

User-Agent-kenttään ei oikein voi luottaa, mutta sen sijaan JavaScriptiä ei varmaankaan tue mikään robotti. Ihmisten selaimissa JS on päällä lähes poikkeuksetta.

Google toimii siten, että jokaiseen hakutuloksen linkkiin liittyy onmousedown-event, jossa linkkiä muutetaan kulkemaan googlen pavelimen kautta -- vaikka href osoittaakin suoraan ulos. Sama malli voisi hyvin toimia tässäkin.

Tätä viestiä ei voi enää kommentoida.