WEB-KRAVLER: Roboter og web-kravlere har blitt så mange og brukes til så mye at de begynner å bli et problem.

WEB-KRAVLER: Roboter og web-kravlere har blitt så mange og brukes til så mye at de begynner å bli et problem.

Halvparten av trafikken kom fra web-roboter

Det er viktigere enn noen gang å granske trafikkanalysene sine skikkelig, mener analytiker.

Omtrent halvparten av all webtrafikken kom fra web-kravlere og roboter, og det kan koste virksomheten mange penger, skriver våre kolleger i Computerworld.com.

Dette er ett av funnene i en rapport nylig utgitt av selskapet Deviceatlas, et selskap som lager programvare som hjelper virksomheter å identifisere hvilke typer enheter gjestene bruker når de besøker websidene til virksomhetene.

Ondsinnete roboter

Ikke-menneskelige kilder sto for drøye 48 prosent av trafikken til nettstedene som Deviceatlas analyserte for sin «Mobile Web Intelligence Report» for første kvartal i år. Dette tallet omfattet legitime web-kravlere fra de store søkemotorene, men også automatisert programvare, roboter og andre verktøy som nettkriminelle, klikksvindlere og søppelpostere har satt i arbeid, uttalte representanter for Deviceatlas.

Deviceatlas er et datterselskap av Afilias, som omtaler seg selv som verdens nest største domenenavn-registrar.

Robot-teknologier har lenge vært kjent for å stå for en signifikant mengde av trafikken på nettet, men nå tid dags har den blitt mer ondsinnet enn før – og dyrere enn før, sa Ronan Cremin i selskapet Dotmobi, et innholdsleveranseselskap for mobiler som også er eid av Afilias.

«Vi pleide å tenke på roboter som passiv bakgrunnsstøy. Det har nå endret seg, til den grad der de interagerer med nettsidene de besøker, og imiterer menneskelig adferd og trafikkmønstre», sa Cremin.

Det er også velkjent at roboter kan brukes til å generere klikk på annonser, og dermed lage falsk omsetning på annonser, men nå kan de i noen tilfeller gjennomføre kjøp på nettet, med det mål for øyet å manipulere priser, fortalte Cremin videre.

«Det er et kinkig problem», sa han. «Nå har det blitt så billig og enkelt å sette roboter i bruk at hele virksomheten har forandret seg», la han til.

Menneske eller maskin?

Digitale markedsførere har lenge visst at mye av trafikken til nettstedene deres ikke har vært legitim menneskelig trafikk, og nesten alle analyseverktøy for webtrafikk forsøker å filtrere vekk den ikke-menneskelige trafikken, fortalte analytikeren Frank Scavo i selskapet Computer Economics.

Men det er slett ikke like enkelt som det høres ut som.

«Bedragerne gjør store anstrengelser for å få trafikken sin til å se ut som den kommer fra menneskelige brukere», sa Scavo. «På toppen av det er jo ikke annonseselgerne og markedsbyråene spesielt interesserte i å se webtrafikken sin redusert», la han til.

Så hva skal man gjøre?

«Om du betaler for annonsering basert på per-visning eller per-klikk, er du nødt til å granske trafikkrapportene nøye. Tro meg, du vil aldri betale for lite», sa Scavo.

Om mulig, er det beste å heller knytte kostnadene til webannonseringen til konkrete forretningsmål som antallet samtaler, heller enn antall visninger eller klikk, mener Scavo.

Forskjellsbehandling

Dersom bedrifter er utstyrt med analyseverktøy som klarer å identifisere ikke-menneskelige besøkende, kan man også sende disse brukerne til langsommere servere, mener Ronan Cremin.

«Hoved-nettsiden din kan bli merkbart bremset ned for de menneskelige besøkene av roboter, og det er ikke noe bra sted å være. Du kan spare signifikante kostnader ved å legge restriksjoner på den automatiske trafikken», sa han.

Et annet alternativ er å redusere mengden av innhold som leveres til robot-besøkende.

«Vi tilbyr ikke alle funksjonene på nettsiden vår til besøkende vi vet ikke er mennesker», la Cremin til.

Hva man kutter for roboter ut kommer selvsagt an på forretningens natur, men å fjerne robotenes muligheter for å kjøpe billetter for eksempel, kan være et godt tiltak.

API i stedet?

Bedrifter må også huske på at noen roboter er lagd bare for å samle inn informasjon som kunne vært enklere tilgjengelig med en API, sa Michael Facemire, en analytiker hos Forrester.

«Dersom jeg finner noe informasjon som er nyttig for meg akkurat nå, og som også ville vært nyttig over tid, som en utvikler, ville det første jeg ville gjort være å lete etter en API som gir meg informasjonen», sa han.

«Om svaret på det er ’nei’, er den nest enkleste metoden for å få tak i informasjonen å skrive en robot eller en web-kravler som regelmessig henter ut informasjonen for meg», la han til.

Etter som web-kravlere påvirker nettsider negativt, er det viktig å bruke gode analyseverktøy: Først for å fastslå hvilke sider på nettstedet som blir hentet ut, deretter for å avgjøre om en offentlig API kunne eksponere dataene like godt, lan han til.

Til syvende og sist er dette et rustningskappløp, mener Roger Kay, analytiker i selskapet Endpoint Technologies Associates.

«De datakriminelle vil alltid lete etter måter å omgå mottiltakene på, mens motstanderne gjør så godt de kan for å fjerne den ekstra og overflødige trafikken», sa han.

Les om:

Nettverk