Mobilen i frontlinjen

Augmented reality och kontextuell information är framtidstekniken som fört mobiltelefonerna till gränssnittsforskningens frontlinje. Ingen annan pryl är utrustad med så många sensorer som mobiltelefonen – och sensorerna blir bara fler. Dessutom finns ofantliga mängder information alltid tillgänglig via uppkopplingar till wlan och mobilt internet.

På 80-talet började fenomenet virtual reality mer frekvent att dyka upp inom Science Fiction. Det handlade om att uppleva en konstgjord verklighet, exempelvis genom att innesluta sig i exempelvis en VR-hjälm som visade en i datorn uppspelad verklighet, där man styrde sig fram genom exempelvis handskar med sensorer, kopplade till datorn.

– Idén om den virtuella världen är som i filmen Matrix där man kopplar hjärnan till en annan värld, eller som att man tar på sig en VR-hjälm för att på så vis innesluta sig i en annan värld. Men det finns en risk att den världen inte blir lika intressant som när man i stället förstärker den verkliga världen, säger Nokias Klas Ström.

Mixad verklighet

Det är där fenomen som “mixed reality” och “augmented reality” kommer in i leken. Med augmented reality bygger man inte upp en helt egen virtuell verklighet. I stället förstärker man den fysiska verkligheten via digitala världen. Ett tydligt exempel är spelet Ghostwire, där man genom mobilens kamerasökare ser det verkliga rummet, men också en spökvärld, en virtuell verklighet som mixas in i den verkliga världen.

Men augmented reality kan också användas till nyttofunktioner. Till exempel kan man utrusta en glasruta, exempelvis vindrutan på en bil, med inbyggda möjligheter att också fungera som en display. Under bilkörning i framtiden skulle man då kunna få upp information om omgivningen i ett extra lager som läggs ovanpå den vanliga verkligheten.

– Om du är i en butik, ska du kunna bara hålla mobilens kamera mot produkterna och få upp information om produkten, och se om den säljs någon annanstans i närheten till bättre pris eller med roligare färg. Om du i stället är utanför en restaurang kan du få upp betyg och kommentarer från tidigare kunder direkt i mobilens bildsökare, säger Nokias Klas Ström.

Produktinformation i realtid

Att exempelvis produktinformation ska kunna placeras på produkter är en slags kontextbaserad informationstjänst som kräver att det också byggs upp en databas där föremål indexeras, vilket till exempel Nokia arbetar med inom projektet ”Point and Find”.

Men med augmented reality ska informationen kunna byggas upp som en parallell verklighet som läggs ovanpå den vanliga verkligheten.

– Antag att du är på en formlämning, då ska du kunna sikta in mobilkameran på en ruin och digitalt bygga upp formlämningen som den en gång såg ut.

Alex Olwal på Kungliga Tekniska Högskolan disputerade i somras inom området augmented reality, och enligt honom är det än så länge svårt att skapa en verklig augmented-reality-upplevelse med mobiltelefoner. Det vill säga en sådan som forskarna skulle godta som ”äkta” augmented reality.

– Det finns tre vedertagna kriterier för att något ska klassas som augmented reality: För det första ska man se både det som är riktigt och det som är virtuellt samtidigt. För det andra ska det som är virtuellt och det som är verkligt presenteras geometriskt identiskt – så att de två världarna, den virtuella och den verkliga, verkligen matchar varandra. För det tredje ska allt detta ske i realtid, säger Alex Olwal.

Förstärker verkligheten

Att det till exempel plingar till i mobilen när en kompis råkar befinna sig i samma kvarter – och er lokaliseringstjänst meddelar er om det – är enligt Alex Olwal i och för sig en digital förstärkning av den fysiska verkligheten, men ändå inte augmented reality.

– Det är mer av en avancerad lokaliseringsbaserad tjänst. Begreppet augmented reality är lite missbrukat, så fort det handlar om kontextuell information pratar man om augmented reality, och det är ju inte riktigt rätt, säger Alex Olwal.

Oavsett vilken term man använder handlar de här nya tjänsterna om att vi utökar våra möjligheter till information. Vi är inte längre begränsade av våra fem kroppsliga sinnen.

– Det blir ett enhancement som läggs på den vanliga verkligheten.

Det viktiga här är frågan: Vad vill människor ha för information utöver det vi vanligen ser. Det gäller att man själv som användare kan välja att prenumerera på en viss information.

– Det handlar inte bara om att visa saker utan också om att möjliggöra att inp>Fler sensorer än vad vi tänker oss

– Mobilen får allt fler sensorer som kan användas till den här typen av tjänster. Det finns fler än vad vi egentligen tänker på. Idag har vi gps, kamera, accelerometer, ljussensorer, bluetooth, mikrofon, wifi, kompass och möjlighet till cell-triangulering. Snart utrustas telefonerna även med nfc, inomhus-positionering och miljöanalys som kan känna av om exempelvis luften innehåller skadliga ämnen, säger Klas Ström på Nokia.

Wikitude är ett av de program som drar nytta av augmented reality i mobiltelefoner – det finns än så länge till Android och Iphone. Genom telefonens kameralins kan man se stadens gator och byggnader. Programmet använder mobilens lokaliseringsteknik till att se var du är, och med sensorerna känner programmet av hur du håller telefonen. Sedan kan man på skärmen få upp Wikipedia-information om omgivningen – till exempel om ett medeltida slag utkämpats på den där kullen bredvid, eller historian bakom teaterbyggnaden du har framför dig.

– För att det ska fungera behöver programmet genom telefonens sensorer få veta hur skärmen är riktad, hur displayen är placerad, och därefter rita ut det rätt när skärmen rör på sig. I labbmiljö kan man använda elektromagnetiska sensorer. När man går utomhus måste man ta in så många källor som möjligt för att kunna få rätt positionering av enheten som används, säger Alex Olwal.

– Parallellt med den här utvecklingen skapas det vi kallar ”Internet of things”. I princip allt kommer att vara uppkopplat i framtiden, kanske inte den här snusdosan, men nästan. Och det ger än mer möjligheter för mobilerna att ge oss information om verkligheten, säger Klas Ström.

Genom glasögonen

Frågan är om alla i framtiden kommer att gå omkring och stirra in i sina mobilskärmar, för att få extra information om verkligheten. Kanske inte. Nokia har tagit fram en prototyp till augmented reality-glasögon. Glasögon där man både kan se verkligheten och få extra information om verkligheten är en av de mest populära augmented-reality-produkterna som det forskas om nu.

- Just nu är ju det bästa vi har mobilen och dess skärm, den har en kraftfull grafikprestanda, den är alltid i fickan, den kan alltid vara online, den har en massa sensorer, men det är fortfarande inte ett optimalt sätt att använda augmented reality, säger Alex Olwal.

Han tror i stället på andra lösningar.

- Om man i framtiden har uppkopplade kontaktlinser eller påverkar synnerven för att få tillägg till sina synintryck vet vi inte ännu. Det finns viss typ av forskning där man kunnat stimulera synnerven så det visuella kan påverkas, säger Alex Olwal.

- Ett annat sätt är ju att vi bygger in skärmar som är optiskt genomskinliga, glas som släpper igenom ljus men också kan lägga på bildinformation.

Att människor i framtiden skulle ogilla att klä på sig elektronik för att få extra information tror Alex Olwal inte.

- När jag kör bil och solen stör mig tar jag på mig solglasögon, eller hur? Varför skulle det vara annorlunda att ta på sig uppkopplade glasögon när man behöver den extra digitala informationen? Allt handlar om vilken nytta man får ut av besväret, säger Alex Olwal.

Så går det till

1. Mobilen börjar med att bestämma din geografiska position. Detta sker genom gps och triangulering av mobilnätets master.

2. Därefter känner telefonen med hjälp av inbyggd accelerometer (rörelsesensor) och den inbyggda kompassen av hur du håller telefonen och åt vilket håll den är riktad.

3. På så vis kan telefonen räkna ut vad som visas i din mobildisplay. Därmed kan programmet placera ut information på skärmen om det som visas på displayen.

4. I framtiden kan även det som kameran fångar upp i realtid matchas mot en 3D-databas över världen, för att öka precisionen i det virtuella lagret så att man på så vis får en mer exakt augmented reality-upplevelse.