DIY Multi-touch skjerm

[reichspöbel]

Etter å ha sett Jeff Hans demo av sin multi-touch skjerm ble jeg voldsomt nysgjerrig på teknologien bak, og mens jeg prøvde å finne ut mer fant jeg samtidig ut at det faktisk er latterlig billig å bygge en slik selv. Dog er det en Microsoft Surface-aktig løsning, og dermed ikke voldsomt plasseringsvennlig.

 

Det finnes en rekke metoder for å få til dette, hvorav de mest utbredte er Frustrated Total Internal Reflection, som brukt av Han, og Diffused Illumination. Kapasitansetesting, som er det som blir brukt i iPhone, er den eneste metoden jeg kjenner til som kan benyttes uten et kamera et stykke unna skjermen, men er desverre alt for dyrt for større skjermer. So bulky it is

 

Update: Jeg har senere funnet ut at det er mulig å modifisere LCD-skjermer med disse metodene. Man trenger fortsatt et kamera, men det å slippe projektoren er ganske så plassbesparende i seg selv. Dessverre er det en del ulemper med alle lagene IR-lyset må igjennom, og det at man ikke kan ha en silikonoverflate. Men har man en gammel LCD-skjerm liggende, som jeg tilfeldigvis har, så kunne det vært kult å prøve.

 

Teknologi

 

FTIR utnytter fenomenet totalrefleksjon, som oppstår i et materiale med høyere refraksjonsindeks enn luften rundt ved en tilstrekkelig stor vinkel på lyset i forhold til flatens normal. Når man så setter fingeren på flaten vil dens høyere refraksjonsindeks slippe lyset igjennom (av en eller annen grunn kalt "frustrering"), bli reflektert av fingeren, og få en tilstrekkelig liten vinkel til å gå helt igjennom for eksempel en akrylplate, slik at det kan plukkes opp av et kamera på andre siden.

 

 

DI er et noe enklere konsept, men krever mer kompleks bildeprosessering for å få et bra resultat og er mer følsom for bakgrunnsbelysning. Det fungerer rett og slett ved at man lyser opp en diffus flate fra undersiden slik at objekter i nærheten av og på den andre siden av flaten vil reflektere mer lys tilbake en flaten selv, og kan plukkes opp med et kamera.

 

 

LLP (Laser Light Plane) er enda enklere. Laserlys spres i en dimensjon, slik at det skaper en flate over platen. Når man setter fingeren på platen vil lyset treffe fingeren og reflekteres ned igjennom den, der det plukkes opp av et kamera.

 

Problemet med denne metoden er at man kun belyser kantene av området som berøres, slik at man ikke kan markere hele områder, mister muligheten for trykkfølsomhet, og kan skygge for enkelte berøringspunkter.

 

 

Alle metodene brukes gjerne med IR-lys, siden man vil la det synlige lyset være forbeholdt selve skjermbildet som projiseres til platen med en helt vanlig projektor.

 

http://wiki.nuigroup.com/FTIR - Forklaring av FTIR

http://wiki.nuigroup.com/Diffused_Illumination - Forklaring av DI

http://wiki.nuigroup.com/Laser_Light_Plane...umination_(LLP) - Forklaring av LLP

 

Deler

 

Kort oppsummert

 

Hovedbestanddelene i en FTIR-skjerm er som følger:

 

- 10-15mm akrylplate i ønsket størrelse

- Et titalls IR LED-lys

- Et speil for å reflektere projektorstrålen (valgfritt)

- Et IR kamera, eller evt. et vanlig webkamera med et IR båndpassfilter

- Et diffusermaterial for skjermbildet.

- Silikonoverflate for generelt bedre egenskaper og brukerfølelse, og selvfølgelig trykkfølsomhet

- Projektor

 

I tillegg trenger man resistorer, ledninger, power supply, stativ, ramme osv. Men alt i alt burde ikke dette koste all verden (5-10 000 og oppover), og virker heller ikke å være umulig å sette sammen.

 

Litt mer detaljert:

 

- Akrylplate - En helt vanlig akrylplate, 10-15mm tykk og så stor som ønskelig. Sidene burde slipes og poleres for å slippe lyset igjennom, og det kan være en fordel å ha litt helning på sidene for å hjelpe til med å få riktig vinkel på lyset. Akrylplater kan blant annet fås kjøpt hos kreativplast.no, og jeg tipper det vil koste en tusenlapp eller to, litt avhengig av størrelse.

 

- IR LED - Lyser burde ligge på 850-950 nm, siden mange kameraer er mindre sensitive for høyere bølgelengder. OSRAM SFH485 (880nm, 25 mW) virker å være populær. Det finnes også LED remser, for dem som er late. Norsk utvalg og priser er ukjent, men jeg skal prøve å finne litt om det.

 

Update: ELFA ser ut til å ha det beste utvalget i IR dioder. Faktisk den eneste jeg kan finne som tilbyr det i Norge. 880nm/25mW dioder koster litt under 8 kroner stykket ved kjøp av mellom 25 og 100 stykker.

 

- Speil - Et helt vanlig speil. Burde være stort nok, og blankt.

 

- Kamera - Så lenge man kan fjerne IR-filteret vil det duge. Alt fra webcams, via OEM og industrielle kameraer til DV. Her er en liste med noen anbefalte kameraer:

 

https://prisguiden.no/product.php?productId=38131 - Philips SPC900NC

http://www.xd.no/aspx/loginVnet.aspx?Retur...&plid=87688 - PS3 eye

http://www.unibrain.com/Products/VisionImg/boardXGA.htm - Unibrain Fire-i

http://www.ptgrey.com/products/fireflymv/index.asp - Point Grey Firefly MV

 

I tillegg burde man ha et båndpass filter som passer LED-lysenes bølgelengde. Det ryktes at filmnegativer, disketter og IR-vinduer i fjernkontroller fungerer. Eller så kan man kjøpe et skikkelig filter. Noen linker:

 

http://www.thorlabs.com/NewGroupPage9.cfm?...ctGroup_ID=1001 - Thorlabs er visstnok populært

http://nuigroup.com/forums/viewthread/519/ - Montering

http://www.calumetphoto.com/item/LE3787/?a...WELAID=36795116

 

- Diffuser - Her er det nok mye som fungerer, men med veldig varierende kvalitet. Alt fra skikkelige bakprojeksjonsskjermer til tynt hvitt papir. Skisse-/kalkerpapir ment for arkitekter (Drafting Vellum) virker å være veldig populært.

 

http://www.tegnesenteret.no/shop/default.a...asp&pg=2403

 

- Silikonoverflate - Noen tar det direkte på akrylplaten, andre på diffuseren. Den beste silikontypen til denne bruken virker å være RTV (Room Temperature Vulcanization). Den mest populære metoden ser ut til å være den utviklet av Tinkerman, der silikonen smøres på undersiden av skissepapiret i flere omganger, og man presser det med nylonstoff for å få tekstur. Video og mer informasjon her:

 

http://www.youtube.com/watch?v=IEgoVBfF68Y

http://nuigroup.com/forums/viewthread/2197/

 

http://www.bilxtra.no/?ItemId=4371 - Klar RTV Silikon 80ml - 59 kr fra BilXtra

 

- Projektor - Velg og vrak. Avstand, oppløsning og pris velges etter smak (les: lommebok). Det kan være greit å kjøpe en short throw projektor, siden det er ganske så plassbesparende.

 

http://lowres.ch/ftir/ - DIY-side med instruksjoner og en del kjekk informasjon

http://wiki.nuigroup.com/Main_Page - Wiki med mye bra informasjon

 

Programvare

 

Man trenger naturligvis litt programvare for å få dette til å fungere. Alt man får er tross alt en videostrøm, så det må litt prosessering til for å oversette det til noe fornuftig som kan brukes. Heldigvis finnes det allerede programmeringsbiblioteker som gjør dette.

 

Meg bekjent finnes det enda ikke noe operativsystem som støtter multi-touch, men det ryktes at det kommer til Windows 7. Det finnes også et prosjekt som kalles Multi-Pointer X Server (MPX) som i sommer ble merget inn i x.org. Merk imidlertid at det er snakk om multi-pointer, ikke multi-touch, altså støtter den kun punkter og enda ikke områder. Den gode nyheten er at det visstnok ikke skal være så vanskelig å få til multi-touch når man først har fått til multi-point, så forhåpentligvis får vi det snart.

 

http://nuigroup.com/touchlib/ - Touchlib - Programmeringsbibliotek for å oversette FTIR eller DI video til eventer som kan brukes av andre programmer.

http://opentouch.info/tmp/Home%20Page.html - OpenTouch - Multi-touch rammeverk. veldig lite info og ukjent status, men det kommer forhåpentligvis mer etterhvert.

http://mtg.upf.edu/reactable/?software - reacTIVision - Multi-touch/computer vision rammeverk

http://wearables.unisa.edu.au/mpx/ - Multi-Pointer X Server

http://lowres.ch/ftir/ - Denne DIY-siden har noen eksempler på programvare som kan brukes.

http://www.softmt.com/ - Applikasjoner

http://www.multigesture.net/category/application/ - Flere applikasjoner

 

Demoer

 

http://www.ted.com/index.php/talks/jeff_ha...ouchscreen.html - Jeff Han demo fra TED

http://www.perceptivepixel.com/ - Jeff Han demo fra Perceptive Pixel

- Lux

- 180

- Large Wall

- Joobs Table

http://vimeo.com/1977131?pg=embed&sec=1977131 - Cityscape (LLP - 6m x 1m skjerm)

 

Så, er det noen som tar utfordringen? Eller som har prøvd seg allerede? Jeg vet ihvertfall at jeg har enormt lyst til å prøve meg. Aner ikke hvor jeg skal sette et sånt beist, men det problemet får jeg kanskje ta når det kommer

 

Edit - 20081217: Oppdatert med mer informasjon

Endret 18. desember 2008 av rikspøbel

[mikk-]

Har du sett bloggen Procrastineering? Der finnes det flere prosjekter, noen av dem er forskjellige varianter av multitouch med en "wiimote" (wii-kontroll) som trådløst IR-kamera. Jeg har ikke sett noen som utnytter det fenomenet du snakker om, frustrering, men det kan godt hende det ligger noe der.

 

Jeg har ikke prøvd dette direkte, men har laget og testet en wiimote-løsning for å lage et ultrabillig smartboard vha en prosjektor. Modifiserte en tusj, slik at den fikk en IR-LED på tuppen, med trykkbryter og batteri. Dette fungerte veldig fint, og jeg kunne fint bruke tusjen som "mus" på prosjektorbildet. Veldig artig å tegne.

[Liquid Crystal]

Absolutt interessant. Men med tanke på klokkeslettet er det ikke noe jeg orker å sette meg inn i nå. Selv om det hadde vært utrolig gøy å prøve seg på et slikt prosjekt ^^

Looking forward to your turorial.

 

-LC

[reichspöbel]

Har du sett bloggen Procrastineering? Der finnes det flere prosjekter, noen av dem er forskjellige varianter av multitouch med en "wiimote" (wii-kontroll) som trådløst IR-kamera. Jeg har ikke sett noen som utnytter det fenomenet du snakker om, frustrering, men det kan godt hende det ligger noe der.

 

Jeg har ikke prøvd dette direkte, men har laget og testet en wiimote-løsning for å lage et ultrabillig smartboard vha en prosjektor. Modifiserte en tusj, slik at den fikk en IR-LED på tuppen, med trykkbryter og batteri. Dette fungerte veldig fint, og jeg kunne fint bruke tusjen som "mus" på prosjektorbildet. Veldig artig å tegne.

Jeg har faktisk sett hans demo også på TED, men ikke bloggen hans. Jeg er mest imponert overt 3D-effekten han klarer å få ut av den lille fjernkontrollen

 

Ellers er det egentlig veldig likt dette konseptet. Det er sikkert mulig å plassere projektor og kamera bak, men man vil jo fortsatt trenge en markør. Alt disse metodene jeg beskriver her gjør er jo faktisk å markere hvor det trykkes med IR.

 

Absolutt interessant. Men med tanke på klokkeslettet er det ikke noe jeg orker å sette meg inn i nå. Selv om det hadde vært utrolig gøy å prøve seg på et slikt prosjekt ^^

Looking forward to your turorial.

Det er nok en stund til det kommer en tutorial fra min side, men det finnes mye informasjon på nettet, for den som har tid

[mikk-]

Høres veldig spennende ut, iallfall! Hold oss oppdatert!

[reichspöbel]

Will do

 

Jeg leste et sted at Jeff Hans selskap, Perceptive Pixel, nå selger ferdigbygde multi-touch skjermer også til privatpersoner. Det koster bare $100 000, altså over 650 000 kr. Det er litt å spare på DIY da, ja

[Gjest Slettet+6132]

Er det noen i norge som har prøvd seg enda? Jeg har iallefall veldig lyst å lage en, men må vente til jeg får økonomien på gli.

Onkelen min hadde vistnokk endel 1cm tykke "plastikk" glass liggende (uvist om det var akryll)

[SirDrinkAlot]

Veldig kult, hold oss oppdatert!

Jeg hadde også tenkt å lage akkurat samme saken for en tid tilbake, men så kom jeg på at jeg er en fattig student.

Det som er litt kjipt er at det finnes så få applikasjoner for multitouch, men er du en dreven programerer så ordner vel det seg.

[Kimlorentz]

Veldig nice.

 

Sitter selv og ser på bygging av en LLP multi-touch skjerm.

 

Jeg sitter selv og tegner dette opp og har valgt å bruke vanlig glass med LCD-skjerm og 4 stk IR-laserer på 25mW med en linje generator som sprer seg som en strek i 60/90 graders vinkel.

 

Men har ikke bestemt meg på størrelsen på skjermen jeg skal bruke. Tenkte først å bruke prosjektor men den har ikke lang levetid og koster mye. Jeg har sett på Pc skjermer på 32".

 

Men jeg kan ikke mye om LCD-skjermer og lurer på om disse vil blokkere IR lys??

Noen som veit?

[reichspöbel]

Jeg tror ikke det er veldig vanlig med IR-filter på LCD-skjermer, og kan ikke helt se poenget med det, men du burde nok unngå glossy skjermer. Jeg vet at man har laget den typen touchskjermer med LCD, så det skal absolutt være mulig. Jeg har faktisk også plukket fra hverandre en LCD-skjerm selv, og den består av en del lag, de fleste gjennomsiktige og i hvert fall ett diffust. I tillegg er det et ikke-gjennomsiktig hvitt lag i bunn som skal reflektere baklyset. Jeg ser da først og fremst to problemer: (1) Å få til et jevnt baklys siden man ikke kan bruke det eksisterende, og (2) å få IR-lyset gjennom det diffuse laget uten at lyset spres slik at kameraet ikke får fanget gode bilder, og er vel i hovedsak avhengig av antall lag og avstanden mellom det diffuse laget og fingeren.