GoPro för skalbaggar: Robotisk kameraryggsäck utvecklad för insekter och små robotar
Forskare vid University of Washington har utvecklat en liten kamera som kan åka ombord på en insekt. Här utforskar en pinacatbagge UW:s campus med kameran på ryggen. Credit: Mark Stone/University of Washington
I filmen ”Ant-Man” kan titelfiguren krympa i storlek och resa genom att flyga på ryggen av en insekt. Nu har forskare vid University of Washington utvecklat en liten trådlös styrbar kamera som också kan åka ombord på en insekt, vilket ger alla en chans att se Ant-Mans syn på världen.
Kameran, som strömmar video till en smartphone med 1-5 bilder per sekund, sitter på en mekanisk arm som kan svänga 60 grader. Detta gör det möjligt för en betraktare att fånga en högupplöst panoramabild eller följa ett rörligt objekt samtidigt som han eller hon förbrukar en minimal mängd energi. För att demonstrera mångsidigheten hos detta system, som väger cirka 250 milligram – ungefär en tiondel av vikten på ett spelkort – monterade teamet det ovanpå levande skalbaggar och robotar i insektsstorlek.
Resultaten kommer att publiceras idag (15 juli 2020) i Science Robotics.
Forskare vid University of Washington har utvecklat en liten kamera som kan åka med ombord på en insekt eller en robot i insektsstorlek.
”Vi har skapat ett trådlöst kamerasystem med låg effekt och vikt som kan fånga en första person-bild av vad som händer från en levande insekt eller skapa syn för små robotar”, säger huvudförfattaren Shyam Gollakota, docent vid UW vid Paul G. Allen School of Computer Science & Engineering. ”Synen är så viktig för kommunikation och navigering, men det är extremt utmanande att göra det i så liten skala. Därför har trådlös syn före vårt arbete inte varit möjlig för små robotar eller insekter.”
Typiska små kameror, som de som används i smartphones, använder mycket ström för att ta bilder med stor vinkel och hög upplösning, och det fungerar inte i insektsskala. Även om kamerorna i sig själva är lätta, gör de batterier som behövs för att stödja dem att det övergripande systemet blir för stort och tungt för insekter – eller robotar i insektsstorlek – att släpa runt på. Så teamet tog en lektion från biologin.
”I likhet med kameror kräver synen hos djur mycket kraft”, säger Sawyer Fuller, medförfattare och biträdande professor i maskinteknik vid UW. ”Det är mindre viktigt för större varelser som människor, men flugor använder 10-20 % av sin viloenergi bara för att driva sina hjärnor, varav det mesta går åt till visuell bearbetning. För att minska kostnaderna har vissa flugor ett litet högupplöst område i sina sammansatta ögon. De vänder på huvudet för att styra dit de vill se med extra klarhet, till exempel för att jaga ett byte eller en partner. Detta sparar energi jämfört med att ha hög upplösning över hela synfältet.”
Den medansvarige författaren Vikram Iyer, doktorand vid University of Washington på avdelningen för elektroteknik och datateknik, fäster kamerasystemet på en pinacatbagge. Credit: Mark Stone/University of Washington
För att efterlikna ett djurs syn använde forskarna en liten svartvit kamera med extremt låg effekt som kan svepa över ett synfält med hjälp av en mekanisk arm. Armen rör sig när teamet applicerar en hög spänning, vilket får materialet att böja sig och flytta kameran till önskad position. Om teamet inte applicerar mer kraft stannar armen i den vinkeln i ungefär en minut innan den slappnar av tillbaka till sin ursprungliga position. Detta liknar hur människor kan hålla huvudet vänt åt ett håll under endast en kort tid innan de återgår till en mer neutral position.
”En fördel med att kunna flytta kameran är att man kan få en vidvinkelbild av vad som händer utan att förbruka en stor mängd ström”, säger Vikram Iyer, medansvarig författare och UW-doktorand i elektroteknik och datateknik. ”Vi kan spåra ett rörligt objekt utan att behöva spendera energi på att flytta en hel robot. Bilderna har också en högre upplösning än om vi använde ett vidvinkelobjektiv, vilket skulle skapa en bild med samma antal pixlar uppdelade över ett mycket större område.”
Kameran och armen styrs via Bluetooth från en smartphone från ett avstånd på upp till 120 meter, vilket bara är lite längre än en fotbollsplan.
Forskarna fäste sitt avtagbara system på ryggen av två olika typer av skalbaggar – en dödsfejkande skalbagge och en Pinacate skalbagge. Liknande skalbaggar är kända för att kunna bära laster som är tyngre än ett halvt gram, säger forskarna.
”Vi försäkrade oss om att skalbaggarna fortfarande kunde röra sig ordentligt när de bar vårt system”, säger Ali Najafi, medansvarig författare och UW-doktorand i elektroteknik och datateknik. ”De kunde navigera fritt över grus, uppför en sluttning och till och med klättra i träd.”
Betarna levde också i minst ett år efter att försöket avslutats.
”Vi lade till en liten accelerometer till vårt system för att kunna upptäcka när skalbaggen rör sig. Sedan tar det bara bilder under den tiden”, säger Iyer. ”Om kameran bara strömmar kontinuerligt utan den här accelerometern kunde vi spela in en till två timmar innan batteriet dog. Med accelerometern kan vi spela in i sex timmar eller mer, beroende på skalbaggens aktivitetsnivå.”
Forskarna använde också sitt kamerasystem för att konstruera världens minsta landbaserade, strömautonoma robot med trådlös syn. Denna robot i insektsstorlek använder vibrationer för att förflytta sig och förbrukar nästan samma energi som lågeffektiva Bluetooth-radioapparater behöver för att fungera.
Teamet fann dock att vibrationerna skakade kameran och gav förvrängda bilder. Forskarna löste detta problem genom att låta roboten stanna tillfälligt, ta en bild och sedan återuppta sin färd. Med denna strategi kunde systemet fortfarande röra sig cirka 2-3 centimeter per sekund – snabbare än någon annan liten robot som använder vibrationer för att röra sig – och hade en batteritid på cirka 90 minuter.
Samtidigt som laget är entusiastiskt över potentialen för lättviktiga och energisnåla mobila kameror, erkänner forskarna att denna teknik kommer med en ny uppsättning integritetsrisker.
”Som forskare tror vi starkt på att det är väldigt viktigt att göra saker och ting offentliga så att människor är medvetna om riskerna och så att människor kan börja komma på lösningar för att hantera dem”, säger Gollakota.
Användningsområdena skulle kunna sträcka sig från biologi till att utforska nya miljöer, säger forskarna. Teamet hoppas att framtida versioner av kameran kommer att kräva ännu mindre ström och vara batterifri, eventuellt solcellsdriven.
”Det här är första gången som vi har haft en förstapersonsvy från baksidan av en skalbagge medan den går omkring. Det finns så många frågor man skulle kunna utforska, till exempel hur reagerar skalbaggen på olika stimuli som den ser i miljön.” sa Iyer. ”Men också att insekter kan ta sig igenom steniga miljöer, vilket är en verklig utmaning för robotar att göra i den här skalan. Så det här systemet kan också hjälpa oss genom att låta oss se eller samla in prover från svårnavigerade utrymmen.”
Referens: ”Wireless steerable vision for live insects and insect-scale robots” av Vikram Iyer, Ali Najafi, Johannes James, Sawyer Fuller och Shyamnath Gollakota, 15 juli 2020, Science Robotics.
Johannes James, doktorand i maskinteknik vid UW, är också medförfattare till den här artikeln. Forskningen finansierades av ett stipendium från Microsoft och National Science Foundation.