Avbildningstekniker bortom den synliga våglängden förbättrar tillämpningar för maskinseende.

Multispektrala och hyperspektrala kameror används i många tillämpningar och branscher, men ett område som förbättrats av dessa tekniker är industriell inspektion. Kvalitetsinspektion av mat- och dryckesprodukter, inspektion och sortering av läkemedelsprodukter, färginspektion och processövervakning är bara en handfull exempel på hur icke synliga bildkomponenter ingår i maskinseende system idag.

Figur 1: Baserat på prismateknik ger Sweep + och Fusion multispektralkameror samtidiga bilder av olika ljusspektrum genom en enda optisk väg.

Baserad på prismateknik som ger samtidig bildtagning längs en enda optisk väg utan filterhjul eller andra rörliga delar, erbjuds flera multispektralkameror (figur 1) av JAI (San Jose, CA, USA, www.jai.com). För användare av kameror för områdesskanning erbjuder JAI tre multispektrala kameror i sin Fusion-serie. Dessa modeller med 2-CCD-sensorer skiljer sig endast åt i fråga om upplösning och datagränssnitt: AD-080CL (0,8 MPixel, Camera Link-gränssnitt, 30 fps), AD-080GE (0,8 MPixel, GigE Vision-gränssnitt, 30 fps) och AD-130GE (1,3 MPixel, GigE Vision-gränssnitt, 31 fps).) Varje kamera är baserad på samma multispektrala aspekt, i det att en Bayer CCD fångar synliga färgbilder (400-700 nm) i en kanal och en monokrom sensor fångar närinfraröda data (750-900+ nm) i en andra kanal.

För användare av linjeskanningskameror erbjuder JAI tre multispektrala kameror i sin Sweep+-serie. Dessa prismabaserade, fyrlinjiga kameror ger separata kanaler för R-, G-, B- och NIR-data. SW-2001Q-CL är baserad på en 4 x 2048 CCD-pixelmatris och har ett Camera Link-gränssnitt med 19 kHz linjefrekvens, medan LQ-401CL – också med Camera Link-gränssnitt – använder en 4 x 4096 CMOS-matris med 18 kHz linjefrekvens. SW-4000Q-10GE har ett 10GigE-gränssnitt och använder en 4 x 4096 CMOS-matris med 72 kHz linjefrekvens.

Relaterat: Djupinlärning och hyperspektral bildteknik samarbetar för identifiering av sjuk potatis

Sist erbjuder företaget också ett alternativ för multispektral linjeskanning i sin Wave-serie, med WA-1000D-CL, som har två prisma-monterade InGaAs linjesensorer (2 x 1024 pixlar, Camera Link-gränssnitt, 39 kHz linjefrekvens). Den ena kanalen täcker det övre NIR-spektrumet och det nedre SWIR-bandet (900 till 1400 nm), medan den andra kanalen faller i den övre delen av SWIR-bandet från 1400 till 1700 nm.Figur 3: Baserat på en kyld InSb-detektor kan den hyperspektrala kameran FX50 användas för sortering av svart plast och för att upptäcka föroreningar på metallytor.

”Genom att använda olika smalbandiga ljuskällor i NIR- och SWIR-området, tillsammans med bildfusionstekniker, kan den här kameran användas för att upptäcka och sortera svårdifferentierade ämnen, särskilt i tillämpningar som livsmedelsinspektion och plaståtervinning”, säger Rich Dickerson, chef för marknadskommunikation på JAI.

Salvo Technologies (tidigare PIXELTEQ; Seminole, FL, USA; www.opticalfiltershop.com), som också utvecklar multispektrala kameror genom att tillverka filter och fästa mikromönstrade filter direkt på bildsensorerna med hjälp av ett aktivt inriktningssystem, erbjuder en rad multispektrala och polarimetriska bildgivare. Kamerorna i SpectroCam-serien, som finns i ultraviolett, VIS och SWIR-versioner, bygger på ett kontinuerligt roterande filterhjul som består av sex till åtta utbytbara optiska filter. UV- och VIS-versionerna – som täcker 200-900 nm respektive 400-1000 nm – är baserade på CCD-bildsensorer, medan SWIR-versionerna använder InGaAs-sensorer.

PixelCam multispektrala kameror ger multispektrala avbildningsmöjligheter från tre till nio spektralband, med upp till 30 fps. Alla tre modellerna är baserade på CCD-sensorer (4 eller 8 MPixel) med anpassade dikroiska filtermatriser integrerade i fokalplansmatrisen på wafernivå som extraherar spektral information med hög kontrast vid specifika synliga och infraröda våglängder, enligt företaget. Dessa kameror är känsliga i intervallet 400-1000 nm och finns i antingen GigE- eller CoaXPress-versioner med bildhastigheter på upp till 15 fps.

Spectral Devices (London, ON, Kanada; www.spectraldevices.com) erbjuder två typer av multispektrala kameror, snapshot och line scan. Företagets line scan-kameror är baserade på CMV2000 global shutter CMOS-bildsensor med 2 MPixel från ams (Premstaetten, Österrike; www.ams.com) och erbjuds i tre standardkameror med fyra band samt anpassade kameramodeller med mellan 2 och 16 olika band. Dessa kameror är avsedda för tillämpningar som kvalitetssäkring och inspektion av livsmedel samt inspektion av skivor.Figur 4: Med ett spektralområde på 400 till 1000 nm mäter den hyperspektrala kameran Pika L endast 3,9 x 4,9 x 2,2 tum och är avsedd för tillämpningar inom maskinseende och fjärranalys.

Snapshot-kamerorna är baserade på CMV4000 CMOS-bildsensorn med 4 MPixel, som också utvecklats av ams, och är utformade för att samtidigt fånga en scen i flera band. Kamerorna erbjuds i sex standardmodeller – liksom anpassade modeller – och fångar allt från 2 till 16 band med hastigheter på upp till 94 fps vid full bildfrekvens. Dessa multispektrala kameror är enligt företaget lämpliga för användning i tillämpningar som robotteknik, livsmedelsbearbetning och färgmätning.

Relaterat: På sensorsidan har imec (Leuven, Belgien; www.imec-int.com) utvecklat en multispektral bildsensor med tidsfördröjd integration (TDI) kallad Argus, som bygger på CCD-in-CMOS-teknik. Sensorerna använder ett format med 4096 kolumner och 256 steg per CCD-matris (eller band), med en pixelstorlek på 5,4 µm. Dessutom finns en version med sju band, vilket gör det möjligt för användare att lägga till sju spektralfilter.

Dessa prototyper integrerar CMOS-drivrutiner och avläsningskretsar och uppnår en linjehastighet på upp till 300 kHz. I kombination med spektralfilter är multispektral TDI-avbildning möjlig, och med ett anpassat antal band och TDI-steg. Färg- eller spektralfilter kan efterbearbetas på wafern eller täckglaslocket.

Hyperspektral avbildning

För att möjliggöra hyperspektral avbildning skapade imec också hyperspektrala bildsensorer i butikslösning baserade på wafers som appliceras direkt ovanpå pixlar (figur 2) på CMV2000 CMOS-bildsensorn från ams. Dessa bildsensorer finns i formaten snapshot mosaic, snapshot tiled, line scan wedge och line scan CCD time delay integration (TDI) och erbjuder alternativ med 4, 7, 16, 25, 32, 100+ och 150+ band. Bildsensorerna är integrerade i flera kameramodeller för maskinseende, som alla är lämpliga för användning i olika industriella inspektionstillämpningar.

XIMEA (Münster, Tyskland; www.ximea.com) erbjuder fyra modeller baserade på imec-sensorer, inklusive två mosaik-kilosensorer med 16 och 25 band, och två linjeskannermodeller med 100 och 150 band. Dessa kameror har antingen USB3-gränssnitt med hastigheter på 170 fps eller PCIe med upp till 340 fps och spektralområden för RGB+NIR, 470-630 nm, 600-950 nm, 600-975 nm och 470-900 nm, beroende på modell.

”Genom att tillämpa smalbandiga spektralfilter på pixelnivå med hjälp av halvledartunnfilmsbearbetning gör imec:s teknik det möjligt för hyperspektrala bildsensorlösningar att minska formfaktorn, sänka vikten och vara lämpliga för inbäddade visionssystem”, säger Ivan Klimkovic, Key Account Manager på XIMEA. ”XIMEA kopplade imecs hyperspektrala sensorer till sin xiQ-kameraplattform, som kompletterar den viktiga storleksfaktorn genom att erbjuda 26,4 x 26,4 x 31 mm i dimension och endast 31 gram i vikt.”

Photonfocus (Lachen, Schweiz; www.photonfocus.com) erbjuder också tre hyperspektrala kameror med imecs sensorer. Dessa kameror är tillgängliga i snapshot-mosaikformat och erbjuder alternativ med 16 eller 25 band. Med ett GigE-gränssnitt erbjuder kamerorna hastigheter på upp till 50 fps och spektralområden på 470-630 nm, 470-900 nm, 595-860 nm, 600-975 nm och 665-975 nm, beroende på modell.

Imec har dessutom samarbetat med Adimec (Eindhoven, Nederländerna; www.adimec.com) för att utveckla det hyperspektrala imec VNIR-systemet, som är baserat på en Adimec Quartz-kamera för maskinell visualisering med en CMOS-bildsensor med 2 MPixel. Systemet har ett linjeavläsningsformat med 150+ band och Camera Link-gränssnitt och har ett spektralområde på 470-900 nm eller 600-1000 nm.

Imec har också sina egna hyperspektrala produkter, bland annat SNAPSCAN NIR-, SNAPSCAN VNIR- och SNAPSCAN SWIR-systemen, som har ett USB 3.0- och USB 3.0-gränssnitt.0-gränssnittet och erbjuder snapshot- och line scan-format med 100+ och 150+ band samt spektralområden på 470-900 nm, 600-1000 nm och 1100-1700 nm, beroende på modell.

Relaterat: Hyperspektralt bildsystem klassificerar jordbruksprodukter

Flera företag inom maskinseende utvecklar också hyperspektrala kameror utanför imec, bland annat Specim (Uleåborg, Finland; www.specim.fi), som erbjuder kameror i FX-serien. Dessa hyperspektrala kameror arbetar i linjeskannningsläge, finns tillgängliga i GigE, Camera Link eller anpassad Ethernet och är särskilt utformade för industriella tillämpningar för maskinseende.

Kameran FX50 (figur 3) är baserad på en kyld InSb-detektor och har en spatial upplösning på 640 pixlar, ett spektralområde på 2,7 till 5,3 µm, en bildinsamlingshastighet på 380 fps och fritt val av våglängd från 154 band inom kamerans täckning. Kameran är enligt företaget lämplig för sortering av svart plast och för att upptäcka föroreningar på metallytor.

”Plastavfall är ett enormt problem: Det uppskattas att det år 2050 kommer att finnas mer plast än fisk i haven. Majoriteten av den icke återvinningsbara plasten består av blandade plasttyper som inte kan återanvändas eftersom traditionell plastsorteringsteknik inte uppfyller industrins krav på att separera dem tillräckligt tillförlitligt och effektivt”, säger Hannu Mäki-Marttunen, försäljningschef &Marknadschef på Specim. ”Det är här som Specim FX-seriens hyperspektrala kameror kommer in i bilden. Med FX17 och den helt nya FX50 kan vi nu identifiera och sortera olika plaster, även svart plast, med upp till 99 procents noggrannhet.”

Han fortsätter: ”Detta innebär att Specims slutkunder nu kan omvandla plastavfall till en värdefull resurs som kan återanvändas som råvara för plastindustrin.”

Modellen FX17 är en InGaAs-baserad kamera med ett spektralområde från 900 till 1700 nm, en bildinsamlingshastighet på 670 fps och fritt val av våglängd från 224 band inom kamerans täckning. Måltillämpningar är bland annat livsmedels- och foderkvalitet, avfallssortering, återvinning och fuktmätning. FX10-modellen är en CMOS-bildsensorbaserad kamera med ett spektralområde på 400-1000 nm, en bildinsamlingshastighet på 330 fps och fritt val av våglängd från 224 band inom kameratäckningen. Denna kamera är enligt företaget inriktad på tillämpningar för maskinseende, t.ex. inspektion av livsmedelskvalitet och detektering av färg/täthet i trycktillämpningar.

Specim erbjuder ett antal andra hyperspektrala kameror, bland annat modellerna Fenix, PFD-65-V10E och sCMOS-50-V10E, samt den bärbara Specim IQ-kameran, som möjliggör mobil materialanalys och erbjuder ett spektralområde från 400 till 1000 nm.

HinaLea Imaging (Kapolei, HI, USA; www.hinaleaimaging.com) tillverkar också hyperspektrala kameror, inklusive modell 4200 wide-field-kameran, som har 2,3 MPixel sensorens spatiala upplösning, känslighet i intervallet 400-1000 nm och tillgång till upp till 600 spektralband. Företaget erbjuder också den handhållna modellen 4100H, som enligt uppgift levererar datakuber på 2,3 MPixel vid upp till 550 spektralband i det synliga och nära infraröda området (400-1000 nm). Enheten har också en inbyggd processor och inbyggd belysning.

”Vi får ett enormt och växande intresse för våra kameror för inspektion av livsmedelssäkerhet och halvledarbearbetning”, säger Alexandre Fong, Vice President, Engineering. ”Med införandet av kostnadseffektiva spektrallösningar finns det potential att omvandla automatiserade inspektionstillämpningar med detta djup av ny information.”

Med inriktning på avancerade tillämpningar för maskinseende som en av sina kärnmarknader är Headwall Photonics (Bolton, MA, USA; www.headwallphotonics.com) ett annat företag som utvecklar spektralkameror. För sin Micro-Hyperspec-kamera anger företaget till exempel maskinseende som en måltillämpning. Denna kamera finns i VNIR-, NIR-, utökad NIR- och SWIR-versioner, som alla har Camera Link-gränssnitt: VNIR A-serien (400-1000 nm, kisel-CCD-sensor, 324 valbara spektralband, 90 fps), VNIR E-serien (400-1000 nm, sCMOS-sensor, 369 valbara spektralband, 250 fps), NIR 640 (900-1700 nm, InGaAs-detektor, 134 valbara spektralband, 120 fps), NIR 320 (900-1700 nm, InGaAs-detektor, 67 valbara spektralband, 346 fps); Extended VNIR 640 (600 till 1700 nm, InGaAs-detektor, 267 valbara spektralband, 120 bilder per sekund), SWIR 384 (900 till 2500 nm, MCT-detektor, 166 valbara spektralband, 450 bilder per sekund) och SWIR 640 (900 till 2500 nm, MCT-detektor, 267 valbara spektralband, >200 bilder per sekund).

Företagets Hyperspec MV-kamera är utformad enbart för tillämpningar för maskinseende och har ett våglängdsområde på 400-1000 nm, 270 valbara spektralband, ett Camera Link-gränssnitt och en bildinsamlingshastighet på 485 bilder per sekund.

BaySpec (San Jose, CA, USA; www.bayspec.com) är ett företag som utvecklar spektrala instrument för bland annat forskning och utveckling, biomedicin och optisk telekommunikation, men företaget har också hyperspektrala kameror som är lämpliga för industriell inspektion. En sådan kamera är USB 3.0-baserad OCI-OEM-kamera, som fungerar som den optiska motorn i företagets hyperspektrala bildgivare OCI-1000 (push-broom, upp till 120 fps) och OCI-2000 (snapshot, upp till 120 fps), som täcker området 600-1000 nm med upp till 100 (OCI-1000) eller 25 (OCI-2000) valbara spektralband.

Ett annat alternativ är företagets hyperspektrala kamera GoldenEye Snapshot, som använder den egenutvecklade FT-PI-tekniken och täcker ett utökat område från 400 till 1700 nm, har 40 till 52 valbara spektralband och en bildfrekvens på 1 fps vid 648 x 488 pixlar i rummet.

Samma sak gäller för Resonon (Bozeman, MT, USA; www.resonon.com), som utvecklar hyperspektrala kameror för laboratorie-, utomhus- och fjärranalystillämpningar, samtidigt som det även har ett öga på marknaden för maskinseende. Enligt företaget är följande kameror lämpliga för användning i industriella avbildningstillämpningar: Pika L (figur 4; 400-1000 nm spektralområde, 281 valbara spektralband, 249 fps, USB 3.0-gränssnitt), Pika XC2 (400-1000 nm spektralområde, 447 valbara spektralband, 165 fps, USB 3.0-gränssnitt), Pika XC2 (400-1000 nm spektralområde, 447 valbara spektralband, 165 fps, USB 3.0-gränssnitt).0-gränssnittet), Pika NIR-320 (spektralområde 900-1700 nm, 164 valbara spektralband, 520 fps, GigE-gränssnitt) och Pika NIR-640 (900-1700 nm, 328 valbara spektralband, 249 fps, GigE-gränssnitt.)

Sist erbjuder Norsk Elektro Optikk (NEO; Skedsmokorset, Norge; www.hyspex.no) två kameror för hyperspektral avbildning för industriella avbildningstillämpningar i sin HySpex-serie. HySpex SWIR-384-kameran är baserad på en MCT-sensor och erbjuder ett spektralområde på 950-2500 nm med 288 valbara spektralband och en bildfrekvens på 400 fps vid fullt spektralområde (skalbar genom att minska området), medan HySpex VNIR-1024 är baserad på en CMOS-bildsensor och erbjuder ett spektralområde på 400-1000 nm med 108 valbara spektralband och en bildfrekvens på 700 fps vid full spektralupplösning.

Båda de hyperspektrala kamerorna är enligt företaget extremt skarpa – både spektralt och spatialt – med mindre än 10 % spatial och spektral felregistrering (smile och keystone).