Billeddannelsesteknikker uden for den synlige bølgelængde forbedrer maskinsikringsapplikationer.

Mens multispektrale og hyperspektrale kameraer anvendes i mange applikationer og industrier, er et område, der er forbedret af disse teknologiers fremkomst, industriel inspektion. Kvalitetsinspektion af fødevarer og drikkevarer, inspektion og sortering af farmaceutiske produkter, farveinspektion og procesovervågning er blot en håndfuld eksempler på, hvordan komponenter til ikke-synlig billeddannelse indgår i maskinsynssystemer i dag.

Figur 1: Baseret på prismateknologi giver Sweep +- og Fusion multispektralkameraer samtidige billeder af forskellige lysspektrer gennem en enkelt optisk vej.

Baseret på prismateknologi, der giver samtidig optagelse langs en enkelt optisk vej uden filterhjul eller andre bevægelige dele, tilbydes flere multispektrale kameraer (figur 1) af JAI (San Jose, CA, USA, www.jai.com). Til brugere af area scan-kameraer tilbyder JAI tre multispektrale kameraer i sin Fusion-serie. Disse 2-CCD-sensormodeller adskiller sig kun i opløsning og datagrænseflader: AD-080CL (0,8 MPixel, Camera Link-grænseflade, 30 fps), AD-080GE (0,8 MPixel, GigE Vision-grænseflade, 30 fps) og AD-130GE (1,3 MPixel, GigE Vision-grænseflade, 31 fps).) Hvert kamera er baseret på det samme multispektrale aspekt, idet et Bayer CCD optager billeder i synlige farver (400 til 700 nm) i én kanal, og en monokrom sensor optager nær-infrarøde data (750 til 900+ nm) i en anden kanal.

For brugere af linjescanningskameraer tilbyder JAI tre multispektrale kameraer i sin Sweep+-serie. Disse prisme-baserede, quad-lineære kameraer giver separate kanaler til R-, G-, B- og NIR-data. SW-2001Q-CL er baseret på en 4 x 2048 CCD-pixelmatrix og har en Camera Link-grænseflade med 19 kHz linjefrekvens, mens LQ-401CL – også med Camera Link-grænseflade – anvender en 4 x 4096 CMOS-matrix med 18 kHz linjefrekvens. SW-4000Q-10GE har en 10GigE-grænseflade og bruger et 4 x 4096 CMOS-array med 72 kHz linjefrekvens.

Relateret: Deep learning og hyperspektrale billedteknologier går sammen om identifikation af syge kartofler

Sidst tilbyder virksomheden også en multispektral linjescanning i Wave-serien med WA-1000D-CL, som har to prismemonterede InGaAs-linjesensorer (2 x 1024 pixels, Camera Link-grænseflade, 39 kHz linjefrekvens). Den ene kanal dækker det øvre NIR-spektrum og det nedre SWIR-bånd (900 til 1400 nm), mens den anden kanal falder i den øvre del af SWIR-båndet fra 1400 til 1700 nm.Figur 3: På grundlag af en afkølet InSb-detektor kan FX50-kameraet til hyperspektral billeddannelse anvendes til sortering af sort plast og til detektering af forurening på metaloverflader.

“Ved at udnytte forskellige smalbåndslyskilder i NIR- og SWIR-området sammen med billedfusionsteknikker kan dette kamera bruges til at detektere og sortere svært differentierbare stoffer, især i applikationer som f.eks. fødevarekontrol og genanvendelse af plast,” siger Rich Dickerson, Manager, Marketing Communications, JAI.

Salvo Technologies (tidligere PIXELTEQ; Seminole, FL, USA; www.opticalfiltershop.com), som også udvikler multispektrale kameraer ved at fremstille filtre og ved at fastgøre mikromønstrede filtre direkte til billedsensorerne via et aktivt justeringssystem, tilbyder en række multispektrale og polarimetriske billeddannere. SpectroCam-serien af kameraer, som fås i ultraviolet, VIS og SWIR-versioner, er baseret på et kontinuerligt roterende filterhjul bestående af seks til otte udskiftelige optiske filtre. UV- og VIS-versionerne – som dækker henholdsvis 200 til 900 nm og 400 til 1000 nm – er baseret på CCD-billedsensorer, mens SWIR-versionerne anvender InGaAs-sensorer.

PixelCam multispektrale kameraer giver mulighed for multispektral billeddannelse fra tre til ni spektralbånd med op til 30 billeder pr. sekund. Alle tre modeller er baseret på CCD-sensorer (4 eller 8 MPixel) med skræddersyede dichrofiltrer, der ifølge selskabet er integreret i fokusplansarrayet på waferniveau, og som uddrager spektral information med høj kontrast ved specifikke synlige og infrarøde bølgelængder. Disse kameraer er følsomme i området fra 400 til 1000 nm og fås i enten GigE- eller CoaXPress-versioner med billedhastigheder på op til 15 fps.

Spectral Devices (London, ON, Canada; www.spectraldevices.com) tilbyder to typer multispektrale kameraer, nemlig snapshot- og line scan-kameraer. Virksomhedens line scan-kameraer er baseret på CMV2000 global shutter CMOS-billedsensoren CMV2000 med 2 MPixel fra ams (Premstaetten, Østrig; www.ams.com) og tilbydes i tre standardkameraer med fire bånd samt specialfremstillede kameramodeller, der spænder fra 2 til 16 forskellige bånd. Disse kameraer er målrettet applikationer som f.eks. kvalitetssikring og inspektion af fødevarer og inspektion af wafer.Figur 4: Med et spektralområde på 400 til 1000 nm måler det hyperspektrale kamera Pika L kun 3,9 x 4,9 x 2,2 tommer og er målrettet applikationer inden for maskinsyn og telemåling.

Snapshot-kameraerne er baseret på CMV4000 CMOS-billedsensoren med 4 MPixel CMV4000, som også er udviklet af ams, og er designet til samtidig optagelse af en scene på flere bånd. Kameraerne, der tilbydes i seks standardmodeller – såvel som brugerdefinerede modeller – optager alt fra 2 til 16 bånd med hastigheder på op til 94 fps ved fuld billedfrekvens. Disse multispektrale kameraer er ifølge virksomheden velegnede til brug i applikationer som f.eks. robotteknologi, fødevareforarbejdning og farvemåling.

Relateret: På sensorsiden har imec (Leuven, Belgien; www.imec-int.com) udviklet en multispektral tidsforsinket integration (TDI) billedsensor kaldet Argus, som er baseret på CCD-in-CMOS-teknologi. Sensorerne anvender et format med 4096 kolonner og 256 trin pr. CCD-array (eller bånd) med en pixelstørrelse på 5,4 µm. Desuden findes der en version med syv bånd, som gør det muligt for brugerne at tilføje syv spektralfiltre.

Disse prototyper integrerer CMOS-drivere og udlæsningskredsløb og opnår en linjehastighed på op til 300 kHz. Når de kombineres med spektralfiltre, er multispektral TDI-billeddannelse mulig, og med et tilpasset antal bånd og TDI-trin. Farve- eller spektralfiltre kan efterbehandles på waferen eller dækglaslåget.

Hyperspektral billeddannelse

For at muliggøre hyperspektral billeddannelse skabte imec også hyperspektrale billedsensorer på hylde baseret på wafers, der påføres direkte oven på pixels (figur 2) på CMV2000 CMOS-billedsensoren fra ams. Disse billedsensorer fås i formaterne snapshot mosaic, snapshot tiled, line scan wedge og line scan CCD time delay integration (TDI) og tilbyder muligheder med 4, 7, 16, 25, 32, 100+ og 150+ bånd. Billedsensorerne er integreret i flere modeller af machine vision-kameraer, som alle er velegnede til brug i forskellige industrielle inspektionsapplikationer.

XIMEA (Münster, Tyskland; www.ximea.com) tilbyder fire modeller baseret på imec-sensorer, herunder to mosaik-tiled-sensorer med 16 og 25 bånd og to line scan-modeller med 100 og 150 bånd. Disse kameraer har enten USB3-interface med hastigheder på 170 fps eller PCIe med op til 340 fps og spektralområder på RGB+NIR, 470 til 630 nm, 600 til 950 nm, 600 til 975 nm og 470 til 900 nm, afhængigt af modellen.

“Ved at anvende smalbånds spektralfiltre på pixelniveau ved hjælp af halvleder-tyndfilmbehandling gør imec’s teknologi det muligt for hyperspektrale billedsensorløsninger at reducere formfaktoren, sænke vægten og være velegnede til indlejrede visionssystemer”, siger Ivan Klimkovic, Key Account Manager hos XIMEA. “XIMEA har koblet imec’s hyperspektrale sensorer med sin xiQ-kameraplatform, som supplerer den vigtige størrelsesfaktor ved at tilbyde 26,4 x 26,4 x 31 mm i dimension og blot 31 gram i vægt.”

Photonfocus (Lachen, Schweiz; www.photonfocus.com) tilbyder også tre hyperspektrale kameraer med imec-sensorer. Disse kameraer fås i snapshot-mosaikformater og tilbyder muligheder med 16 eller 25 bånd. Med en GigE-grænseflade tilbyder kameraerne hastigheder på op til 50 fps og spektralområder på 470 til 630 nm, 470 til 900 nm, 595 til 860 nm, 600 til 975 nm og 665 til 975 nm, afhængigt af modellen.

Dertil kommer, at imec har indgået et samarbejde med Adimec (Eindhoven, Nederlandene; www.adimec.com) om udvikling af det hyperspektrale imec VNIR-system, som er baseret på et Adimec Quartz-maskinvisualiseringskamera med en 2 MPixel CMOS-billedsensor. Dette system tilbyder et line scan-format med 150+ bånd og Camera Link-interface og har et spektralområde på 470 til 900 nm eller 600 til 1000 nm.

Imec har også sine egne hyperspektrale produkter, herunder SNAPSCAN NIR-, SNAPSCAN VNIR- og SNAPSCAN SWIR-systemerne, som er udstyret med et USB 3.0-grænseflade og tilbyder snapshot- og linjescanningsformater med 100+ og 150+ bånd samt 470 til 900 nm, 600 til 1000 nm og 1100 til 1700 nm spektralområder, afhængigt af modellen.

Relateret: Hyperspectral imaging system grades agricultural products

En lang række machine vision-virksomheder udvikler også hyperspektrale kameraer uden for imec-regi, herunder Specim (Oulu, Finland; www.specim.fi), som tilbyder FX-serien af kameraer. Disse hyperspektrale kameraer fungerer i line scan-tilstand, fås i GigE, Camera Link eller brugerdefineret Ethernet og er designet specielt til industrielle maskinsikringsapplikationer.

Kameraet FX50 (figur 3) er baseret på en afkølet InSb-detektor og har en rumlig opløsning på 640 pixels, et spektralområde på 2,7 til 5,3 µm, en billedoptagelseshastighed på 380 fps og frit bølgelængdevalg fra 154 bånd inden for kameraets dækningsområde. Dette kamera er ifølge selskabet velegnet til brug ved sortering af sort plast og til detektering af forurening på metaloverflader.

“Plastikaffald er et enormt problem: Det anslås, at der i 2050 vil være mere plastik i havene end fisk. Størstedelen af den ikke-genanvendelige plast består af blandede plasttyper, som ikke kan genbruges, fordi de traditionelle plastsorteringsteknologier ikke opfylder industriens krav til at adskille dem pålideligt og effektivt nok”, siger Hannu Mäki-Marttunen, Head of Sales & Marketing hos Specim. “Det er her, at Specim FX-seriens hyperspektrale kameraer træder ind i billedet. Med FX17 og det helt nye FX50 kan vi nu identificere og sortere forskellige plasttyper, selv sort plast, med en nøjagtighed på op til 99 %.”

Han fortsætter: “Det betyder, at Specims slutkunder nu kan omdanne plastaffald til en værdifuld ressource, der kan genbruges som råmateriale til plastindustrien.”

Modellen FX17 er et InGaAs-baseret kamera med et spektralområde fra 900 til 1700 nm, en billedoptagelseshastighed på 670 fps og frit bølgelængdevalg fra 224 bånd inden for kameraets dækning. Målapplikationer omfatter fødevare- og foderkvalitet, affaldssortering, genbrug og fugtmåling. FX10-modellen er et CMOS-billedsensorbaseret kamera med et spektralområde fra 400 til 1000 nm, en billedoptagelseshastighed på 330 fps og frit bølgelængdevalg fra 224 bånd inden for kameradækningen. Dette kamera er ifølge virksomheden rettet mod machine vision-applikationer som f.eks. inspektion af fødevarekvalitet og detektering af farve/tæthed i tryksager.

Specim tilbyder en række andre hyperspektrale kameraer, herunder modellerne Fenix, PFD-65-V10E og sCMOS-50-V10E samt det bærbare Specim IQ-kamera, som muliggør mobil materialeanalyse og tilbyder et spektralområde fra 400 til 1000 nm.

HinaLea Imaging (Kapolei, HI, USA; www.hinaleaimaging.com) fremstiller også hyperspektrale kameraer, herunder model 4200 wide-field kameraet, som har 2,3 MPixel sensorens rumlige opløsning, følsomhed i området fra 400 til 1000 nm og adgang til op til 600 spektralbånd. Virksomheden tilbyder også det håndholdte Model 4100H, som angiveligt leverer 2,3 MPixel-datakuber på op til 550 spektralbånd i det synlige og nærinfrarøde bølgelængder (400 til 1000 nm). Enheden har også en indbygget processor og indbygget belysning.

“Vi oplever en enorm og voksende interesse for vores kameraer til inspektion af fødevaresikkerhed og halvlederbehandling”, siger Alexandre Fong, vicepræsident for teknik, “Vi oplever en enorm og voksende interesse for vores kameraer til inspektion af fødevaresikkerhed og halvlederbehandling”. “Med indførelsen af omkostningseffektive spektralløsninger er der potentiale til at transformere automatiserede inspektionsapplikationer med denne dybde af nye oplysninger.”

Med fokus på avancerede machine vision-applikationer som et af sine kernemarkeder er Headwall Photonics (Bolton, MA, USA; www.headwallphotonics.com) en anden virksomhed, der udvikler spektrale kameraer. For sit Micro-Hyperspec-kamera nævner virksomheden f.eks. maskinsyn som en målapplikation. Dette kamera fås i VNIR-, NIR-, udvidet NIR- og SWIR-versioner, som alle har Camera Link-interface: VNIR A-serien (400 til 1000 nm, silicium CCD-sensor, 324 valgbare spektralbånd, 90 fps); VNIR E-serien (400 til 1000 nm, sCMOS-sensor, 369 valgbare spektralbånd, 250 fps); NIR 640 (900 til 1700 nm, InGaAs-detektor, 134 valgbare spektralbånd, 120 fps); NIR 320 (900 til 1700 nm, InGaAs-detektor, 67 valgbare spektralbånd, 346 fps); Extended VNIR 640 (600 til 1700 nm, InGaAs-detektor, 267 valgbare spektralbånd, 120 billeder pr. sekund); SWIR 384 (900 til 2500 nm, MCT-detektor, 166 valgbare spektralbånd, 450 billeder pr. sekund); og SWIR 640 (900 til 2500 nm, MCT-detektor, 267 valgbare spektralbånd, >200 billeder pr. sekund).

Selskabets Hyperspec MV-kamera, der udelukkende er designet til maskinsynsanvendelser, har et bølgelængdeområde fra 400 til 1000 nm, 270 valgbare spektralbånd, en Camera Link-grænseflade og en billedoptagelseshastighed på 485 fps.

Mens BaySpec (San Jose, CA, USA; www.bayspec.com), er en virksomhed, der udvikler spektrale instrumenter til industrier, herunder forskning og udvikling, biomedicinsk og optisk telekommunikation, har virksomheden også hyperspektrale kameraer, der er velegnede til industriel inspektion. Et af disse kameraer er USB 3.0-baserede OCI-OEM-kamera, der fungerer som den optiske motor i virksomhedens hyperspektrale kameraer OCI-1000 (push-broom, op til 120 fps) og OCI-2000 (snapshot, op til 120 fps), som dækker området fra 600 til 1000 nm med op til 100 (OCI-1000) eller 25 (OCI-2000) valgbare spektralbånd.

En anden mulighed er selskabets GoldenEye Snapshot hyperspektrale kamera, der anvender proprietær FT-PI-teknologi og dækker et udvidet område fra 400 til 1700 nm, har 40 til 52 valgbare spektralbånd og en billedhastighed på 1 fps ved 648 x 488 spatiale pixels.

Så er Resononon (Bozeman, MT, USA; www.resonon.com) et selskab, der udvikler hyperspektrale kameraer til laboratorie-, udendørs og telemålingsapplikationer, samtidig med at det også har øje for markedet for maskinsyn. Følgende kameraer er ifølge selskabet velegnede til brug i industrielle billeddannelsesapplikationer: Pika L (figur 4; 400 til 1000 nm spektralområde, 281 valgbare spektralbånd, 249 fps, USB 3.0-grænseflade), Pika XC2 (400 til 1000 nm spektralområde, 447 valgbare spektralbånd, 165 fps, USB 3.0-grænseflade), Pika XC2 (400 til 1000 nm spektralområde, 447 valgbare spektralbånd, 165 fps, USB 3.0-interface), Pika NIR-320 (900 til 1700 nm spektralområde, 164 valgbare spektralbånd, 520 fps, GigE-interface) og Pika NIR-640 (900 til 1700 nm, 328 valgbare spektralbånd, 249 fps, GigE-interface.)

Sidst tilbyder Norsk Elektro Optikk (NEO; Skedsmokorset, Norge; www.hyspex.no) to hyperspektrale billedkameraer til industrielle billeddannelsesapplikationer i sin HySpex-serie. HySpex SWIR-384-kameraet er baseret på en MCT-sensor og tilbyder et spektralområde fra 950 til 2500 nm med 288 valgbare spektralbånd og en billedhastighed på 400 fps ved fuldt spektralområde (kan skaleres ved at reducere området), mens HySpex VNIR-1024 er baseret på en CMOS-billedsensor og tilbyder et spektralområde fra 400 til 1000 nm med 108 valgbare spektralbånd og en billedhastighed på 700 fps ved fuld spektralopløsning.

Både de hyperspektrale kameraer er ifølge selskabet ekstremt skarpe – både spektralt og rumligt – med mindre end 10 % rumlig og spektral fejlregistrering (smile og keystone).