Beeldvormingstechnieken buiten de zichtbare golflengte verbeteren machine vision-toepassingen.

Terwijl multispectrale en hyperspectrale camera’s in vele toepassingen en industrieën worden ingezet, is industriële inspectie één gebied dat door de opkomst van deze technologieën is verbeterd. Kwaliteitsinspectie van voedingsmiddelen en dranken, farmaceutische productinspectie en sortering, kleurinspectie en procesbewaking zijn slechts enkele voorbeelden van hoe niet-zichtbare beeldvormingscomponenten tegenwoordig een rol spelen in machine vision-systemen.

Figuur 1: Op basis van prismatechnologie leveren Sweep +- en Fusion-multispectrale camera’s gelijktijdige beelden van verschillende lichtspectrums via één enkel optisch pad.

Gebaseerd op prisma technologie die gelijktijdige opname langs een enkel optisch pad biedt zonder filter wielen of andere bewegende delen, worden verschillende multispectrale camera’s (figuur 1) aangeboden door JAI (San Jose, CA, USA, www.jai.com). Voor area scan camera gebruikers, JAI biedt drie multispectrale camera’s in haar Fusion serie. Deze 2-CCD sensor modellen verschillen alleen in resolutie en data interfaces: AD-080CL (0,8 MPixel, Camera Link interface, 30 fps), AD-080GE (0,8 MPixel, GigE Vision interface, 30 fps), en AD-130GE (1,3 MPixel, GigE Vision interface, 31 fps.) Elke camera is gebaseerd op hetzelfde multispectrale aspect, in die zin dat een Bayer CCD zichtbare kleurenbeelden (400 tot 700 nm) in een kanaal vastlegt, en een monochrome sensor vangt nabij-infrarood gegevens (750 tot 900 + nm) in een tweede kanaal.

Voor lijnscan camera gebruikers, JAI biedt drie multispectrale camera’s in zijn Sweep+ serie. Deze prisma-gebaseerde, quad-lineaire camera’s bieden afzonderlijke kanalen voor R, G, B, en NIR data. De SW-2001Q-CL is gebaseerd op een 4 x 2048 CCD pixel array en beschikt over een Camera Link interface met 19 kHz lijnfrequentie, terwijl de LQ-401CL-ook met Camera Link interface-gebruik maakt van een 4 x 4096 CMOS array met 18 kHz lijnfrequentie. De SW-4000Q-10GE, met een 10 GigE interface, maakt gebruik van een 4 x 4096 CMOS-array met 72 kHz lijnfrequentie.

Gerelateerd: Deep learning en hyperspectrale beeldvormingstechnologieën slaan de handen ineen voor zieke aardappelidentificatie

Ten slotte biedt het bedrijf ook een multispectrale lijnscan-optie in zijn Wave-serie, met zijn WA-1000D-CL, die twee, op prisma’s gemonteerde InGaAs-lijnsensoren (2 x 1024 pixels, Camera Link-interface, 39 kHz lijnfrequentie) bevat. Eén kanaal bestrijkt het bovenste NIR-spectrum en de onderste SWIR-band (900 tot 1400 nm), terwijl het tweede kanaal in het bovenste deel van de SWIR-band valt, van 1400 tot 1700 nm.Figuur 3: Op basis van een gekoelde InSb-detector kan de FX50-hyperspectrale beeldvormingscamera worden ingezet bij het sorteren van zwarte kunststof en bij het opsporen van verontreiniging op metalen oppervlakken.

“Door gebruik te maken van verschillende smalle-band lichtbronnen in het NIR en SWIR bereik, samen met beeldfusie technieken, kan deze camera worden gebruikt voor het detecteren en sorteren van moeilijk te onderscheiden stoffen, met name in toepassingen zoals voedselinspectie en recycling van kunststoffen,” zegt Rich Dickerson, Manager, Marketing Communications, JAI.

Ook het ontwikkelen van multispectrale camera’s door de productie van filters en het bevestigen van micro-patroon filters rechtstreeks op de beeldsensoren via een actief uitlijnsysteem, Salvo Technologies (voorheen PIXELTEQ; Seminole, FL, USA; www.opticalfiltershop.com), biedt een reeks van multispectrale en polarimetrische imagers. De camera’s van de SpectroCam-reeks, die verkrijgbaar zijn in een ultraviolette, VIS- en SWIR-versie, zijn gebaseerd op een continu roterend filterwiel dat bestaat uit zes tot acht verwisselbare optische filters. De UV- en VIS-versies, die respectievelijk 200 tot 900 nm en 400 tot 1000 nm bestrijken, zijn gebaseerd op CCD-beeldsensoren, terwijl de SWIR-versies InGaAs-sensoren gebruiken.

PixelCam multispectrale camera’s bieden multispectrale beeldvormingsmogelijkheden van drie tot negen spectrale banden, bij maximaal 30 fps. Alle drie modellen zijn gebaseerd op CCD-sensoren (4 of 8 MPixel) met aangepaste dichroïde filter arrays geïntegreerd in het brandvlak array op wafer-niveau die hoog-contrast spectrale informatie extraheren op specifieke zichtbare en infrarode golflengten, aldus het bedrijf. Deze camera’s zijn gevoelig in het 400 tot 1000 nm bereik en zijn beschikbaar in GigE of CoaXPress versies met frame rates tot 15 fps.

Spectral Devices (Londen, ON, Canada; www.spectraldevices.com) biedt twee soorten multispectrale camera’s, snapshot en line scan. De line-scan camera’s van het bedrijf zijn gebaseerd op de 2 MPixel CMV2000 global shutter CMOS-beeldsensor van ams (Premstaetten, Oostenrijk; www.ams.com) en worden aangeboden in drie standaard vier-band camera’s, alsmede aangepaste cameramodellen variërend van 2 tot 16 verschillende banden. Deze camera’s zijn gericht op toepassingen zoals kwaliteitsborging en -inspectie van levensmiddelen en wafer-inspectie.Figuur 4: Met een spectraal bereik van 400 tot 1000 nm meet de Pika L hyperspectrale camera slechts 3,9 x 4,9 x 2,2 inch en is hij gericht op machine vision en remote sensing-toepassingen.

De snapshot-camera’s zijn gebaseerd op de 4 MPixel CMV4000 CMOS-beeldsensor, ook ontwikkeld door ams, en zijn ontworpen voor het gelijktijdig vastleggen van een scène op meerdere banden. De camera’s, die in zes standaardmodellen en ook in aangepaste modellen worden aangeboden, leggen 2 tot 16 banden vast met snelheden tot 94 fps bij volledige beeldsnelheid. Deze multispectrale camera’s, volgens het bedrijf, zijn geschikt voor gebruik in toepassingen zoals robotica, voedselverwerking, en kleurmeting.

Related: Aerial imaging aids precision agriculture

Aan de sensorkant heeft imec (Leuven, België; www.imec-int.com) een multispectrale time delay integration (TDI) beeldsensor ontwikkeld, Argus genaamd, die is gebaseerd op CCD-in-CMOS-technologie. De sensoren maken gebruik van een formaat met 4096 kolommen en 256 trappen per CCD-array (of band), met een pixelgrootte van 5,4 µm. Bovendien is een versie met zeven banden beschikbaar, die de gebruikers in staat stelt zeven spectrale filters toe te voegen.

Deze prototypen integreren CMOS drivers en uitleescircuits en bereiken een lijnsnelheid tot 300 kHz. In combinatie met spectrale filters is multispectrale TDI-beeldvorming mogelijk, en met een aangepast aantal banden en TDI-fasen. Kleur- of spectrale filters kunnen op de wafer of het dekglasdeksel worden nabewerkt.

Hyperspectrale beeldvorming

Om hyperspectrale beeldvorming mogelijk te maken, heeft imec ook off-the-shelf hyperspectrale beeldsensoren gemaakt op basis van wafers die rechtstreeks bovenop de pixels (figuur 2) van de CMV2000 CMOS-beeldsensor van ams zijn aangebracht. Deze beeldsensoren zijn beschikbaar in de formaten snapshot mozaïek, snapshot tiled, line scan wedge, en line scan CCD time delay integration (TDI) en bieden opties met 4, 7, 16, 25, 32, 100+, en 150+ banden. De beeldsensoren zijn geïntegreerd in verschillende machine vision camera modellen, die alle geschikt zijn voor gebruik in diverse industriële inspectietoepassingen.

XIMEA (Münster, Duitsland; www.ximea.com) biedt vier modellen op basis van imec sensoren, waaronder twee mozaïek-tiled sensoren met 16 en 25 banden, en twee line scan modellen met 100 en 150 banden. Deze camera’s hebben een USB3-interface met snelheden van 170 fps of PCIe met maximaal 340 fps, en spectrale bereiken van RGB+NIR, 470 tot 630 nm, 600 tot 950 nm, 600 tot 975 nm, en 470 tot 900 nm, afhankelijk van het model.

“Door het toepassen van smalle-band spectrale filters op pixel-niveau met behulp van halfgeleider dunne-film verwerking, laat imec’s technologie hyperspectrale beeldsensor oplossingen toe om de vormfactor te verminderen, het gewicht te verlagen, en geschikt te zijn voor embedded vision systemen,” zegt Ivan Klimkovic, Key Account Manager bij XIMEA. “XIMEA koppelde de hyperspectrale sensoren van imec aan zijn xiQ-cameraplatform, dat de belangrijke maatfactor aanvult met afmetingen van 26,4 x 26,4 x 31 mm en een gewicht van slechts 31 gram.”

Photonfocus (Lachen, Zwitserland; www.photonfocus.com) biedt eveneens drie hyperspectrale camera’s aan met imec-sensoren. Deze camera’s zijn beschikbaar in snapshot-mozaïekformaten en bieden opties met 16 of 25 banden. Met een GigE-interface bieden de camera’s snelheden tot 50 fps, en spectrale bereiken van 470 tot 630 nm, 470 tot 900 nm, 595 tot 860 nm, 600 tot 975 nm, en 665 tot 975 nm, afhankelijk van het model.

Daarnaast heeft imec samengewerkt met Adimec (Eindhoven, Nederland; www.adimec.com) om het imec VNIR hyperspectrale systeem te ontwikkelen, dat is gebaseerd op een Adimec Quartz machine vision camera met een 2 MPixel CMOS beeldsensor. Dit systeem, dat een lijnscan-formaat met meer dan 150 banden en een Camera Link-interface biedt, heeft een spectraal bereik van 470 tot 900 nm of 600 tot 1000 nm.

Imec heeft ook zijn eigen hyperspectrale producten, waaronder de SNAPSCAN NIR-, SNAPSCAN VNIR- en SNAPSCAN SWIR-systemen, die zijn voorzien van een USB 3.0-interface en bieden snapshot- en lijnscanformaten met 100+ en 150+ banden, alsmede spectrale bereiken van 470 tot 900 nm, 600 tot 1000 nm, en 1100 tot 1700 nm, afhankelijk van het model.

Gerelateerd: Hyperspectraal beeldvormingssysteem sorteert landbouwproducten

Ook buiten imec ontwikkelen tal van machine vision bedrijven hyperspectrale camera’s, waaronder Specim (Oulu, Finland; www.specim.fi), dat de FX-serie camera’s aanbiedt. Deze hyperspectrale camera’s werken in line scan-modus, zijn verkrijgbaar in GigE, Camera Link, of custom Ethernet, en zijn speciaal ontworpen voor industriële machine vision-toepassingen.

De FX50-camera (figuur 3) is gebaseerd op een gekoelde InSb-detector en heeft een ruimtelijke resolutie van 640 pixels, een spectraal bereik van 2,7 tot 5,3 µm, een beeldverwervingssnelheid van 380 fps, en vrije golflengteselectie uit 154 banden binnen het bereik van de camera. Deze camera is volgens het bedrijf geschikt voor gebruik bij het sorteren van zwarte kunststof en bij het opsporen van verontreiniging op metalen oppervlakken.

“Plastic afval is een enorm probleem: naar schatting zal er tegen 2050 meer plastic in de oceanen zitten dan vis. Het merendeel van de niet-recyclebare kunststoffen bestaat uit gemengde kunststofsoorten die niet kunnen worden hergebruikt omdat traditionele kunststofsorteertechnologieën niet voldoen aan de industriële eisen om ze betrouwbaar en efficiënt genoeg te scheiden”, zegt Hannu Mäki-Marttunen, Hoofd Verkoop & Marketing bij Specim. “Dit is waar de hyperspectrale camera’s van de Specim FX-serie in het spel komen. Met de FX17 en de gloednieuwe FX50 kunnen we nu verschillende kunststoffen identificeren en sorteren, zelfs zwarte kunststoffen, tot 99% nauwkeurigheid.”

Hij vervolgt: “Dit betekent dat Specim-eindklanten plastic afval nu kunnen omzetten in een waardevolle grondstof die kan worden hergebruikt als grondstof voor de kunststoffenindustrie.”

Het FX17-model is een op InGaAs gebaseerde camera met een spectraal bereik van 900 tot 1700 nm, beeldverwervingssnelheid van 670 fps, en vrije golflengteselectie uit 224 banden binnen het bereik van de camera. Doeltoepassingen zijn onder meer voedsel- en voederkwaliteit, afvalsortering, recycling, en vochtmeting. Het FX10-model is een op een CMOS-beeldsensor gebaseerde camera met een spectraal bereik van 400 tot 1000 nm, een beeldopnamesnelheid van 330 fps en vrije golflengteselectie uit 224 banden binnen het bereik van de camera. Deze camera is volgens het bedrijf gericht op machine vision-toepassingen zoals voedselkwaliteitsinspectie en het detecteren van kleur/dichtheid in printtoepassingen.

Specim biedt een aantal andere hyperspectrale camera’s, waaronder de Fenix, PFD-65-V10E, en sCMOS-50-V10E-modellen, evenals de draagbare Specim IQ-camera, die mobiele materiaalanalyse mogelijk maakt en een spectraal bereik van 400 tot 1000 nm biedt.

HinaLea Imaging (Kapolei, HI, VS; www.hinaleaimaging.com) maakt ook hyperspectrale camera’s, waaronder de Model 4200 wide-field camera, die een ruimtelijke resolutie van 2,3 MPixel sensor heeft, een gevoeligheid in het 400 tot 1000 nm bereik, en toegang tot 600 spectrale banden. Het bedrijf biedt ook het draagbare Model 4100H, dat naar verluidt 2,3 MPixel gegevenscubussen levert op tot 550 spectrale banden in de zichtbare en nabij-infrarode golflengten (400 tot 1000 nm). Het apparaat heeft ook een ingebouwde processor en ingebouwde verlichting.

“We krijgen een enorme en groeiende belangstelling voor onze camera’s voor voedselveiligheidsinspectie en halfgeleiderverwerking,” zegt Alexandre Fong, Vice President, Engineering. “Met de introductie van kosteneffectieve spectrale oplossingen is er potentieel om geautomatiseerde inspectietoepassingen te transformeren met deze diepte van nieuwe informatie.”

Gericht op geavanceerde machine vision-toepassingen als een van zijn kernmarkten, Headwall Photonics (Bolton, MA, VS; www.headwallphotonics.com) is een ander bedrijf dat spectrale camera’s ontwikkelt. Voor zijn Micro-Hyperspec camera, bijvoorbeeld, noemt het bedrijf machinevisie als een doeltoepassing. Deze camera is verkrijgbaar in VNIR-, NIR-, uitgebreide NIR- en SWIR-versies, die alle een Camera Link-interface hebben: VNIR A-Serie (400 tot 1000 nm, silicium CCD-sensor, 324 selecteerbare spectrale banden, 90 fps); VNIR E-Serie (400 tot 1000 nm, sCMOS-sensor, 369 selecteerbare spectrale banden, 250 fps); NIR 640 (900 tot 1700 nm, InGaAs-detector, 134 selecteerbare spectrale banden, 120 fps); NIR 320 (900 tot 1700 nm, InGaAs-detector, 67 selecteerbare spectrale banden, 346 fps); uitgebreid VNIR 640 (600 tot 1700 nm, InGaAs-detector, 267 selecteerbare spectrale banden, 120 fps); SWIR 384 (900 tot 2500 nm, MCT-detector, 166 selecteerbare spectrale banden, 450 fps); en SWIR 640 (900 tot 2500 nm, MCT-detector, 267 selecteerbare spectrale banden, >200 fps).

Uitsluitend ontworpen voor machine vision toepassingen is de Hyperspec MV camera van het bedrijf, die een golflengtebereik heeft van 400 tot 1000 nm, 270 selecteerbare spectrale banden, een Camera Link interface, en een beeld acquisitie snelheid van 485 fps.

Waar BaySpec (San Jose, CA, USA; www.bayspec.com), een bedrijf is dat spectrale instrumenten ontwikkelt voor industrieën waaronder onderzoek en ontwikkeling, biomedische, en optische telecommunicatie, heeft het bedrijf ook hyperspectrale camera’s die geschikt zijn voor industriële inspectie. Een van die camera’s is de USB 3.0-gebaseerde OCI-OEM camera, die dient als de optische motor van de OCI-1000 (push-broom, tot 120 fps) en OCI-2000 (snapshot, tot 120 fps) hyperspectrale imagers van het bedrijf, die het 600 tot 1000 nm-bereik bestrijken met maximaal 100 (OCI-1000) of 25 (OCI-2000) selecteerbare spectrale banden.

Een andere optie is de GoldenEye Snapshot hyperspectrale camera van het bedrijf, die gebruik maakt van de eigen FT-PI-technologie en een uitgebreid 400 tot 1700 nm-bereik bestrijkt, 40 tot 52 selecteerbare spectrale banden heeft en een beeldsnelheid van 1 fps bij 648 x 488 ruimtelijke pixels.

Ook Resonon (Bozeman, MT, VS; www.resonon.com) is een bedrijf dat hyperspectrale camera’s ontwikkelt voor laboratorium-, buiten- en teledetectietoepassingen, terwijl het ook een oogje in het zeil houdt voor de machinevisiemarkt. Geschikt voor gebruik in industriële beeldvormingstoepassingen zijn volgens het bedrijf de volgende camera’s Pika L (Figuur 4; 400 tot 1000 nm spectraal bereik, 281 selecteerbare spectrale banden, 249 fps, USB 3.0 interface), Pika XC2 (400 tot 1000 nm spectraal bereik, 447 selecteerbare spectrale banden, 165 fps, USB 3.0 interface), Pika NIR-320 (900 tot 1700 nm spectraal bereik, 164 selecteerbare spectrale banden, 520 fps, GigE interface), en Pika NIR-640 (900 tot 1700 nm, 328 selecteerbare spectrale banden, 249 fps, GigE interface.)

Ten slotte biedt Norsk Elektro Optikk (NEO; Skedsmokorset, Noorwegen; www.hyspex.no) twee hyperspectrale beeldvormingscamera’s voor industriële beeldvormingstoepassingen in zijn HySpex-lijn. De HySpex SWIR-384 camera is gebaseerd op een MCT-sensor en biedt een spectraal bereik van 950 tot 2500 nm met 288 selecteerbare spectrale banden en een beeldsnelheid van 400 fps bij volledig spectraal bereik (schaalbaar door het bereik te verkleinen), terwijl de HySpex VNIR-1024 is gebaseerd op een CMOS-beeldsensor en een spectraal bereik biedt van 400 tot 1000 nm met 108 selecteerbare spectrale banden en een beeldsnelheid van 700 fps bij volledige spectrale resolutie.

Beide hyperspectrale camera’s, volgens het bedrijf, zijn extreem scherp – zowel spectraal als ruimtelijk – met minder dan 10% ruimtelijke en spectrale misregistratie (smile en keystone).