Bildverarbeitungstechniken jenseits der sichtbaren Wellenlänge verbessern die Anwendungen der industriellen Bildverarbeitung.

Multispektral- und Hyperspektralkameras werden in vielen Anwendungen und Branchen eingesetzt. Ein Bereich, der durch das Aufkommen dieser Technologien verbessert wurde, ist die industrielle Inspektion. Qualitätsprüfung von Lebensmitteln und Getränken, pharmazeutische Produktprüfung und -sortierung, Farbprüfung und Prozessüberwachung sind nur einige Beispiele dafür, wie nicht sichtbare Bildgebungskomponenten heute in Bildverarbeitungssystemen eingesetzt werden.

Abbildung 1: Basierend auf der Prismentechnologie liefern Sweep + und Fusion Multispektralkameras simultane Bilder verschiedener Lichtspektren über einen einzigen optischen Pfad.

Basierend auf der Prismentechnologie, die eine gleichzeitige Erfassung entlang eines einzigen optischen Pfades ohne Filterräder oder andere bewegliche Teile ermöglicht, werden mehrere Multispektralkameras (Abbildung 1) von JAI (San Jose, CA, USA, www.jai.com) angeboten. Für Anwender von Flächenkameras bietet JAI drei Multispektralkameras der Fusion-Serie an. Diese 2-CCD-Sensormodelle unterscheiden sich nur in der Auflösung und den Datenschnittstellen: AD-080CL (0,8 MPixel, Camera Link-Schnittstelle, 30 fps), AD-080GE (0,8 MPixel, GigE Vision-Schnittstelle, 30 fps) und AD-130GE (1,3 MPixel, GigE Vision-Schnittstelle, 31 fps.Jede Kamera basiert auf dem gleichen multispektralen Aspekt, d.h. ein Bayer-CCD erfasst sichtbare Farbbilder (400 bis 700 nm) in einem Kanal und ein monochromer Sensor erfasst Nahinfrarot-Daten (750 bis 900+ nm) in einem zweiten Kanal.

Für Anwender von Zeilenkameras bietet JAI drei multispektrale Kameras in seiner Sweep+-Serie an. Diese prismenbasierten, vierzeiligen Kameras bieten separate Kanäle für R-, G-, B- und NIR-Daten. Die SW-2001Q-CL basiert auf einem 4 x 2048 CCD-Pixel-Array und verfügt über eine Camera Link-Schnittstelle mit 19 kHz Zeilenfrequenz, während die LQ-401CL – ebenfalls mit Camera Link-Schnittstelle – ein 4 x 4096 CMOS-Array mit 18 kHz Zeilenfrequenz verwendet. Die SW-4000Q-10GE verfügt über eine 10GigE-Schnittstelle und verwendet ein 4 x 4096 CMOS-Array mit 72 kHz Zeilenfrequenz.

Verwandt: Deep Learning und Hyperspectral-Imaging-Technologien arbeiten zusammen, um kranke Kartoffeln zu identifizieren

Schließlich bietet das Unternehmen in seiner Wave-Serie mit dem WA-1000D-CL auch eine multispektrale Zeilenscan-Option an, die über zwei prismenmontierte InGaAs-Zeilensensoren (2 x 1024 Pixel, Camera Link-Schnittstelle, 39 kHz Zeilenfrequenz) verfügt. Ein Kanal deckt das obere NIR-Spektrum und das untere SWIR-Band (900 bis 1400 nm) ab, während der zweite Kanal in den oberen Teil des SWIR-Bandes von 1400 bis 1700 nm fällt.Abbildung 3: Basierend auf einem gekühlten InSb-Detektor kann die FX50-Hyperspektralbildkamera bei der Sortierung von schwarzem Plastik und bei der Erkennung von Verunreinigungen auf Metalloberflächen eingesetzt werden.

„Durch den Einsatz verschiedener schmalbandiger Lichtquellen im NIR- und SWIR-Bereich sowie Bildfusionstechniken kann diese Kamera zur Erkennung und Sortierung schwer zu unterscheidender Substanzen eingesetzt werden, insbesondere in Anwendungen wie der Lebensmittelkontrolle und dem Kunststoffrecycling“, so Rich Dickerson, Manager, Marketing Communications, JAI.

Salvo Technologies (früher PIXELTEQ; Seminole, FL, USA; www.opticalfiltershop.com), das ebenfalls multispektrale Kameras entwickelt, indem es Filter herstellt und mikrogemusterte Filter über ein aktives Ausrichtungssystem direkt an den Bildsensoren anbringt, bietet eine Reihe von multispektralen und polarimetrischen Bildgebern an. Die Kameras der SpectroCam-Serie, die in Ultraviolett-, VIS- und SWIR-Versionen erhältlich sind, basieren auf einem kontinuierlich rotierenden Filterrad, das aus sechs bis acht austauschbaren optischen Filtern besteht. Die UV- und VIS-Versionen – die 200 bis 900 nm bzw. 400 bis 1000 nm abdecken – basieren auf CCD-Bildsensoren, während die SWIR-Versionen InGaAs-Sensoren verwenden.

PixelCam Multispektralkameras bieten multispektrale Bildgebungsfähigkeiten von drei bis neun Spektralbändern bei bis zu 30 fps. Alle drei Modelle basieren auf CCD-Sensoren (4 oder 8 MPixel) mit kundenspezifischen dichroitischen Filteranordnungen, die in die Fokalebene auf Wafer-Ebene integriert sind und kontrastreiche spektrale Informationen bei bestimmten sichtbaren und infraroten Wellenlängen extrahieren, so das Unternehmen. Diese Kameras sind im Bereich von 400 bis 1000 nm empfindlich und sind entweder als GigE- oder CoaXPress-Version mit Bildraten von bis zu 15 fps erhältlich.

Spectral Devices (London, ON, Kanada; www.spectraldevices.com) bietet zwei Arten von Multispektralkameras an: Snapshot- und Zeilenkameras. Die Zeilenkameras des Unternehmens basieren auf dem 2-MPixel-CMOS-Bildsensor CMV2000 von ams (Premstätten, Österreich; www.ams.com) und werden in drei Standard-Vierbandkameras sowie in kundenspezifischen Kameramodellen mit 2 bis 16 verschiedenen Bändern angeboten. Diese Kameras zielen auf Anwendungen wie Qualitätssicherung und -inspektion von Lebensmitteln und Waferinspektion.Abbildung 4: Mit einem Spektralbereich von 400 bis 1000 nm misst die Hyperspektralkamera Pika L nur 3,9 x 4,9 x 2,2 Zoll und zielt auf Bildverarbeitungs- und Fernerkundungsanwendungen ab.

Die Snapshot-Kameras basieren auf dem 4-MPixel-CMOS-Bildsensor CMV4000, der ebenfalls von ams entwickelt wurde, und sind für die gleichzeitige Erfassung einer Szene in mehreren Bändern ausgelegt. Die Kameras werden in sechs Standardmodellen sowie in kundenspezifischen Modellen angeboten und erfassen 2 bis 16 Bänder mit einer Geschwindigkeit von bis zu 94 fps bei voller Bildrate. Diese Multispektralkameras eignen sich nach Angaben des Unternehmens für Anwendungen wie Robotik, Lebensmittelverarbeitung und Farbmessung.

Verwandt: Luftaufnahmen helfen der Präzisionslandwirtschaft

Auf der Sensorseite hat imec (Leuven, Belgien; www.imec-int.com) einen multispektralen TDI-Bildsensor namens Argus entwickelt, der auf der CCD-in-CMOS-Technologie basiert. Die Sensoren verwenden ein Format mit 4096 Spalten und 256 Stufen pro CCD-Array (oder Band), mit einer Pixelgröße von 5,4 µm. Zusätzlich ist eine Version mit sieben Bändern erhältlich, die es dem Nutzer ermöglicht, sieben Spektralfilter hinzuzufügen.

Diese Prototypen integrieren CMOS-Treiber und Ausleseschaltungen und erreichen eine Zeilenrate von bis zu 300 kHz. In Kombination mit Spektralfiltern ist multispektrales TDI-Imaging möglich, und zwar mit einer individuellen Anzahl von Bändern und TDI-Stufen. Farb- oder Spektralfilter können auf dem Wafer oder dem Deckglasdeckel nachbearbeitet werden.

Hyperspektrale Bildgebung

Um die hyperspektrale Bildgebung zu ermöglichen, hat imec auch handelsübliche hyperspektrale Bildsensoren entwickelt, die auf Wafern basieren, die direkt auf die Pixel (Abbildung 2) des CMV2000 CMOS-Bildsensors von ams aufgebracht werden. Diese Bildsensoren sind in den Formaten Snapshot Mosaic, Snapshot Tiled, Line Scan Wedge und Line Scan CCD Time Delay Integration (TDI) erhältlich und bieten Optionen mit 4, 7, 16, 25, 32, 100+ und 150+ Bändern. Die Bildsensoren sind in mehrere Bildverarbeitungs-Kameramodelle integriert, die alle für den Einsatz in verschiedenen industriellen Inspektionsanwendungen geeignet sind.

XIMEA (Münster, Deutschland; www.ximea.com) bietet vier Modelle auf der Basis von imec-Sensoren an, darunter zwei Mosaik-Keilsensoren mit 16 und 25 Bändern und zwei Zeilenscan-Modelle mit 100 und 150 Bändern. Die Kameras verfügen entweder über eine USB3-Schnittstelle mit Geschwindigkeiten von 170 fps oder über PCIe mit bis zu 340 fps sowie über Spektralbereiche von RGB+NIR, 470 bis 630 nm, 600 bis 950 nm, 600 bis 975 nm und 470 bis 900 nm, je nach Modell.

„Durch die Anwendung von schmalbandigen Spektralfiltern auf Pixelebene mittels Halbleiter-Dünnschichtverarbeitung ermöglicht die Technologie von imec hyperspektrale Bildsensorlösungen mit geringerem Formfaktor, geringerem Gewicht und Eignung für eingebettete Bildverarbeitungssysteme“, sagt Ivan Klimkovic, Key Account Manager bei XIMEA. „XIMEA hat die Hyperspektralsensoren von imec mit seiner xiQ-Kameraplattform gekoppelt, die mit Abmessungen von 26,4 x 26,4 x 31 mm und einem Gewicht von nur 31 Gramm den wichtigen Größenfaktor ergänzt.“

Photonfocus (Lachen, Schweiz; www.photonfocus.com) bietet ebenfalls drei Hyperspektralkameras mit imec-Sensoren an. Die Kameras sind im Snapshot-Mosaikformat erhältlich und bieten Optionen mit 16 oder 25 Bändern. Mit einer GigE-Schnittstelle bieten die Kameras Geschwindigkeiten von bis zu 50 fps und Spektralbereiche von 470 bis 630 nm, 470 bis 900 nm, 595 bis 860 nm, 600 bis 975 nm und 665 bis 975 nm, je nach Modell.

Außerdem hat imec in Zusammenarbeit mit Adimec (Eindhoven, Niederlande; www.adimec.com) das imec VNIR-Hyperspektralsystem entwickelt, das auf einer Adimec Quartz Machine Vision Kamera mit einem 2 MPixel CMOS-Bildsensor basiert. Das System bietet ein Zeilenscan-Format mit mehr als 150 Bändern und eine Camera Link-Schnittstelle und verfügt über einen Spektralbereich von 470 bis 900 nm oder 600 bis 1000 nm.

Imec hat auch eigene Hyperspektralprodukte, darunter die Systeme SNAPSCAN NIR, SNAPSCAN VNIR und SNAPSCAN SWIR, die über eine USB 3.0-Schnittstelle verfügen und Schnappschuss- und Zeilenscanformate mit 100+ und 150+ Bändern sowie je nach Modell 470 bis 900 nm, 600 bis 1000 nm und 1100 bis 1700 nm Spektralbereich bieten.

Verwandt: Hyperspectral Imaging System bewertet landwirtschaftliche Produkte

Zahlreiche Bildverarbeitungsunternehmen entwickeln auch außerhalb des imec-Bereichs Hyperspektralkameras, darunter Specim (Oulu, Finnland; www.specim.fi), das die FX-Serie von Kameras anbietet. Diese Hyperspektralkameras arbeiten im Zeilenscan-Modus, sind mit GigE, Camera Link oder kundenspezifischem Ethernet erhältlich und wurden speziell für industrielle Bildverarbeitungsanwendungen entwickelt.

Die FX50-Kamera (Abbildung 3) basiert auf einem gekühlten InSb-Detektor und verfügt über eine räumliche Auflösung von 640 Pixeln, einen Spektralbereich von 2,7 bis 5,3 µm, eine Bildaufnahmegeschwindigkeit von 380 fps und eine freie Wellenlängenwahl aus 154 Bändern innerhalb des Kamerabereichs. Die Kamera eignet sich nach Angaben des Unternehmens für die Sortierung von schwarzem Kunststoff und für die Erkennung von Verunreinigungen auf Metalloberflächen.

„Plastikmüll ist ein riesiges Problem: Schätzungen zufolge wird es bis 2050 mehr Plastik in den Ozeanen geben als Fische. Der Großteil der nicht recycelbaren Kunststoffe besteht aus gemischten Kunststoffarten, die nicht wiederverwendet werden können, weil herkömmliche Kunststoffsortiertechnologien die industriellen Anforderungen nicht erfüllen, um sie zuverlässig und effizient genug zu trennen“, sagt Hannu Mäki-Marttunen, Head of Sales & Marketing bei Specim. „Hier kommen die Hyperspektralkameras der FX-Serie von Specim ins Spiel. Mit der FX17 und der brandneuen FX50 können wir jetzt verschiedene Kunststoffe, sogar schwarze Kunststoffe, mit einer Genauigkeit von bis zu 99% identifizieren und sortieren.“

Er fährt fort: „Das bedeutet, dass Specim-Endkunden jetzt Kunststoffabfälle in eine wertvolle Ressource verwandeln können, die als Rohstoff für die Kunststoffindustrie wiederverwendet werden kann.“

Das Modell FX17 ist eine InGaAs-basierte Kamera mit einem Spektralbereich von 900 bis 1700 nm, einer Bildaufnahmegeschwindigkeit von 670 fps und einer freien Wellenlängenauswahl aus 224 Bändern innerhalb des Kamerabereichs. Zu den Zielanwendungen gehören Lebensmittel- und Futtermittelqualität, Abfallsortierung, Recycling und Feuchtigkeitsmessung. Das Modell FX10 ist eine auf einem CMOS-Bildsensor basierende Kamera mit einem Spektralbereich von 400 bis 1000 nm, einer Bildaufnahmegeschwindigkeit von 330 fps und einer freien Wellenlängenauswahl aus 224 Bändern innerhalb der Kameraabdeckung. Diese Kamera zielt nach Angaben des Unternehmens auf Machine-Vision-Anwendungen wie die Qualitätskontrolle von Lebensmitteln und die Erkennung von Farbe/Dichte in Druckanwendungen.

Specim bietet eine Reihe weiterer Hyperspektralkameras an, darunter die Modelle Fenix, PFD-65-V10E und sCMOS-50-V10E sowie die tragbare Specim IQ Kamera, die eine mobile Materialanalyse ermöglicht und einen Spektralbereich von 400 bis 1000 nm bietet.

HinaLea Imaging (Kapolei, HI, USA; www.hinaleaimaging.com) stellt ebenfalls Hyperspektralkameras her, darunter die Weitwinkelkamera Modell 4200, die eine räumliche Auflösung des Sensors von 2,3 MPixel, eine Empfindlichkeit im Bereich von 400 bis 1000 nm und Zugang zu bis zu 600 Spektralbändern bietet. Das Unternehmen bietet auch das Handheld-Modell 4100H an, das Berichten zufolge 2,3-MPixel-Datenwürfel in bis zu 550 Spektralbändern im sichtbaren und nahen Infrarotbereich (400 bis 1000 nm) liefert. Das Gerät verfügt außerdem über einen integrierten Prozessor und eine eingebaute Beleuchtung.

„Wir verzeichnen ein enormes und wachsendes Interesse an unseren Kameras für die Inspektion der Lebensmittelsicherheit und die Halbleiterverarbeitung“, sagt Alexandre Fong, Vice President, Engineering. „Mit der Einführung kosteneffizienter Spektrallösungen besteht das Potenzial, automatisierte Inspektionsanwendungen mit dieser Fülle neuer Informationen zu verändern.“

Ein weiteres Unternehmen, das Spektralkameras entwickelt, ist Headwall Photonics (Bolton, MA, USA; www.headwallphotonics.com), das fortschrittliche maschinelle Bildverarbeitungsanwendungen als einen seiner Kernmärkte anvisiert. Für seine Micro-Hyperspec-Kamera zum Beispiel nennt das Unternehmen die maschinelle Bildverarbeitung als Zielanwendung. Diese Kamera ist als VNIR-, NIR-, erweiterte NIR- und SWIR-Version erhältlich, die alle über eine Camera Link-Schnittstelle verfügen: VNIR A-Serie (400 bis 1000 nm, Silizium-CCD-Sensor, 324 wählbare Spektralbänder, 90 fps); VNIR E-Serie (400 bis 1000 nm, sCMOS-Sensor, 369 wählbare Spektralbänder, 250 fps); NIR 640 (900 bis 1700 nm, InGaAs-Detektor, 134 wählbare Spektralbänder, 120 fps); NIR 320 (900 bis 1700 nm, InGaAs-Detektor, 67 wählbare Spektralbänder, 346 fps); Erweitertes VNIR 640 (600 bis 1700 nm, InGaAs-Detektor, 267 wählbare Spektralbänder, 120 fps); SWIR 384 (900 bis 2500 nm, MCT-Detektor, 166 wählbare Spektralbänder, 450 fps); und SWIR 640 (900 bis 2500 nm, MCT-Detektor, 267 wählbare Spektralbänder, >200 fps).

Ausschließlich für Machine-Vision-Anwendungen konzipiert ist die Hyperspec MV-Kamera des Unternehmens mit einem Wellenlängenbereich von 400 bis 1000 nm, 270 wählbaren Spektralbändern, einer Camera-Link-Schnittstelle und einer Bildaufnahmegeschwindigkeit von 485 fps.

Das Unternehmen BaySpec (San Jose, CA, USA; www.bayspec.com), das Spektralinstrumente für Branchen wie Forschung und Entwicklung, Biomedizin und optische Telekommunikation entwickelt, bietet auch Hyperspektralkameras an, die sich für die industrielle Inspektion eignen. Eine dieser Kameras ist die USB 3.0-basierte OCI-OEM-Kamera, die als optischer Motor der Hyperspektral-Imager OCI-1000 (Push-Broom, bis zu 120 fps) und OCI-2000 (Snapshot, bis zu 120 fps) des Unternehmens dient, die den Bereich von 600 bis 1000 nm mit bis zu 100 (OCI-1000) bzw. 25 (OCI-2000) wählbaren Spektralbändern abdecken.

Eine weitere Option ist die Hyperspektralkamera GoldenEye Snapshot des Unternehmens, die die firmeneigene FT-PI-Technologie nutzt und einen erweiterten Bereich von 400 bis 1700 nm abdeckt, über 40 bis 52 auswählbare Spektralbänder verfügt und eine Bildrate von 1 fps bei 648 x 488 räumlichen Pixeln bietet.

Auch Resonon (Bozeman, MT, USA; www.resonon.com) ist ein Unternehmen, das Hyperspektralkameras für Labor-, Outdoor- und Fernerkundungsanwendungen entwickelt, aber auch den Markt für maschinelles Sehen im Auge hat. Für den Einsatz in industriellen Bildverarbeitungsanwendungen eignen sich nach Angaben des Unternehmens die folgenden Kameras: Pika L (Abbildung 4; 400 bis 1000 nm Spektralbereich, 281 wählbare Spektralbänder, 249 fps, USB 3.0-Schnittstelle), Pika XC2 (400 bis 1000 nm Spektralbereich, 447 wählbare Spektralbänder, 165 fps, USB 3.0-Schnittstelle), Pika NIR-320 (900 bis 1700 nm Spektralbereich, 164 auswählbare Spektralbänder, 520 fps, GigE-Schnittstelle) und Pika NIR-640 (900 bis 1700 nm, 328 auswählbare Spektralbänder, 249 fps, GigE-Schnittstelle)

Letztens bietet Norsk Elektro Optikk (NEO; Skedsmokorset, Norwegen; www.hyspex.no) in seiner HySpex-Linie zwei hyperspektrale Bildgebungskameras für industrielle Bildgebungsanwendungen an. Die HySpex SWIR-384 Kamera basiert auf einem MCT-Sensor und bietet einen Spektralbereich von 950 bis 2500 nm mit 288 auswählbaren Spektralbändern und einer Bildrate von 400 fps bei vollem Spektralbereich (skalierbar durch Reduzierung des Bereichs), während die HySpex VNIR-1024 auf einem CMOS-Bildsensor basiert und einen Spektralbereich von 400 bis 1000 nm mit 108 auswählbaren Spektralbändern und einer Bildrate von 700 fps bei voller spektraler Auflösung bietet.

Beide Hyperspektralkameras sind nach Angaben des Unternehmens extrem scharf – sowohl spektral als auch räumlich – mit weniger als 10 % räumlicher und spektraler Fehlregistrierung (Smile und Keystone).