Techniki obrazowania poza widzialną długością fali zwiększają możliwości zastosowań widzenia maszynowego.

Choć kamery wielospektralne i hiperspektralne są stosowane w wielu aplikacjach i branżach, jednym z obszarów udoskonalonych dzięki pojawieniu się tych technologii jest inspekcja przemysłowa. Kontrola jakości produktów spożywczych i napojów, kontrola i sortowanie produktów farmaceutycznych, kontrola kolorów i monitorowanie procesów to tylko kilka przykładów tego, w jaki sposób niewidzialne komponenty obrazowania są obecnie wykorzystywane w systemach widzenia maszynowego.

Rycina 1: Oparte na technologii pryzmatów kamery wielospektralne Sweep + i Fusion zapewniają jednoczesne obrazy różnych spektrów światła za pośrednictwem pojedynczej ścieżki optycznej.

Na podstawie technologii pryzmatycznej zapewniającej jednoczesne przechwytywanie wzdłuż pojedynczego toru optycznego bez kół filtrów lub innych ruchomych części, kilka kamer wielospektralnych (rysunek 1) jest oferowanych przez JAI (San Jose, CA, USA, www.jai.com). Dla użytkowników kamer typu area scan firma JAI oferuje trzy kamery multispektralne z serii Fusion. Te modele z przetwornikiem 2-CCD różnią się jedynie rozdzielczością i interfejsami danych: AD-080CL (0,8 MPixela, interfejs Camera Link, 30 kl./s), AD-080GE (0,8 MPixela, interfejs GigE Vision, 30 kl./s) i AD-130GE (1,3 MPixela, interfejs GigE Vision, 31 kl./s).Każda z kamer oparta jest na tym samym aspekcie wielospektralnym, w którym przetwornik CCD Bayera rejestruje w jednym kanale obrazy w kolorze widzialnym (400 do 700 nm), a w drugim kanale przetwornik monochromatyczny rejestruje dane w bliskiej podczerwieni (750 do 900+ nm).

Dla użytkowników kamer ze skanowaniem liniowym, JAI oferuje trzy kamery wielospektralne z serii Sweep+. Te oparte na pryzmatach, czteroliniowe kamery zapewniają oddzielne kanały dla danych R, G, B i NIR. SW-2001Q-CL bazuje na matrycy CCD 4 x 2048 pikseli i posiada interfejs Camera Link o częstotliwości linii 19 kHz, natomiast LQ-401CL – również z interfejsem Camera Link – wykorzystuje matrycę CMOS 4 x 4096 pikseli o częstotliwości linii 18 kHz. Wyposażony w interfejs 10GigE, SW-4000Q-10GE wykorzystuje matrycę 4 x 4096 CMOS z częstotliwością linii 72 kHz.

Powiązane: Deep learning and hyperspectral imaging technologies team up for diseased potato identification

Na koniec warto dodać, że firma oferuje również opcję multispektralnego skanowania liniowego w swojej serii Wave, w postaci WA-1000D-CL, wyposażonego w dwa, montowane pryzmatycznie czujniki liniowe InGaAs (2 x 1024 piksele, interfejs Camera Link, częstotliwość linii 39 kHz). Jeden kanał pokrywa górne spektrum NIR i dolne pasmo SWIR (900 do 1400 nm), podczas gdy drugi kanał mieści się w górnej części pasma SWIR od 1400 do 1700 nm.Figura 3: W oparciu o schłodzony detektor InSb, hiperspektralna kamera obrazująca FX50 może być stosowana w sortowaniu czarnego plastiku i wykrywaniu zanieczyszczeń na powierzchniach metalowych.

„Wykorzystując różne wąskopasmowe źródła światła w zakresie NIR i SWIR, wraz z technikami fuzji obrazów, kamera ta może być używana do wykrywania i sortowania trudno rozróżnialnych substancji, szczególnie w takich zastosowaniach jak inspekcja żywności i recykling tworzyw sztucznych”, mówi Rich Dickerson, Manager, Marketing Communications, JAI.

Rozwijając również kamery wielospektralne poprzez produkcję filtrów i dołączanie mikro wzorów filtrów bezpośrednio do czujników obrazu poprzez aktywny system wyrównywania, Salvo Technologies (wcześniej PIXELTEQ; Seminole, FL, USA; www.opticalfiltershop.com), oferuje gamę wielospektralnych i polarymetrycznych przetworników obrazu. Kamery serii SpectroCam, dostępne w wersjach ultrafioletowej, VIS i SWIR, bazują na stale obracającym się kole filtracyjnym, składającym się z sześciu do ośmiu wymiennych filtrów optycznych. Wersje UV i VIS – które obejmują odpowiednio zakres od 200 do 900 nm i od 400 do 1000 nm – oparte są na czujnikach obrazu CCD, natomiast wersje SWIR wykorzystują czujniki InGaAs.

Kamery wielospektralne PixelCam zapewniają możliwość obrazowania wielospektralnego w zakresie od trzech do dziewięciu pasm spektralnych, z szybkością do 30 klatek na sekundę. Wszystkie trzy modele są oparte na czujnikach CCD (4 lub 8 MPixel) z niestandardowymi matrycami filtrów dichroicznych zintegrowanych z matrycą płaszczyzny ogniskowej na poziomie wafla, które wydobywają wysokokontrastowe informacje spektralne w określonych długościach fal widzialnych i podczerwonych, według firmy. Kamery te są czułe w zakresie od 400 do 1000 nm i są dostępne w wersjach GigE lub CoaXPress z szybkością odświeżania do 15 klatek na sekundę.

Spectral Devices (London, ON, Kanada; www.spectraldevices.com) oferuje dwa typy kamer multispektralnych, migawkowe i ze skanowaniem liniowym. Kamery ze skanowaniem liniowym firmy bazują na 2 MPixelowym przetworniku obrazu CMV2000 global shutter CMOS firmy ams (Premstaetten, Austria; www.ams.com) i są oferowane w trzech standardowych kamerach czteropasmowych, jak również w niestandardowych modelach kamer o zakresie od 2 do 16 różnych pasm. Kamery te są przeznaczone do takich zastosowań, jak zapewnianie i kontrola jakości żywności oraz kontrola wafli.Ryc. 4: Dzięki zakresowi spektralnemu od 400 do 1000 nm kamera hiperspektralna Pika L mierzy zaledwie 3,9 x 4,9 x 2,2 cala i jest przeznaczona do zastosowań związanych z widzeniem maszynowym i teledetekcją.

Kamery migawkowe są oparte na przetworniku obrazu CMV4000 CMOS o rozdzielczości 4 MPikseli, również opracowanym przez ams, i są przeznaczone do jednoczesnego rejestrowania sceny w wielu pasmach. Oferowane w sześciu standardowych modelach – jak również w modelach niestandardowych – kamery rejestrują od 2 do 16 pasm z prędkością do 94 klatek na sekundę przy pełnej częstotliwości odświeżania. Te wielospektralne kamery, według firmy, są odpowiednie do stosowania w aplikacjach takich jak robotyka, przetwórstwo żywności i pomiar koloru.

Powiązane: Aerial imaging aids precision agriculture

Po stronie czujników firma imec (Leuven, Belgia; www.imec-int.com) opracowała wielospektralny czujnik obrazu z opóźnieniem czasowym (TDI) o nazwie Argus, który jest oparty na technologii CCD-in-CMOS. Czujniki te wykorzystują format 4096 kolumn i 256 stopni na matrycę CCD (lub pasmo), o rozmiarze piksela 5,4 µm. Dodatkowo dostępna jest wersja z siedmioma pasmami, co pozwala użytkownikom na dodanie siedmiu filtrów spektralnych.

Te prototypy integrują sterowniki CMOS i obwody odczytu i osiągają szybkość liniową do 300 kHz. W połączeniu z filtrami spektralnymi, możliwe jest wielospektralne obrazowanie TDI, z dostosowaną do potrzeb liczbą pasm i etapów TDI. Filtry kolorowe lub spektralne mogą być przetwarzane wtórnie na płytce lub pokrywie szklanej.

Obrazowanie hiperspektralne

Aby umożliwić obrazowanie hiperspektralne, firma imec stworzyła również dostępne od ręki hiperspektralne czujniki obrazu oparte na płytkach nakładanych bezpośrednio na piksele (rysunek 2) na czujniku obrazu CMV2000 CMOS firmy ams. Te czujniki obrazu są dostępne w formatach snapshot mosaic, snapshot tiled, line scan wedge i line scan CCD time delay integration (TDI) i oferują opcje z 4, 7, 16, 25, 32, 100+ i 150+ pasmami. Czujniki obrazu są zintegrowane w kilku modelach kamer wizyjnych, z których wszystkie nadają się do wykorzystania w różnych zastosowaniach inspekcji przemysłowej.

XIMEA (Münster, Niemcy; www.ximea.com) oferuje cztery modele oparte na czujnikach imec, w tym dwa czujniki mozaikowe z 16 i 25 pasmami oraz dwa modele ze skanowaniem liniowym z 100 i 150 pasmami. Kamery te są wyposażone w interfejs USB3 o szybkości 170 fps lub PCIe o szybkości do 340 fps oraz zakresy spektralne RGB+NIR, 470 do 630 nm, 600 do 950 nm, 600 do 975 nm i 470 do 900 nm, zależnie od modelu.

„Dzięki zastosowaniu wąskopasmowych filtrów spektralnych na poziomie pikseli przy użyciu półprzewodnikowego przetwarzania cienkowarstwowego, technologia imec umożliwia hiperspektralnym rozwiązaniom czujników obrazu zmniejszenie wymiarów, obniżenie wagi i dostosowanie do wbudowanych systemów wizyjnych”, mówi Ivan Klimkovic, Key Account Manager w XIMEA. „XIMEA połączyła czujniki hiperspektralne imec ze swoją platformą kamer xiQ, która uzupełnia ważny czynnik rozmiaru, oferując wymiary 26,4 x 26,4 x 31 mm i zaledwie 31 gramów wagi.”

Photonfocus (Lachen, Szwajcaria; www.photonfocus.com) oferuje trzy kamery hiperspektralne wyposażone w czujniki imec. Kamery te, dostępne w formacie mozaiki migawkowej, oferują opcje z 16 lub 25 pasmami. Dzięki interfejsowi GigE kamery oferują prędkość do 50 klatek na sekundę oraz zakresy spektralne od 470 do 630 nm, od 470 do 900 nm, od 595 do 860 nm, od 600 do 975 nm i od 665 do 975 nm, w zależności od modelu.

Dodatkowo firma imec nawiązała współpracę z firmą Adimec (Eindhoven, Holandia; www.adimec.com) w celu opracowania systemu hiperspektralnego imec VNIR, który jest oparty na kamerze do wizji maszynowej Adimec Quartz z czujnikiem obrazu CMOS o rozdzielczości 2 MP pikseli. Oferując format skanowania liniowego z ponad 150 pasmami i interfejsem Camera Link, system ten posiada zakres spektralny od 470 do 900 nm lub od 600 do 1000 nm.

Imec posiada również swoje własne produkty hiperspektralne, w tym systemy SNAPSCAN NIR, SNAPSCAN VNIR i SNAPSCAN SWIR, które posiadają interfejs USB 3.0 i oferują formaty skanowania migawkowego i liniowego z 100+ i 150+ pasmami, jak również zakresy spektralne 470 do 900 nm, 600 do 1000 nm i 1100 do 1700 nm, w zależności od modelu.

Powiązane: Hiperspektralny system obrazowania klasyfikuje produkty rolne

Liczne firmy zajmujące się widzeniem maszynowym również opracowują kamery hiperspektralne poza sferą imec, w tym Specim (Oulu, Finlandia; www.specim.fi), który oferuje serię kamer FX. Te kamery hiperspektralne pracują w trybie skanowania liniowego, są dostępne w GigE, Camera Link lub niestandardowym Ethernecie i zostały zaprojektowane specjalnie do zastosowań w przemysłowym widzeniu maszynowym.

Kamera FX50 (rysunek 3) jest oparta na chłodzonym detektorze InSb i charakteryzuje się rozdzielczością przestrzenną 640 pikseli, zakresem spektralnym od 2,7 do 5,3 µm, szybkością akwizycji obrazu 380 klatek na sekundę oraz swobodnym wyborem długości fali spośród 154 pasm objętych zasięgiem kamery. Kamera ta, według firmy, jest odpowiednia do stosowania w sortowaniu czarnego plastiku oraz do wykrywania zanieczyszczeń na powierzchniach metalowych.

„Odpady plastikowe to ogromny problem: Szacuje się, że do 2050 roku w oceanach będzie więcej plastiku niż ryb. Większość tworzyw sztucznych nienadających się do recyklingu składa się z mieszanych typów tworzyw sztucznych, których nie można ponownie wykorzystać, ponieważ tradycyjne technologie sortowania tworzyw sztucznych nie spełniają wymagań przemysłowych w zakresie wystarczająco niezawodnego i wydajnego ich oddzielania” – mówi Hannu Mäki-Marttunen, szef działu sprzedaży & marketingu w firmie Specim. „W tym miejscu wkraczają kamery hiperspektralne Specim serii FX. Dzięki FX17 i nowemu modelowi FX50 możemy teraz identyfikować i sortować różne tworzywa sztuczne, nawet czarne, z dokładnością do 99%.”

Dalej dodaje: „Oznacza to, że klienci końcowi firmy Specim mogą teraz przekształcać odpady z tworzyw sztucznych w cenny zasób, który można ponownie wykorzystać jako surowiec w przemyśle tworzyw sztucznych.”

Model FX17 to kamera oparta na technologii InGaAs z zakresem spektralnym od 900 do 1700 nm, szybkością akwizycji obrazu 670 klatek na sekundę i swobodnym wyborem długości fali z 224 pasm w zasięgu kamery. Docelowe zastosowania obejmują jakość żywności i pasz, sortowanie odpadów, recykling i pomiary wilgotności. Model FX10 to kamera oparta na przetworniku obrazu CMOS o zakresie spektralnym od 400 do 1000 nm, szybkości akwizycji obrazu 330 klatek na sekundę i swobodnym wyborze długości fali spośród 224 pasm objętych zasięgiem kamery. Kamera ta, według firmy, jest przeznaczona do zastosowań związanych z widzeniem maszynowym, takich jak kontrola jakości żywności i wykrywanie koloru/gęstości w zastosowaniach drukarskich.

Specim oferuje szereg innych kamer hiperspektralnych, w tym modele Fenix, PFD-65-V10E i sCMOS-50-V10E, a także przenośną kamerę Specim IQ, która umożliwia mobilną analizę materiałów i oferuje zakres spektralny od 400 do 1000 nm.

HinaLea Imaging (Kapolei, HI, USA; www.hinaleaimaging.com) również produkuje kamery hiperspektralne, w tym szerokopolową kamerę Model 4200, która ma rozdzielczość przestrzenną sensora 2,3 MPixela, czułość w zakresie 400 do 1000 nm i dostęp do 600 pasm spektralnych. Firma oferuje również ręczny model 4100H, który podobno dostarcza kostki danych o rozdzielczości 2,3 MPiksela w 550 pasmach spektralnych w zakresie fal widzialnych i bliskiej podczerwieni (400 do 1000 nm). Urządzenie posiada również wbudowany procesor i wbudowane oświetlenie.

„Otrzymujemy ogromne i rosnące zainteresowanie naszymi kamerami do kontroli bezpieczeństwa żywności i przetwarzania półprzewodników”, mówi Alexandre Fong, wiceprezes ds. inżynierii. „Wraz z wprowadzeniem opłacalnych rozwiązań spektralnych, istnieje potencjał do przekształcenia zautomatyzowanych aplikacji inspekcyjnych dzięki tej głębi nowych informacji.”

Kierując się zaawansowanymi aplikacjami widzenia maszynowego jako jednym ze swoich głównych rynków, Headwall Photonics (Bolton, MA, USA; www.headwallphotonics.com) jest kolejną firmą rozwijającą kamery spektralne. Na przykład, dla swojej kamery Micro-Hyperspec, firma wymienia widzenie maszynowe jako docelowe zastosowanie. Kamera ta jest dostępna w wersjach VNIR, NIR, rozszerzonej NIR i SWIR, z których wszystkie oferują interfejs Camera Link: VNIR A-Series (400 do 1000 nm, krzemowy sensor CCD, 324 wybieralne pasma spektralne, 90 kl./s); VNIR E-Series (400 do 1000 nm, sensor sCMOS, 369 wybieralnych pasm spektralnych, 250 kl./s); NIR 640 (900 do 1700 nm, detektor InGaAs, 134 wybieralne pasma spektralne, 120 kl./s); NIR 320 (900 do 1700 nm, detektor InGaAs, 67 wybieralnych pasm spektralnych, 346 kl./s); Rozszerzony VNIR 640 (600 do 1700 nm, detektor InGaAs, 267 pasm spektralnych do wyboru, 120 kl./s); SWIR 384 (900 do 2500 nm, detektor MCT, 166 pasm spektralnych do wyboru, 450 kl./s); i SWIR 640 (900 do 2500 nm, detektor MCT, 267 pasm spektralnych do wyboru, >200 kl./s).

Zaprojektowana wyłącznie do zastosowań widzenia maszynowego kamera Hyperspec MV firmy, która ma zakres długości fali od 400 do 1000 nm, 270 wybieralnych pasm spektralnych, interfejs Camera Link i szybkość akwizycji obrazu 485 kl.

Podczas gdy BaySpec (San Jose, CA, USA; www.bayspec.com), jest firmą, która rozwija instrumenty spektralne dla branż takich jak badania i rozwój, biomedycyna i telekomunikacja optyczna, firma posiada również kamery hiperspektralne, które są odpowiednie do inspekcji przemysłowej. Jedną z takich kamer jest kamera USB 3.Kamera OCI-OEM oparta na technologii 0, która służy jako silnik optyczny w firmowych obrazownikach hiperspektralnych OCI-1000 (push-broom, do 120 fps) i OCI-2000 (snapshot, do 120 fps), które pokrywają zakres 600 do 1000 nm z możliwością wyboru do 100 (OCI-1000) lub 25 (OCI-2000) pasm spektralnych.

Inną opcją jest firmowa kamera hiperspektralna GoldenEye Snapshot, która wykorzystuje zastrzeżoną technologię FT-PI i obejmuje rozszerzony zakres od 400 do 1700 nm, posiada od 40 do 52 wybieralnych pasm spektralnych i szybkość odświeżania 1 klatki na sekundę przy 648 x 488 pikselach przestrzennych.

Podobnie, Resonon (Bozeman, MT, USA; www.resonon.com) jest firmą rozwijającą kamery hiperspektralne do zastosowań laboratoryjnych, zewnętrznych i teledetekcyjnych, mając jednocześnie oko na rynek wizji maszynowej. Według firmy, do zastosowań w obrazowaniu przemysłowym nadają się następujące kamery: Pika L (rysunek 4; zakres spektralny 400 do 1000 nm, 281 wybieralnych pasm spektralnych, 249 fps, interfejs USB 3.0), Pika XC2 (zakres spektralny 400 do 1000 nm, 447 wybieralnych pasm spektralnych, 165 fps, interfejs USB 3.0), Pika NIR-320 (zakres spektralny 900 do 1700 nm, 164 pasma spektralne do wyboru, 520 fps, interfejs GigE) oraz Pika NIR-640 (900 do 1700 nm, 328 pasm spektralnych do wyboru, 249 fps, interfejs GigE).)

Na koniec, dwie kamery do obrazowania hiperspektralnego do zastosowań przemysłowych w linii HySpex oferuje firma Norsk Elektro Optikk (NEO; Skedsmokorset, Norwegia; www.hyspex.no). Kamera HySpex SWIR-384 jest oparta na przetworniku MCT i oferuje zakres spektralny od 950 do 2500 nm z 288 wybieralnymi pasmami spektralnymi i szybkością odświeżania 400 klatek na sekundę przy pełnym zakresie spektralnym (skalowalnym poprzez zmniejszenie zakresu), natomiast kamera HySpex VNIR-1024 jest oparta na przetworniku obrazu CMOS i oferuje zakres spektralny od 400 do 1000 nm ze 108 wybieralnymi pasmami spektralnymi i szybkością odświeżania 700 klatek na sekundę przy pełnej rozdzielczości spektralnej.

Obydwie kamery hiperspektralne, według firmy, są niezwykle ostre – zarówno spektralnie jak i przestrzennie – z mniej niż 10% przestrzenną i spektralną błędną rejestracją (uśmiech i keystone).