Risparmia tempo e fatica con la polarizzazione del sensore

Perché utilizzare la polarizzazione a sensore?

Molti sistemi di visione si sforzano di superare gli effetti di luce dinamica o eccessiva, riflessi e bagliori su superfici riflettenti come vetro, plastica e metallo. Le telecamere per visione artificiale Blackfly S con polarizzazione a sensore Sony e funzioni antiriflesso integrate in Spinnaker SDK offrono una soluzione facile da implementare, leggera e affidabile per affrontare situazioni così difficili. Grazie al controllo preciso e dinamico su esposizione, guadagno, bilanciamento del bianco e correzione del colore, le fotocamere Blackfly S con polarizzazione del sensore catturano la luce da quattro angoli in un unico fotogramma, riducendo significativamente la complessità del sistema e la progettazione delle applicazioni.

I sistemi che utilizzano telecamere multiple e filtri posti dietro un prisma beam splitter o una singola telecamera con filtro rotante o filtri su rotella hanno grandi dimensioni e sono lenti e complessi. Percependo contemporaneamente l'angolo e l'intensità di tutte le luce polarizzate sul sensore, la telecamera Blackfly S con sensori polarizzati forniscono maggior velocità e minori dimensioni, complessità e consumo energetico notevolmente ridotti rispetto alle soluzioni esistenti.

Modelli di telecamera supportati:

Telecamere Blackfly S GigE con polarizzazione del sensore

BFS-PGE-123S6P-C: 12.3 MP, 10 FPS, Sony IMX253MZR, polarizzati

BFS-PGE-51S5P-C: 5.0 MP, 24 FPS, Sony IMX250MZR, Polar-Mono

BFS-PGE-51S5PC-C: 5.0 MP, 24 FPS, Sony IMX250MYR, Polar-RGB

Telecamere Blackfly S USB3 con polarizzazione del sensore

BFS-U3-51S5PC-C: 5.0 MP, 75 FPS, Sony IMX250MYR, Polar-RGB

BFS-U3-51S5P-C: 5.0 MP, 75 FPS, Sony IMX250MZR, Polar-Mono

Quando è utile la polarizzazione integrata nella fotocamera:

Sistemi aeromobile a pilotaggio remoto (SAPR)

Le applicazioni come i sistemi SAPR o i droni operano generalmente all’aperto in condizioni di illuminazione incontrollate. La Blackfly S fornisce quattro serie di immagini polarizzate, con angoli di polarizzazione a 90°, 45°, 135° e 0°, per compensare le condizioni di illuminazione variabili e il relativo movimento e orientamento del SAPR. Grazie a 4 set di immagini polarizzate per fotogramma, Blackfly S riduce la complessità del sistema, il peso del carico utile e i punti di guasto, migliorando la qualità dell'immagine e il tempo di decisione in condizioni di illuminazione difficili.

Sistemi intelligenti per il traffico (ITS)

L'utilizzo di un filtro polarizzato è difficile per applicazioni ITS come la cintura di sicurezza o l'imaging delle violazioni con dispositivi mobili attraverso parabrezza riflettenti, poiché le condizioni di illuminazione all'aperto cambiano nel corso della giornata. Alcuni sistemi superano questo problema con configurazioni multi-telecamera/filtro, compromettendo significativamente l'affidabilità del sistema e aumentando i costi di hardware e manutenzione. La polarizzazione integrata nella fotocamera consente di acquisire contemporaneamente quattro serie di immagini per fotogramma, garantendo che almeno una di queste immagini sia efficace nell'eliminare i riflessi indesiderati. Gli sviluppatori di applicazioni hanno la flessibilità di scegliere una o più immagini polarizzate durante la post-elaborazione, risparmiando tempo e denaro di sviluppo, integrazione e manutenzione.

Riflessi su un parabrezza in condizioni di illuminazione esterna; con e senza polarizzazione.

Rilevamento e identificazione

La polarimetria è ideale per il rilevamento di oggetti che altrimenti sarebbero difficili da identificare con i sistemi basati su termografia o immagini tradizionali. I veicoli o le strutture cellulari microscopiche con funzione mimetica continuano a riflettere la luce polarizzata parallela alla superficie; questi riflessi risaltano chiaramente in modalità AoLP (Angolo di polarizzazione lineare), come illustrato di seguito.

Un veicolo ben camuffato prima e dopo aver utilizzato la polarizzazione del sensore

Ottimizzazione del deep learning (DL) per AUV e USV

Il miglioramento delle immagini tramite l'eliminazione di riflessi e bagliori indesiderati può semplificare l'addestramento di un sistema di apprendimento approfondito. Ciò è particolarmente utile negli ambienti con molti riflessi in cui operano i veicoli autonomi e i sommergibili marini a pilotaggio remoto (USV).

Altre applicazioni

L'alta risoluzione e il basso rumore di lettura delle telecamere Blackfly S consentono di analizzare un ampio campo visivo con apparecchiature di microscopia standard (ad esempio, le proprietà polarizzanti e l'attività ottica dei composti biologici possono differenziare tessuti sani e malati). Diverse altre applicazioni, come la produzione di semiconduttori e componenti elettronici, la produzione e l'ispezione di schermi piatti (FPD), l'imballaggio alimentare, i cosmetici, l'imballaggio farmaceutico, la logistica, la microscopia e l'ispezione si occupano di superfici riflettenti, dove la polarizzazione integrata nella fotocamera può essere particolarmente utile.

Cosa rende diverse le fotocamere Blackfly S dotate di sensori polarizzati Sony?

Polarizzazione dei sensori Sony

I sensori IMX253MZR e IMX250MZR di Sony si basano sui sensori CMOS globali da 12 e 5 megapixel IMX253 e IMX250 Pregius. Ogni singolo pixel ha il proprio filtro polarizzante: questi filtri sono orientati a 0°, 45°, 90° e 135° e disposti in blocchi di due pixel ripetuti. Questi sensori sono dotati di funzionalità che minimizzano l'impatto della riduzione dell'efficienza quantica provocata dall'aggiunta dei filtri polarizzanti ai pixel. Ad esempio, i filtri polarizzanti di IMX250MXR hanno un coefficiente di estinzione di 4:1, sufficientemente alto per fornire dati polarimetrici accurati senza bloccare la luce a polarizzazione incrociata. Ciò garantisce che, anche quando l'allineamento dei filtri lascia passare una quantità minima di luce, il fotodiodo sarà raggiunto da luce sufficiente per catturare immagini utilizzabili. Ciò consente la cattura di immagini con bassi livelli di rumore anche in condizioni difficili che richiedono guadagno per compensare la riduzione dell'efficienza quantica.

Spinnaker SDK con funzionalità antiriflesso e di rimozione dei riflessi

Il kit SDK Spinnaker supporta le chiamate API per creare un'immagine con riduzione del riverbero dalle immagini sorgente scegliendo il pixel più scuro da ogni quadrante di polarizzazione. Grazie alle misurazioni del polarimetro, è in grado di ridurre dinamicamente le riflessioni da superfici non metalliche, riducendo così la complessità del sistema e risparmiando i tempi di sviluppo delle applicazioni. Vedere l'esempio seguente:

L - Immagine polarizzata grezza | M - Immagine polarizzata con soggetto di interesse evidenziato in rosso | R - Immagine elaborata con riduzione antiriflesso abilitata

Frequenze fotogrammi più elevate (con compressione senza perdita di dati)

Le fotocamere Blackfly S GigE con sensori di immagine CMOS polarizzati Sony consentono di ottenere frequenze fotogrammi più elevate ad alta risoluzione (ad es. fino a 14FPS a 12MP) senza perdere dati di immagine grazie alla compressione senza perdita di dati integrata nel firmware della fotocamera. Questo aumento della velocità di elaborazione e l'alta risoluzione possono essere particolarmente utili in applicazioni industriali e orientate alla ricerca altamente impegnative.

Interpretazione dei dati di polarizzazione

L'interpretazione e la caratterizzazione dei parametri di polarizzazione della luce richiedono misurazioni da tutti e quattro gli angoli di polarizzazione. Ottenere tale risultato per ogni pixel del sensore richiede un processo di interpolazione in cui vengono combinati dati di pixel adiacenti. Ciò è analogo al modo in cui i dati di pixel adiacenti rossi, verdi e blu vengono combinati sui sensori cromatici per produrre valori RGB per ogni pixel. Questo processo è supportato nativamente da Spinnaker SDK.

Combinazione di polarizzazione e colore

Il sensore IMX250MYR aggiunge una matrice di filtri colorati al sensore al di sotto dei filtri di polarizzazione. Il sensore utilizza un pattern quad-Bayer che dà priorità alla risoluzione spaziale del dominio di polarizzazione rispetto alla risoluzione spaziale dei dati sui colori.

I pixel RGB sono stati riorganizzati in “super pixel” da 2x2. Ogni super-pixel ha un filtro polarizzante per orientamento e contiene tutte le informazioni necessarie per calcolare i parametri di Stokes in quella posizione.

Screenshot della GUI di Spinnaker SDK che evidenzia 2x2 ‘super-pixel’

Funzione otturatore globale

I sensori di immagine CMOS a otturatore rotante non sono in grado di identificare con precisione gli oggetti in rapido movimento a causa della distorsione del piano focale. Le fotocamere Blackfly S con i nuovi sensori polarizzati di Sony affrontano questo problema fornendo una memoria analogica all'interno di ogni pixel e una funzione di otturatore globale per consentire immagini di alta qualità senza distorsione del piano focale.

Lettura aggiuntiva:

La luce è un'onda elettromagnetica trasversale. Mentre si propaga, oscilla perpendicolarmente alla direzione di propagazione. La maggior parte delle fonti luminose emette luce non polarizzata, in cui le onde oscillano con angolazioni casuali. Quando la luce è allineata in modo che la maggior parte delle onde oscillino a un'angolazione comune, si dice che la luce è polarizzata. È anche possibile ottenere una polarizzazione circolare, ma ciò va oltre gli obiettivi di questa guida.

La luce non polarizzata oscilla ad angolazioni casuali rispetto alla luce polarizzata allineata a un angolo

Filtri polarizzanti

I filtri polarizzanti costituiscono la base della maggior parte delle tecnologie con luce polarizzata. Allineando una serie di fessure, i filtri polarizzanti fanno passare la luce che oscilla in modo perpendicolare alle fessure, bloccando quella che oscilla parallelamente a esse.

Il filtro polarizzante passa il fascio giallo parallelo all'asse polarizzatore (o perpendicolare all'angolo delle fessure) e blocca il fascio blu allineato perpendicolarmente all'asse di polarizzazione (o parallelo all'angolo delle fessure).

Spesso le applicazioni industriali utilizzano una coppia di filtri polarizzanti: uno crea una fonte di luce polarizzata mentre l'altro lascia passare soltanto la luce polarizzata allineata con uno specifico orientamento. Tipicamente questi sistemi richiedono filtri allineati con grande precisione e illuminazione altamente controllata. Sono sensibili esclusivamente alla luce polarizzata a una specifica angolazione.

Con la rotazione del filtro polarizzante, l'intensità della luce che il filtro lascia passare aumenta quando questa è allineata e diminuisce quando questa supera l'angolo di allineamento.

Quando un filtro polarizzante allineato all'angolo dell'onda blu viene ruotato, inizia a bloccare l'onda blu e a lasciar passare quella arancione.

Se viene rappresentato graficamente, il cambiamento di intensità relativo all'orientamento del polarizzatore è simile a una funzione sinusoidale. Il rapporto fra l'intensità maggiore e l'intensità minore viene detto coefficiente di estinzione.

Per via della natura trasversale della luce, gli angoli di polarizzazione non possono superare i 180°. Poiché le fessure sul filtro polarizzante sono tutte parallele, ruotando il filtro di 180° torneranno all'orientamento originario. Ciò spiega perché l'intensità raggiunge il picco e si riduce due volte con una rotazione di 360° del filtro.

In che modo la luce si polarizza?

La luce può essere polarizzata quando viene emessa direttamente da una fonte costante, passando attraverso un filtro polarizzante o riflettendosi da una superficie non metallica. L'angolo di polarizzazione della luce riflessa dall'acqua o da una superficie lucida è parallelo alla superficie.

L'angolo di polarizzazione può cambiare se la luce passa attraverso alcuni materiali otticamente attivi, come molecole biologiche o prodotti farmaceutici.

Parametri di Stokes

I quattro parametri di Stokes sono un buon modo di descrivere lo stato di polarizzazione di un raggio di luce. I parametri di Stokes costituiscono la base di numerosi calcoli e algoritmi di polarimetria. Gli utenti che desiderano adattare tecniche esistenti o creare la propria devono imparare a determinare i parametri di Stokes sul sensore IMX250MZR.

S0 è l'intensità del raggio di luce. Su IMX250MZR questo valore viene calcolato sommando le intensità dei pixel polarizzati in verticale e in orizzontale.

S1 è la differenza fra componenti orizzontali e verticali. I valori positivi vengono polarizzati linearmente in orizzontale, mentre quelli negativi vengono polarizzati linearmente in verticale.

S2 è la componente a 45°. I valori positivi sono polarizzati linearmente a 45°. I valori negativi sono polarizzati linearmente a -45° o (135° se lo si desidera).

S3 è la componente di polarizzazione circolare. Questi parametri non vengono misurati da IMX250MZR, ma spesso possono essere stimati in modo accurato. In ambienti all'aperto con illuminazione passiva si assume che S3 sia pari a 0 poiché la luce del sole non è polarizzata e solo il riflesso o la dispersione della luce solare conferiscono polarizzazione lineare.

In ambienti con illuminazione attivamente controllata è possibile eliminare qualsiasi finte di luce non polarizzata, rendendo possibile l'individuazione della componente circolare.

Spesso i parametri di Stokes S1, S2 ed S3 che non tengono conto dell'intensità della luce vengono rappresentati come set di coordinate sferiche su una sfera di Poincaré. Questa notazione è utile per comprendere il contributo relativo di ognuna delle componenti polarizzate di un raggio di luce rispetto alla sua polarizzazione complessiva.

Sfera di Poincaré. All'aperto è realistico assumere che la componente S3 sia pari a 0. L'intensità Ip è uguale a 1.

I parametri di Stokes possono essere utilizzati per il calcolo dei parametri polarimetrici e per aumentare sensibilmente lo spettro visibile delle immagini.

Grado di polarizzazione lineare

Il grado di polarizzazione lineare (Degree of Linear Polarization - DoLP) è il modo fondamentale per interpretare i dati di polarizzazione. Il grado di polarizzazione lineare è la porzione di luce polarizzata a un dato pixel. Una fonte di luce perfettamente polarizzata avrebbe un grado di polarizzazione lineare del 100% mentre per la luce non polarizzata tale valore è pari allo 0%.

Differenza tra DoLP del 100% e DoLP dello 0%

Angolo di polarizzazione lineare (AoLP)

L'angolo di polarizzazione lineare (Angle of Linear Polarization - AoLP) è l'angolo di polarizzazione medio della luce a un dato pixel. Se il grado di polarizzazione lineare ha un valore basso, solo una piccola quantità di luce sarà polarizzata. In questo caso, il valori dell'angolo di polarizzazione lineare risultanti mostreranno un chiaro rumore spaziale e temporale. Ciò è analogo a un segnale di bassa intensità amplificato con un guadagno elevato. Con l'aumento del grado di polarizzazione lineare, i valori dell'angolo di polarizzazione lineare mostreranno minori livelli di rumore.