Inferenza al margine con Firefly®FLIR

Introduzione

L'apprendimento approfondito è una nuova tecnologia che sta rivoluzionando le applicazioni esistenti, stimolando lo sviluppo di nuovi settori. La disponibilità di strumenti Google, Amazon, Intel e Nvidia per la creazione e l'addestramento di reti neurali rende questa tecnologia sempre più accessibile e consente a nuove parti di inserirsi nei mercati con prodotti competitivi.

The potential of deep learning is widely acknowledged. You may be working on leveraging deep learning for your application right now.  At FLIR, we’ve also thought of ways to enable machine vision developers to take advantage of this technology. The result is our upcoming FLIR Firefly® camera, which provides an easy path to deploying trained networks in the field. The FLIR Firefly® marries machine vision with deep learning inference by integrating a high-quality Sony Pregius image sensor and Intel Movidius Myriad 2 Vision Processing Unit (VPU) with GenICam compliance.

Che cos'è la VPU?

L'unità di elaborazione della visione (VPU) Movidius Myriad 2 Intel è un nuovo tipo di processore che costituisce il cuore della telecamera Firefly® FLIR. Una VPU combina filtri hardware di elaborazione dell'immagine ad alta velocità, core CPU per utilizzo generale e core vettoriali in parallelo. I core vettoriali usati per accelerare l'inferenza on-camera sono maggiormente ottimizzati per i salti logici delle reti neurali rispetto ai core per utilizzo generale delle GPU. Questo maggior livello di ottimizzazione consente alla VPU di raggiungere un livello di prestazioni elevato con bassi consumi.

Che cos'è l'inferenza?

L'inferenza è l'applicazione dell'apprendimento approfondito su dati reali, non etichettati e appena catturati. L'inferenza è l'utilizzo di una rete neurale addestrata all'apprendimento approfondito per effettuare previsioni sui nuovi dati.

Fig. 1. L'inferenza è l'applicazione del modello addestrato con i dati etichettati (A) a nuovi dati non etichettati (B).

Anche se si possono utilizzare numerosi tipi di reti per effettuare inferenze, le reti MobileNet sono particolarmente adatte a effettuare classificazioni di immagini. In origine, MobileNet è stata progettata da Google per effettuare classificazioni e segmentazioni di immagini altamente accurate su dispositivi mobili. Questa rete fornisce un grado di accuratezza simile a reti molto più costose dal punto di vista computazionale, che necessitano di GPU grandi e a consumo elevato.

Che differenze ci sono fra una telecamera a inferenza e una “telecamera smart”?

Le telecamere smart tradizionali combinano un sistema di visione e un computer a scheda singola che esegue software di elaborazione delle immagini basato su regole. Le telecamere smart costituiscono un'ottima soluzione per problemi semplici come la lettura di codici a barre o rispondere a domande come: “Su questa parte il foro si trova nel punto in cui dovrebbe essere?” Le telecamere a inferenza sono in grado di fornire risposte a domande più complesse o più soggettive, come: “Si tratta di una mela con qualità adatte per l'esportazione?” Se vengono addestrate con immagini ben conosciute, le telecamere a inferenza sono in grado di identificare facilmente difetti non previsti che un sistema di ispezione basato su regole non sarebbe in grado di riconoscere; pertanto, hanno una tolleranza assai maggiore alla variabilità.

Le telecamere a inferenza possono essere usate per estendere applicazioni esistenti con metadati ricchi e descrittivi. Utilizzando dati in blocco GenICam, la telecamera Firefly® FLIR usare l'inferenza per etichettare immagini che vengono poi passate a un host che svolga la tradizionale elaborazione delle immagini basata su regole. In questo modo gli utenti possono espandere rapidamente le capacità di sistemi di visione esistenti. Inoltre, questa architettura di sistema ibrida può essere usata per attivare un sistema di visione tradizionale.

L'utilizzo della telecamera Firefly® FLIR comporta un notevole risparmio di spazio, poiché l'hardware di elaborazione delle telecamere smart tradizionali ha una minor efficienza energetica ed è molto più grande della VPU della Firefly. Misurando appena 27 mm x 27 mm, la telecamera Firefly FLIR può essere integrata in spazi ridotti.

Firefly® FLIR è una piattaforma aperta. Ciò fornisce agli utenti la flessibilità per sfruttare il ritmo rapido delle reti ad apprendimento approfondito e i programmi ad esse associati per l'addestramento e l'ottimizzazione. Al contrario, le telecamere smart sono programmate utilizzando strumenti proprietari che possono non essere dotati degli avanzamenti più recenti.

Quali sono i vantaggi delle telecamere a inferenza?

Consentire l'inferenza al margine del sistema di visione apporta miglioramenti in termini di velocità, affidabilità, efficienza energetica e sicurezza del sistema.

• Velocità: L'inferenza al margine, come altre tipologie di edge computing, sposta l'elaborazione delle immagini dal server centrale, vicino alla fonte dei dati. Anziché trasmettere immagini intere a un server remoto, è necessario inviare esclusivamente i dati descrittivi. Ciò riduce ampiamente la quantità di dati trasmessi dal sistema, minimizzando l'ampiezza di banda della rete e i tempi di attesa.
• Affidabilità: In alcune applicazioni, la telecamera Firefly® FLIR può eliminare la dipendenza da server e infrastruttura di rete, aumentandone l'affidabilità. Grazie alla VPU incorporata, la Firefly opera come un sensore autonomo. È in grado di catturare immagini e prendere decisioni basate su di esse, poi attiva azioni utilizzando segnali GPIO .
• Efficienza energetica:Attivare il sistema di visione solo quando è necessario significa poter trascorrere più tempo sull'analisi e l'elaborazione delle immagini basata su regole. L'inferenza basata sull'apprendimento approfondito può essere usata per attivare analisi delle immagini ad alta potenza quando vengono soddisfatte specifiche condizioni. La VPU Myriad 2 VPU fornisce ulteriori risparmi energetici supportando reti a cascata. Ciò consente molteplici livelli di analisi, in cui le reti più complesse ad alta potenza vengono attivate solo se soddisfano le condizioni della rete precedente.
• Sicurezza:La piccola quantità di dati trasmessi può essere cifrata facilmente, migliorando la sicurezza del sistema.

Come cominciare?

La Firefly FLIR fornisce un percorso semplice per portare l'apprendimento approfondito dalle R&D alle applicazioni. È pronta a fungere da sensore autonomo, catturando immagini e prendendo decisioni basate su di essere che attivano azioni GPIO. La telecamera Firefly FLIR sarà disponibile nel 2019, ma potete iniziare subito a utilizzare l'inferenza al margine. La VPU Myriad 2 Intel, che costituisce il cuore della Firefly FLIR prossimamente in arrivo, è disponibile nel Neural Compute Stick Intel.

È possibile realizzare un sistema di visione completo con inferenza al margine con meno di 1000 dollari utilizzando il Neural Compute Stick Intel. Insieme al kit di strumenti OpenVINO Intel, gli sviluppatori di sistemi di visione possono ottimizzare e convalidare facilmente le prestazioni delle reti neurali sulla stessa VPU che alimenta l'inferenza on-camera nella Firefly® FLIR. Ciò consente agli utenti di valutare in modo accurato le prestazioni dell'inferenza alimentata da Myriad 2 in parallelo agli algoritmi tradizionali usando le stesse telecamere.

Fig. 2. Passaggio da addestramento GPU a sviluppo Neural Compute Stick a implementazione Firefly® FLIR

Conclusioni

L'inferenza basata sull'apprendimento approfondito cambierà radicalmente il modo in cui i sistemi di visione vengono progettati e programmati. Consentirà di prendere decisioni complesse e soggettive in modo più rapido e accurato rispetto a quanto sarebbe possibile utilizzando i tradizionali approcci basati su regole. La telecamera Firefly FLIR coniuga sistema di visione e apprendimento approfondito combinando un sensore Pregius Sony, l'interfaccia GenICam e una VPU Movidius Myriad 2 Intel. Questo nuovo tipo di telecamera a inferenza fornisce il percorso ideale per l'implementazione dell'inferenza basata sull'apprendimento approfondito nelle applicazioni per sistemi di visione. Potete iniziare oggi stesso lo sviluppo per la Firefly® FLIR con il Neural Compute Stick Intel.