Distribuire gli algoritmi di rilevamento e integrare i risultati
Distribuisci gli algoritmi di rilevamento delle persone, delle ubicazioni di stoccaggio e dei volumi, configura i parametri estrinseci e i parametri della fotocamera e recupera i risultati tramite TCP, UDP, HTTP o Modbus TCP.
Questa guida illustra la distribuzione, la calibrazione, la configurazione e l’integrazione dei risultati per gli algoritmi MRDVS di rilevamento delle persone, delle ubicazioni di stoccaggio e dei volumi. L’algoritmo viene eseguito sulla fotocamera; l’applicazione host dell’algoritmo viene usata per la configurazione, gli aggiornamenti e l’ispezione dei risultati.
Il firmware dell’algoritmo e l’applicazione host dell’algoritmo vengono forniti per ogni progetto. Prima di eseguire il flashing del firmware dell’algoritmo, verifica che la fotocamera esegua una versione del firmware MDS. Ottieni un pacchetto di installazione corrispondente al progetto e al modello della fotocamera.
Usa una staffa rigida per impedire movimenti o vibrazioni dopo l’installazione. Il rilevamento delle persone usa normalmente un’installazione orizzontale o un’installazione con un angolo non superiore a 30°.
Alimenta la fotocamera con un’alimentazione stabilizzata da 24 V CC. Usa un cavo Cat6A o Cat7 per collegare la fotocamera a uno switch gigabit o a un controller.
2
Distribuisci più fotocamere
Installa ogni fotocamera all’altezza e nella posizione specificate nel progetto CAD. Collega tutte le fotocamere tramite uno switch gigabit e verifica l’alimentazione e lo stato del collegamento di ciascuna.
3
Prepara i target di test
Posiziona le persone, i pallet o le merci da rilevare nel campo visivo della fotocamera prima di calibrare i parametri estrinseci e configurare le regioni.
Metti il computer host e la fotocamera sulla stessa sottorete. L’esempio originale usa il seguente schema:
Elemento
Esempio
Indirizzo IP dell’host
192.168.100.xxx
Maschera di sottorete
255.255.255.0
Gateway predefinito
192.168.100.1
1
Apri le impostazioni della scheda
In Windows, apri Pannello di controllo → Centro connessioni di rete e condivisione → Modifica impostazioni scheda, quindi seleziona la scheda Ethernet collegata alla fotocamera.
2
Configura IPv4
Apri Protocollo Internet versione 4 (TCP/IPv4), seleziona Usa il seguente indirizzo IP e inserisci un indirizzo statico non utilizzato nella sottorete della fotocamera.
3
Conferma la connessione
Salva le impostazioni, conferma il collegamento gigabit e usa l’applicazione host per individuare o aprire la fotocamera.
Non lasciare il firewall disabilitato su una rete di produzione. Se l’applicazione host non riesce a connettersi, crea prima una regola per l’applicazione o la porta necessaria. Disabilita temporaneamente il firewall solo su una rete di debug attendibile, quindi ripristina la protezione.
Ottieni l’applicazione host della fotocamera dalla pagina dei download del software.
Installa l’applicazione host della fotocamera al di fuori dell’unità di sistema.
Copia i file dell’applicazione host dell’algoritmo forniti per il progetto nella cartella Tools all’interno della directory dell’applicazione host della fotocamera. Sostituisci i file con lo stesso nome, quindi fai doppio clic sull’eseguibile per avviarlo.
Per aggiornare solo l’applicazione host dell’algoritmo, sostituisci il relativo file .exe con la versione fornita.
La fotocamera si riavvia durante il flashing. Non scollegare l’alimentazione o la rete e non chiudere l’applicazione host. Il pacchetto deve corrispondere al modello della fotocamera, alla versione del firmware MDS e all’algoritmo del progetto.
Applicazione host della fotocamera
Applicazione host dell'algoritmo
Avvia LxCameraViewer.exe e apri la fotocamera.
Seleziona Strumenti di base → Impostazioni funzione → Aggiornamento firmware.
Scegli il file dell’algoritmo di rilevamento fornito e seleziona Esegui.
Seleziona la fotocamera target nell’elenco dei dispositivi.
Seleziona Aggiorna firmware, scegli il file dell’algoritmo di rilevamento e aprilo.
Attendi che la fotocamera ricompaia nell’elenco dei dispositivi.
Quando la fotocamera ricompare dopo il riavvio, il flashing è completato. Uno sfondo verde della fotocamera nell’applicazione host dell’algoritmo indica che la fotocamera è connessa e che l’algoritmo è disponibile.
Avvia LxApplicationViewer.exe. Un’icona verde nell’elenco dei dispositivi indica una fotocamera connessa. Seleziona un dispositivo per alternare la vista corrente tra la modalità RGB e quella della nuvola di punti. Gli utenti standard possono visualizzare i risultati; gli amministratori possono modificare i parametri della fotocamera e dell’algoritmo.
Arresta l’algoritmo corrente. Non si riavvia automaticamente finché la fotocamera non viene riaccesa.
Aggiorna firmware
Apre il flusso di lavoro per l’aggiornamento del firmware dell’algoritmo.
Riavvia fotocamera
Riavvia la fotocamera selezionata.
Quando cambia lo stato, il software salva un fotogramma RGB e i dati della nuvola di punti. I dati di riproduzione non sono condivisi tra gli algoritmi. L’ora della riproduzione usa l’orologio interno della fotocamera, non l’ora di sistema del computer host.Se lo sfondo del dispositivo è giallo, oppure è verde ma l’immagine non si aggiorna, abilita l’aggiornamento automatico per riprendere l’acquisizione delle immagini.
Identifica una fotocamera in una distribuzione con più fotocamere.
Modalità simulazione
Funzione interna; lascia disabilitata.
Modalità salvataggio immagini
Salva i dati delle immagini dell’algoritmo sulla fotocamera.
Modalità acquisizione immagini
MDS non occupa l’accesso alla fotocamera. SDK lo occupa; l’applicazione host non può aprire la fotocamera mentre l’algoritmo è in esecuzione.
x, y, z
Posizione estrinseca della fotocamera; z è l’altezza della fotocamera dal terreno.
roll, pitch, yaw
Angoli di orientamento estrinseco della fotocamera.
Piano ideale
Mantieni il valore predefinito.
Leggi configurazione dalla fotocamera
Legge la configurazione corrente della fotocamera.
Salva e invia
Scrive le modifiche sulla fotocamera. I parametri non salvati non hanno effetto.
Calibrazione estrinseca
Calibra l’altezza e l’orientamento della fotocamera.
Installazione verticale
Installazione orizzontale
Apri Configurazione della fotocamera. Prima della calibrazione, imposta x, y, z, roll, pitch e yaw su 0, quindi seleziona Salva e invia.
Seleziona Calibrazione estrinseca. Al termine della calibrazione, verifica il risultato nel pannello dei parametri.
Apri Configurazione della fotocamera e accedi alla pagina di calibrazione dei parametri.
Allinea il terreno della nuvola di punti al sistema di coordinate: gli assi X rosso e Y verde giacciono sul terreno, mentre l’asse Z blu è perpendicolare al terreno e punta verso l’alto.
Di solito regola prima solo roll e z; imposta gli altri valori su 0. Dopo la verifica, seleziona Salva e invia.
Seleziona Salva e invia dopo aver modificato qualsiasi parametro dell’algoritmo. Mantieni i parametri del filtro sui valori predefiniti, a meno che un test sul posto non dimostri che è necessario modificarli.
Rilevamento persone
Rilevamento ubicazioni di stoccaggio
Rilevamento volumi
Parametro
Descrizione
Versione algoritmo
Versione corrente dell’algoritmo.
Frequenza di rilevamento
Frequenza di aggiornamento delle immagini e dei risultati.
Filtro temporale
Con 3, sono necessari tre risultati identici consecutivi prima che un risultato venga considerato valido.
Dimensione kernel
Dimensione del kernel per le operazioni morfologiche 2D. Valori più grandi riducono i target ed espandono lo sfondo.
Soglia di distanza
Determina se i punti sono simili o appartengono alla stessa classe.
Numero minimo di punti
Numero minimo di punti della nuvola richiesto per il clustering semantico.
Numero minimo di punti non semantici
Numero minimo di punti della nuvola richiesto per il clustering non semantico.
Dimensione del vicinato
Definisce l’intervallo del vicinato dei punti e influisce sulla granularità del clustering.
Rilevamento della rotazione
Corrisponde alla direzione di installazione della fotocamera; usa l’orientamento con il logo rivolto verso il basso come riferimento 0°.
Parametro della regione
Descrizione
Aggiungi / elimina regione
Crea o elimina una regione di rilevamento delle persone.
Riquadro corrente
Seleziona la regione di rilevamento attiva.
X, Y, Z minimo / massimo
Definisce i limiti 3D della regione.
ID
Nome della regione usato per distinguere più regioni.
Trascina per regolare la regione
Trascina con il pulsante sinistro del mouse lungo x e y; trascina con il pulsante destro lungo z.
Parametro
Descrizione
Versione algoritmo
Versione corrente dell’algoritmo.
Filtro AI
Segmentazione semantica; attualmente non disponibile.
Frequenza di rilevamento
Frequenza di aggiornamento dei risultati.
Angolo di allineamento
Offset angolare massimo consentito del carico quando è abilitato il controllo dell’allineamento.
Controllo dell’allineamento
Controlla l’offset angolare e lo stato dei limiti. Gli oggetti rilevati vengono mostrati con riquadri del volume gialli.
Filtro temporale
Emette uno stato valido solo dopo diversi risultati consecutivi coerenti.
Numero minimo di punti
Gli oggetti con meno punti di questo valore vengono ignorati.
Modalità regione
Configurazione
RGB 2D
Usa i pixel X e Y minimo e massimo per definire l’ubicazione di stoccaggio. Sono necessarie la modalità semantica e un modello semantico.
Nuvola di punti 3D
Usa X, Y e Z minimo e massimo per definire l’ubicazione. Trascina con il pulsante sinistro del mouse lungo x e y, oppure con il pulsante destro lungo z.
Funzione avanzata
Descrizione
Copia riquadro corrente
Copia la regione di stoccaggio attiva.
Direzione, spaziatura, conteggio
Definisce copie equidistanti lungo l’asse X, Y o Z.
Esegui
Genera più regioni dalla configurazione.
Calibrazione codice QR
Inserisci la larghezza e la lunghezza dell’ubicazione, Z_MIN e Z_MAX, quindi calibra con un codice QR.
Parametro
Descrizione
Versione algoritmo
Versione corrente dell’algoritmo.
Modalità trigger
Se abilitata, acquisisce un’immagine e un risultato per ogni trigger.
Rilevamento verso l’alto
Rileva usando il sistema di coordinate inverso della fotocamera.
Frequenza di rilevamento
Frequenza di aggiornamento delle immagini e dei risultati.
Distanza del piano di rilevamento
Posizione di riferimento della superficie inferiore dell’oggetto, in mm.
Conteggio vicinato / soglia di distanza
Parametri del filtro; nella maggior parte delle distribuzioni mantieni i valori predefiniti.
Soglia del filtro del vettore normale
Filtra i piani inclinati della nuvola di punti. La raccomandazione originale è 60.
Soglia di distanza del vettore normale
Parametro del filtro. L’intervallo consigliato originale è 20–30.
Numero minimo di punti
Gli oggetti con meno punti di questo valore vengono ignorati.
X, Y, Z minimo
Soglie minime di lunghezza, larghezza e altezza, in mm.
Parametro della regione
Descrizione
X, Y, Z minimo / massimo
Definisce i limiti 3D della regione di rilevamento dei volumi.
Allinea gli assi X e Y alla nuvola di punti del terreno. L’asse Z deve essere perpendicolare al terreno e puntare verso l’alto.
2
Imposta i parametri globali
Apri Rilevamento persone. Di solito è necessario impostare solo Rilevamento della rotazione. La rotazione oraria della fotocamera supporta 0°, 90°, 180° e 270°.
3
Crea la regione di rilevamento
Seleziona Aggiungi regione di rilevamento, imposta X, Y e Z minimo e massimo e sposta la regione sul target. L’esempio originale usa una regione di 1000 × 1000 × 2000 mm.
4
Salva e verifica
Seleziona Salva e invia, esegui un test facendo attraversare la regione a una persona e verifica il risultato nella barra di stato o nella riproduzione dello storico.
Regola di corrispondenza
Nessuna persona
Persona
Ostacolo
Persona e ostacolo
Solo profondità
0
2
2
2
Semantica più profondità
0
1
0
1
La modalità solo profondità segnala ogni oggetto nella regione. La modalità semantica più profondità segnala solo i cluster classificati come persone.
Segui la procedura di calibrazione estrinseca. Allinea X e Y al terreno e mantieni Z perpendicolare e rivolto verso l’alto.
2
Configura i parametri globali
Imposta Controllo dell’allineamento, Angolo di allineamento e Numero minimo di punti per il sito. Abilita il controllo dell’allineamento quando il carico deve essere posizionato con un angolo definito.
3
Crea le ubicazioni di stoccaggio
In modalità nuvola di punti, seleziona Aggiungi ubicazione di stoccaggio, passa alla vista dall’alto e premi X per avviare o interrompere il disegno. Trascina il rettangolo sul pallet e regola i limiti X, Y e Z. Premi di nuovo X per uscire dalla modalità di disegno.
4
Salva e verifica
Seleziona Salva e invia. Configura le ubicazioni in modalità RGB 2D o nuvola di punti 3D e controlla Result nella barra di stato.
Stato dell’ubicazione di stoccaggio
Result
Vuota
0
Occupata, oppure occupata e allineata
1
Occupata con un angolo oltre la soglia di allineamento
2
Occupata e al di fuori dei limiti dell’ubicazione
3
Per una disposizione regolare, usa Copia riquadro corrente per creare ubicazioni con una direzione e una spaziatura fisse. Se è necessaria la verifica tramite codice QR, usa Calibrazione codice QR per configurare le dimensioni dell’ubicazione e l’intervallo di profondità.
Il rilevamento dei volumi procede dall’alto verso il basso. Dopo la calibrazione, l’asse Z punta verso il basso e il piano X/Y è parallelo al terreno.
2
Imposta il piano di rilevamento
Per le merci posizionate direttamente sul pavimento, imposta il piano di rilevamento all’altezza del pavimento. Per misurare solo le merci su un pallet, allinea il piano alla nuvola di punti del pallet.
3
Imposta le dimensioni minime e la regione
Imposta i valori minimi X, Y e Z per filtrare i target piccoli. Quindi imposta i limiti della regione in base al piano di rilevamento e alle dimensioni del carico.
4
Salva e verifica
Seleziona Salva e invia, posiziona uno o più oggetti nella regione e verifica la lunghezza, la larghezza, l’altezza e il conteggio restituiti.
Per usare l’acquisizione con trigger singolo, abilita Modalità trigger in Rilevamento volumi e seleziona Salva e invia. Quindi seleziona Trigger singolo in Strumenti di base oppure invia TM_TRIGGER tramite TCP o UDP.
L’indirizzo IP negli esempi è puramente illustrativo. Sostituiscilo con l’indirizzo della fotocamera sul sito, quindi verifica la rete, lo stato dell’algoritmo e il formato dei risultati prima di eseguire l’integrazione con un sistema di livello superiore.
Il sistema di livello superiore invia una richiesta di risultato all’endpoint di visione, che restituisce una stringa JSON. Usa nell’applicazione client HTTP le intestazioni della richiesta fornite per il progetto e il seguente corpo della richiesta.
Oggetto di stato indicizzato per ID della regione di rilevamento: 0 indica nessun target, 1 indica che è stata rilevata una persona e 2 indica che un oggetto è stato rilevato solo dalla regola di profondità.
I dettagli del cluster includono rbx2d, rby2d, tlx2d e tly2d (coordinate del riquadro 2D), semantic_index, traceID e x_min, x_max, y_min, y_max, z_min e z_max (limiti del riquadro 3D).
Dettagli dell’ubicazione X: centro x, y e z, lunghezza, larghezza, altezza e offset angolare rispetto al riquadro di delimitazione. Un’ubicazione creata in 2D restituisce tutti valori -1.
Verifica che host e fotocamera condividano una sottorete, che la scheda di rete sia gigabit e che l’alimentazione e i collegamenti allo switch siano funzionanti.
I parametri non hanno effetto
Verifica che dopo la modifica sia stato selezionato Salva e invia.
Nessun risultato dell’algoritmo
Verifica che sia stato eseguito il flashing del firmware dell’algoritmo corretto, che il dispositivo sia verde e che l’algoritmo sia abilitato.
Nuvola di punti vuota o non aggiornata
Scorri sull’area della nuvola di punti per visualizzare i dati; se necessario, abilita l’aggiornamento automatico.
Risultati anomali delle ubicazioni o dei volumi
Ricontrolla le direzioni degli assi estrinseci, il piano di rilevamento e i limiti delle regioni, quindi ripeti il test con oggetti del sito.