Multitarget tracking and classification for sensing of things

La conoscenza del contesto e della situazione in cui operare è un fattore cruciale per abilitare nuovi casi d’uso nelle reti wireless di prossima generazione (xG), inclusi quelli riguardanti sicurezza pubblica, veicoli autonomi, e ambienti intelligenti. Tracciamento e classificazione di obiettivi multipli (e.g., umani, robot, e veicoli) attraverso tecnologie basate su wireless sensing sono essenziali per estrarre conoscenza non solo da dispositivi connessi alla rete, ma anche da ciò che non sta comunicando informazioni. Infatti, l’ente 3GPP sta considerando, nel processo di standardizzazione di reti xG, casi d’uso che coinvolgono sia quegli obiettivi che non possono essere connessi alla rete (i.e., device- free), che quelli che non hanno interesse nel farsi rilevare (i.e., non-collaborative). Raggiungere elevata affidabilità e accuratezza nel tracciamento e nella classificazione (e.g., identificazione e riconoscimento di attività) di obiettivi non connessi attraverso tecnologie di wireless sensing richiede lo sviluppo di nuovi approcci probabilistici e basati su intelligenza artificiale. Questa tesi mira a sviluppare nuove metodologie accurate e affidabili per estrarre congiuntamente informazioni sia di posizione che di classificazione da obiettivi non connessi, anche se inseriti in ambienti wireless complessi. In particolare, è stato proposto un approccio per stimare posizione e classe in modo integrato sfruttando approcci bayesiani e reti neurali per la classificazione di variazioni Doppler. Tale approccio è stato esteso con l’introduzione di un nuovo paradigma che prende il nome di joint tracking and classification (JTC). Introducendo la variabile di classificazione all’interno della ricorsione bayesiana, tipicamente utilizzata per il solo tracciamento, è possibile stimare congiuntamente posizione e classe di diversi obiettivi. Ulteriormente, viene proposta una derivazione per la stima congiunta attraverso JTC che abilita una forma chiusa di calcolo, la quale risulta necessaria per lo sviluppo di sistemi in grado di operare in tempo reale. Infine, stata sviluppata un’architettura basata su microservizi, che consente di considerare fonti dati eterogenee e di distribuire il carico computazionale tra diversi servizi, sia locali che remoti. In tale architettura sono stati introdotti anche algoritmi di localizzazione e classificazione basati su immagini acquisite da telecamere, al fine di sfruttare sorgenti di dati eterogenee. L’accuratezza dei metodi proposti è stata quantificata attraverso sperimentazione in ambienti wireless complessi, tra cui quelli industriali. I risultati sperimentali dimostrano che gli approcci proposti garantiscono un errore di localizzazione di pochi centimetri e di superare il 90% di accuratezza nella classificazione operando con latenze inferiori a 100 ms.

Situation awareness is crucial for enabling innovative use cases in next generation (xG) wireless networks, including public safety, autonomy, smart environments. Tracking and classification of humans, vehicles, and robots via wireless sensing guarantees in- formation superiority by considering both connected and unconnected targets. Indeed, the 3GPP is considering use cases regarding unconnected (i.e., non-collaborative or device-free) targets – namely those either without interest in being identified or that are not possible nor convenient to connect to the network – in the standardization process of xG networks. In particular, innovative use cases for xG networks demand availability of several context information, which can be obtained by performing, simultaneously, tracking and classification (e.g., targets identification, activity recognition, and behavioral analysis) of non-collaborative targets via multimodal sensing. The goal of this thesis is to develop novel approaches for multimodal tracking and classification of non-collaborative targets. The first contribution of this thesis is the development of an approach for accurate wireless sensing from samples of reflected radar signals. In particular, target positional information are employed to extract Doppler features of reflected signals used for recognizing target identity and activity. Since localization is essential for classification, both target identification and activity recognition also benefit positional inference. Then, an approach to estimate jointly position and class of multiple targets has been developed. Furthermore, a closed-form posterior distribution is derived to enable an amenable computation of the aforementioned estimate. Finally, localization and classification based on camera frames has been introduced to enhance sensing reliability and accuracy. The developed approaches have been exploited in a microservice-based architecture, which allows considering multiple and heterogeneous data sources and distribute the computation over different services either local or remote. The accuracy of the proposed approaches has been quantified via experimentation and field-trials in different indoor and outdoor environments considering a variety of people and mobile robots. An entire sensing system employing off-the-shelf radar and camera devices has been developed for operating in real-time (i.e., latency in the order of 100ms) with high-accuracy (i.e., tracking precision in the order of decimeters and classification accuracy above 90 %) across different scenarios and environmental conditions.