Grant în cadrul Programului Național PNCDI III, P3- Proiect experimental demonstrativ

Număr Proiect: PN-III-P2-2.1-PED-2019-4995

Perioada de desfășurare: 03.08.2020 – 02.08.2022

Detecția și urmărirea traiectoriei persoanelor sunt capacități importante pentru prelucrarea automată în multiple aplicații bazate pe viziune computerizată. Cu toate acestea, aceste sarcini sunt destul de dificil de realizat autonom și, deși au fost obținute rezultate semnificative, ele reprezintă o provocare tehnologică chiar și la ora actuală. Urmărirea persoanelor, spre deosebire de sarcinile de recunoaștere sau interpretare, este dificilă atât din punct de vedere al predicției traiectoriei, cât și din punct de vedere al identificării și etichetării situațiilor corecte.

Obiectivul principal al proiectului PETRA este dezvoltarea unei platforme software care să permită dezvoltarea de aplicații care necesită detecția și urmărirea persoanelor în medii reale. Proiectarea și implementarea platformei și a setului de algoritmi asociați pentru detecția și urmărirea persoanelor vor fi ușor de utilizat și integrat în sarcinile efectuate de roboții sociali în spații închise și în sarcinile în spații deschise, cum ar fi cazul detecției și urmărirea pietonilor. Provocarea științifică și tehnologică a proiectului este să pornim de la realizările noastre curente privind detecția și urmărirea persoanelor în contextul interacțiunii om-robot și a conducerii autonome pentru a dezvolta și implementa soluții noi bazate pe abordări de învățare profundă. Una dintre provocările proiectului este să testăm pe larg implementările pe mai multe benchmark-uri dificile, dar și pe propriile noastre seturi de date, și să obținem rezultate mai bune decât stadiul actual în domeniu.

Unitatea Finantatoare la nivel National: UEFISCDI

Obiectivele Proiectului

  • Dezvoltarea un set de algoritmi bazați pe tehnici de învățare profundă pentru detecția persoanelor, cu performanțe mai bune decât rezultatele curente pe diferite benchmark-uri, inclusiv în cazuri de obstrucționarea parțială și condiții diferite de iluminare.
  • Dezvoltați un set de algoritmi bazați pe tehnici de învățare profundă pentru urmărirea persoanelor, bazate pe abordarea detect-and-track, care au performanțe mai bune decât rezultatele curente, inclusiv în cazuri de obstrucționarea parțială și condiții diferite de iluminare.
  • Dezvoltați unei arhitecturi de învățare profundă capabilă să învețe reprezentarea caracteristicilor, dar și măsurarea distanței pentru a obține urmărirea optimă a persoanelor.
  • Testarea și validarea soluției dezvoltate pe baza a două instanțe: detecția și urmărirea persoanelor de către un robot mobil echipat cu o cameră și detecția pietonilor care vizează îmbunătățirea condițiilor de siguranță pentru navigarea autonomă a autovehiculelor.

Plan de Realizare

Rezultate

Detecția și urmărirea persoanelor este o capacitate valoroasă pentru aplicațiile care utilizează vedere computerizată. Cu toate acestea, astfel de sarcini sunt dificil de realizat în mod autonom și, deși s-au obținut rezultate semnificative, acestea sunt încă o provocare tehnologică majoră. Urmărirea persoanelor, spre deosebire de alte sarcini de recunoaștere și interpretare, este dificilă atât din punctul de vedere al detecției și predicției traiectoriei unei peroane, cât și din cel al identificării instanțelor reale. Persoane parțial vizibile și obiecte care seamănă foarte mult între ele impun ambiguități intrinseci, care sunt o provocare în aplicații din lumea reală.

În cadrul proiectului PETRA am dezvoltat o nouă tehnologie de urmărire a persoanelor bazată pe algoritmi care utilizează rețele neurale adânci (deep learning networks) care cuplează urmărirea persoanelor cu predicția traiectoriei acestora. Am validat soluția propusă în cadrul a două tipuri de scenarii: scenarii de detecție și urmările a persoanelor de către un robot umanoid, potrivite pentru aplicații ce include roboți sociali, și scenarii de detecție și urmărire a pietonilor, pentru aplicații de conducere autonomă a vehiculelor. Soluția propusă este robustă, având capacitatea de trata și cazuri mai dificile cum ar fi multiple persoane în secvența video sau persoane care în timpul mișcării sunt parțial sau total acoperite de obstacole, pentru ca apoi să reapară în secvența video.

Algoritmii dezvoltați sunt eficienți, flexibili și pot fi cu ușurință integrați în aplicații ce implică roboți sociali, de exemplu asistarea persoanelor cu nevoi speciale sau a clienților din mall-uri sau expoziții, cât și în aplicații de conducere autonomă a vehiculelor pentru evitarea accidentelor.

Rapoarte Ştiințifice și Tehnice

Raport științific și tehnic Etapa I (2020)

Raport științific și tehnic Etapa II (2021)

Raport științific și tehnic Etapa III (2022)

Publicaţii Ştiinţifice

  • A. Dugăeșescu, A.M. Florea. Evaluation of Class Activation Methods for Understanding Image Classification Tasks. 24th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, Timișoara, 12-15 Septembrie 2022.
  • A.S. Ghiță, A.M. Florea. Real-Time People Re-Identification and Tracking for Autonomous Platforms Using a Trajectory Prediction-Based Approach, Sensors, Vol. 22, August 2022.
  • A.C. Mihai, D.T. Iancu. Optimizing a Convolutional Neural Network using Particle Swarm Optimization, 14th International Conference on Electronics, Computers and Artificial Intelligence, Pitești, 30 Iunie – 1 Iulie 2022.
  • D. Iancu, M. Nan, A.S. Ghita, A.M. Florea. Trajectory prediction using video generation in autonomous driving. Studies in Informatics and Control, Vol. 31, No. 1, p. 37-48, 2022.
  • S. Radu, A.M. Florea. A Perspective on People Detection and Tracking. 6th International Conference on Advances in Artificial Intelligence, Birmingham, Regatul Unit, 21-23 Octombrie 2022 (trimis).
  • D.T. Iancu, M. Nan, A.S. Ghita, A.M. Florea. Vehicle Depth Estimation for Autonomous Driving. University Politehnica of Bucharest Series C – Electrical Engineering and Computer Science, Vol. 83, No. 3, p. 3-20, 2021.
  • M. Nan, M. Trăscău, A.M. Florea, C. Iacob. Comparison between Recurrent Networks and Temporal Convolutional Networks Approaches for Skeleton-based Action Recognition, Sensors, Vol. 21, No. 6, Ianuarie 2021.
  • A.S. Ghita, A. Gavril, M. Nan, B. Hoteit, I.A. Awada, A. Sorici, I. Mocanu, A.M. Florea. The AMIRO Social Robotics Framework: Deployment and Evaluation on the Pepper Robot, Sensors, Vol. 20, No. 24, 18 Decembrie 2020.

Echipa

Adina Magda Florea

Irina Mocanu

Alexandru Sorici

Mihai Trăscău

David Iancu

Mihai Nan

PETRA (PN-III-P2-2.1-PED-2019-4995) | Toate drepturile sunt rezervate, 2020-2022.