Grant within the National Program PNCDI III, P3- Demonstration experimental project

Project Number: PN-III-P2-2.1-PED-2019-4995

Deployment Period: 03.08.2020 – 02.08.2022

Detecting, tracking, and recognizing people is a valuable capability for machines. However, these tasks are quite difficult to be achieved autonomously and, although significant results have been obtained, they are still a major technological challenge. People tracking, unlike other recognition and interpretation tasks, is difficult both from the point of view of the recognition and prediction of trajectory, and from the one of the identifications of the ground truth.

The main objective of the PETRA project is the development of a software platform enabling the development of applications requiring people detection and tracking in real environments. The design and implementation of the platform and the set of supported algorithms for people detection and tracking will be such that they can be easily used and integrated in tasks performed by social robots in closed spaces and in tasks in open spaces, such as the case for pedestrian detection and tracking. The scientific and technological challenge of the project is to start from our current developments on people detection and tracking in the contexts of user-robot interaction and autonomous driving to develop and implement novel solutions based on deep learning approaches. One of the project challenges is to extensively test the implementations towards several difficult benchmarks, but also on our own data sets, and strive to achieve results better than current state-of-the-art.

National Financing Unit: UEFISCDI

Project Objectives

  • Dezvoltarea un set de algoritmi bazați pe tehnici de învățare profundă pentru detecția persoanelor, cu performanțe mai bune decât rezultatele curente pe diferite benchmark-uri, inclusiv în cazuri de obstrucționarea parțială și condiții diferite de iluminare.
  • Dezvoltați un set de algoritmi bazați pe tehnici de învățare profundă pentru urmărirea persoanelor, bazate pe abordarea detect-and-track, care au performanțe mai bune decât rezultatele curente, inclusiv în cazuri de obstrucționarea parțială și condiții diferite de iluminare.
  • Dezvoltați unei arhitecturi de învățare profundă capabilă să învețe reprezentarea caracteristicilor, dar și măsurarea distanței pentru a obține urmărirea optimă a persoanelor.
  • Testarea și validarea soluției dezvoltate pe baza a două instanțe: detecția și urmărirea persoanelor de către un robot mobil echipat cu o cameră și detecția pietonilor care vizează îmbunătățirea condițiilor de siguranță pentru navigarea autonomă a autovehiculelor.

Implementation Plan

Results

Detecția și urmărirea persoanelor este o capacitate valoroasă pentru aplicațiile care utilizează vedere computerizată. Cu toate acestea, astfel de sarcini sunt dificil de realizat în mod autonom și, deși s-au obținut rezultate semnificative, acestea sunt încă o provocare tehnologică majoră. Urmărirea persoanelor, spre deosebire de alte sarcini de recunoaștere și interpretare, este dificilă atât din punctul de vedere al detecției și predicției traiectoriei unei peroane, cât și din cel al identificării instanțelor reale. Persoane parțial vizibile și obiecte care seamănă foarte mult între ele impun ambiguități intrinseci, care sunt o provocare în aplicații din lumea reală.

În cadrul proiectului PETRA am dezvoltat o nouă tehnologie de urmărire a persoanelor bazată pe algoritmi care utilizează rețele neurale adânci (deep learning networks) care cuplează urmărirea persoanelor cu predicția traiectoriei acestora. Am validat soluția propusă în cadrul a două tipuri de scenarii: scenarii de detecție și urmările a persoanelor de către un robot umanoid, potrivite pentru aplicații ce include roboți sociali, și scenarii de detecție și urmărire a pietonilor, pentru aplicații de conducere autonomă a vehiculelor. Soluția propusă este robustă, având capacitatea de trata și cazuri mai dificile cum ar fi multiple persoane în secvența video sau persoane care în timpul mișcării sunt parțial sau total acoperite de obstacole, pentru ca apoi să reapară în secvența video.

Algoritmii dezvoltați sunt eficienți, flexibili și pot fi cu ușurință integrați în aplicații ce implică roboți sociali, de exemplu asistarea persoanelor cu nevoi speciale sau a clienților din mall-uri sau expoziții, cât și în aplicații de conducere autonomă a vehiculelor pentru evitarea accidentelor.

Scientific and Technical Reports

Scientific and Technical Report Stage I (2020)

Scientific and Technical Report Stage II (2021)

Scientific and Technical Report Stage III (2022)

Scientific Publications

  • A. Dugăeșescu, A.M. Florea. Evaluation of Class Activation Methods for Understanding Image Classification Tasks. 24th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, Timișoara, 12-15 September 2022.
  • A.S. Ghiță, A.M. Florea. Real-Time People Re-Identification and Tracking for Autonomous Platforms Using a Trajectory Prediction-Based Approach, Sensors, Vol. 22, August 2022.
  • A.C. Mihai, D.T. Iancu. Optimizing a Convolutional Neural Network using Particle Swarm Optimization, 14th International Conference on Electronics, Computers and Artificial Intelligence, Pitești, 30 June – 1 July 2022.
  • D. Iancu, M. Nan, A.S. Ghita, A.M. Florea. Trajectory prediction using video generation in autonomous driving. Studies in Informatics and Control, Vol. 31, No. 1, p. 37-48, 2022.
  • S. Radu, A.M. Florea. A Perspective on People Detection and Tracking. 6th International Conference on Advances in Artificial Intelligence, Birmingham, UK, 21-23 October 2022 (submitted).
  • D.T. Iancu, M. Nan, A.S. Ghita, A.M. Florea. Vehicle Depth Estimation for Autonomous Driving. University Politehnica of Bucharest Series C – Electrical Engineering and Computer Science, Vol. 83, No. 3, p. 3-20, 2021.
  • M. Nan, M. Trăscău, A.M. Florea, C. Iacob. Comparison between Recurrent Networks and Temporal Convolutional Networks Approaches for Skeleton-based Action Recognition, Sensors, Vol. 21, No. 6, January 2021.
  • A.S. Ghita, A. Gavril, M. Nan, B. Hoteit, I.A. Awada, A. Sorici, I. Mocanu, A.M. Florea. The AMIRO Social Robotics Framework: Deployment and Evaluation on the Pepper Robot, Sensors, Vol. 20, No. 24, 18 December 2020.

Team

Adina Magda Florea

Irina Mocanu

Alexandru Sorici

Mihai Trăscău

David Iancu

Mihai Nan

PETRA (PN-III-P2-2.1-PED-2019-4995) | All rights are reserved, 2020-2022.