Subsidiary project: 1268/22.01.2018
Improving the understanding of the scene by recognizing some Human Activities by the Assistive Robots
Deployment period: 22.01.2018 – 31.12.2020
Project Scope
The scope of the project is to monitor daily activities and to recognize possible critical and dangerous situations (falls of the elderly).
Project Objectives
- Development of algorithms for recognizing human positions.
- Development of algorithms for recognizing objects in the environment.
- Development of a method for the recognition of daily activities based on the merging of data related to human posture and surrounding objects.
- Integration of components developed on a commercial robot.
- Commercial use of the robotic platform by CITST.
Results
- Recognition of human activities by analysis of the human skeleton:
- Purchasing a new data set using the Pepper robot,
- Posture estimation using the OpenPose architecture,
- Classification of activities using a convolutional neural network,
- Network training on the NTU RGB+D data set, fine tuning on the drive set from the data set collected by Pepper and testing on the new data set.
- Recognition of human activities using the fusion of time, channel and context:
- The training was performed using Google Auto ML,
- Creation of a new dataset:PRECIS HAR.
Scientific Publications
- I. Mocanu, D. Axinte, O. Cramariuc, B. Cramariuc, Human Activity Recognition with Convolution Neural Network Using TIAGo Robot. In: Proceedings of the 41st International Conference on Telecommunications and Signal Processing (TSP), Athens, Greece, DOI: 10.1109/TSP.2018.8441486, 2018, (ISI Proceedings).
Activities (in Romanian)
| Nr. crt. | Activități | Rezultat(e) | Interval desfășurare activitate |
| Activități de cercetare industrială | |||
| 1 | Activitatea 1.1 Definirea specificațiilor funcționale și arhitecturale ale platformei robotice si ale mediului de testare. | Raport specificații funcționale și arhitecturale | feb 2018-iun2018 |
| 2 | Activitatea 1.2 Proiectarea algoritmilor SLAM, 3D-mapping, manipulare și algoritmilor de planificare a mișcărilor robotului, și implementare. | Algoritmi implementați funcționali Raport de proiectare și implementare | feb 2018-iunie 2019 |
| 3 | Activitatea 1.3 Proiectarea algoritmilor pentru detecția persoanelor și a obiectelor, și implementare. Studii privind interactiunea om-robot. Diseminarea rezultatelor. | Algoritmi implementați funcționali. Raport de proiectare și implementare. Raport privind studiul interactiunii om-robot. 1 lucrare științifică | feb 2018- iunie 2019 |
| Nr. crt. | Activități | Rezultat(e) | Interval desfășurare activitate |
|
Activități de cercetare industrială |
|||
| 1 | Activitatea 2.1 Implementarea platformei robotice si a mediului de testare. | Platforma robotică versiune inițială. Raport de proiectare și implementare | ian 2019-dec 2019– UPB
ian 2019-dec 2020 – CITST |
| 2 | Activitatea 2.2 Integrarea algoritmilor de detecție a persoanelor si obiectelor, manipulare, algoritmi de SLAM, cu datele provenite de la senzori. Testari in laborator. Diseminarea rezultatelor. | Demonstrator algoritmi funcționali cu performanțe crescute. 2 lucrări științifice | ian 2019-dec 2019 |
| Nr. crt. | Activități | Rezultat(e) | Interval desfășurare activitate |
|
Activități de dezvoltare experimentală |
|||
| 1 | Activitatea 3.1 Implementarea soluției de robot social (interacțiune socială) folosind un hardware comercial | Soluție robot pentru interacțiune socială | ian 2020-dec 2020 |
| 2 | Activitatea 3.2 – Validarea cu teste reale a acceptanței soluțiilor propuse. Diseminarea rezultatelor si exploatarea rezultatelor | Raport de experimentare și validare. 2 lucrări științifice.
1 Cerere de brevet |
ian 2020-dec 2020 |
Implementation Team
University Politehnica of Bucharest:
- Andrei Olaru – project coordinator (cs@andreiolaru.ro),
- Irina Mocanu,
- Imad-Alex Awada,
- Alexandra Stefania Ghita.
ActivRobo (1268/22.01.2018) | All rights are reserved, 2018-2021.