Proiect subsidiar: 1268/22.01.2018
Îmbunătățirea înțelegerii scenei prin recunoașterea unor Activități umane de către Roboții asistivi
Perioada de desfășurare: 22.01.2018 – 31.12.2020
Scopul Proiectului
Scopul proiectului este monitorizarea activităţilor zilnice şi recunoaşterea unor posibile situaţii critice şi periculoase (căderi ale vârstnicilor).
Obiectivele Proiectului
- Dezvoltarea algoritmilor de recunoaștere a posturilor umane.
- Dezvoltarea algoritmilor de recunoaștere a obiectelor din mediul înconjurător.
- Dezvoltarea unei metode pentru recunoașterea activităților zilnice bazată pe fuzionarea datelor legate de postura umană și obiectele înconjurătoare.
- Integrarea componentelor dezvoltate pe un robot comercial.
- Utilizarea platformei robotice de către CITST în scop comercial.
Rezultate
- Recunoașterea activităților umane prin analiza scheletului uman:
- Achiziția unui nou set de date folosind robotul Pepper,
- Estimarea posturii folosind arhitectura OpenPose,
- Clasificarea activităților folosind o rețea neuronală convoluțională,
- Antrenarea rețelei pe setul de date NTU RGB+D, realizarea “fine tuning” pe setul de antrenare din setul de date colectat de Pepper și testare pe noul set de date.
- Recunoașterea activităților umane utilizând fuziunea de timp, canal și context:
- Antrenarea a fost realizata folosind Google Auto ML,
- Înregistrarea unui set de date nou: PRECIS HAR.
Publicaţii Ştiinţifice
- I. Mocanu, D. Axinte, O. Cramariuc, B. Cramariuc, Human Activity Recognition with Convolution Neural Network Using TIAGo Robot. In: Proceedings of the 41st International Conference on Telecommunications and Signal Processing (TSP), Atena, Grecia, DOI: 10.1109/TSP.2018.8441486, 2018, (ISI Proceedings).
Activități
| Nr. crt. | Activități | Rezultat(e) | Interval desfășurare activitate |
| Activități de cercetare industrială | |||
| 1 | Activitatea 1.1 Definirea specificațiilor funcționale și arhitecturale ale platformei robotice si ale mediului de testare. | Raport specificații funcționale și arhitecturale | feb 2018-iun2018 |
| 2 | Activitatea 1.2 Proiectarea algoritmilor SLAM, 3D-mapping, manipulare și algoritmilor de planificare a mișcărilor robotului, și implementare. | Algoritmi implementați funcționali Raport de proiectare și implementare | feb 2018-iunie 2019 |
| 3 | Activitatea 1.3 Proiectarea algoritmilor pentru detecția persoanelor și a obiectelor, și implementare. Studii privind interactiunea om-robot. Diseminarea rezultatelor. | Algoritmi implementați funcționali. Raport de proiectare și implementare. Raport privind studiul interactiunii om-robot. 1 lucrare științifică | feb 2018- iunie 2019 |
| Nr. crt. | Activități | Rezultat(e) | Interval desfășurare activitate |
|
Activități de cercetare industrială |
|||
| 1 | Activitatea 2.1 Implementarea platformei robotice si a mediului de testare. | Platforma robotică versiune inițială. Raport de proiectare și implementare | ian 2019-dec 2019– UPB
ian 2019-dec 2020 – CITST |
| 2 | Activitatea 2.2 Integrarea algoritmilor de detecție a persoanelor si obiectelor, manipulare, algoritmi de SLAM, cu datele provenite de la senzori. Testari in laborator. Diseminarea rezultatelor. | Demonstrator algoritmi funcționali cu performanțe crescute. 2 lucrări științifice | ian 2019-dec 2019 |
| Nr. crt. | Activități | Rezultat(e) | Interval desfășurare activitate |
|
Activități de dezvoltare experimentală |
|||
| 1 | Activitatea 3.1 Implementarea soluției de robot social (interacțiune socială) folosind un hardware comercial | Soluție robot pentru interacțiune socială | ian 2020-dec 2020 |
| 2 | Activitatea 3.2 – Validarea cu teste reale a acceptanței soluțiilor propuse. Diseminarea rezultatelor si exploatarea rezultatelor | Raport de experimentare și validare. 2 lucrări științifice.
1 Cerere de brevet |
ian 2020-dec 2020 |
Echipa de Implementare
Universitatea Politehnica București:
- Andrei Olaru – coordonator proiect (cs@andreiolaru.ro),
- Irina Mocanu,
- Imad-Alex Awada,
- Alexandra Stefania Ghita.
ActivRobo (1268/22.01.2018) | Toate drepturile sunt rezervate, 2018-2021.