Développement d’un système auditif pour le robot humanoïde Robota

André Noth (MT)

Robota est un mini-robot humanoide utilisé dans le cadre d'expériences thérapeutiques avec des enfants. Afin de rendre le système plus versatile, l'utilisation d'un clavier a été remplacée par la reconnaissance vocale. Ce project a pour but de développer un jeu dans lequel Robota intéragit avec son interlocuteur de manière purement vocale. Un programme sera écrit en C/C pour analyser la sortie spectrale du son, provenant de deux microphones, afin de déterminer la direction de provenance du son. Le programme sera intégreé au système de contrôle moteur du robot pour diriger les mouvements de tête du robot afin de suivre précisément la direction de provenance du son.

Analyse de la capacité d’un réseau de neurones récurrent a délai temporel

Alex Mathey (IN), André Maurer ()

La capacité d’accumulation d’un réseau de neurones artificiel peut être mesurée à l’aide d’outils développés en théorie de l’information. On déterminera une mesure de l’information maximale qui peut être transmise par un réseau de neurones récurrent à deux couches, entraîné par des règles hebbiennes. On déterminera une relation entre la capacité du réseau et la corrélation des entrées des nœuds du réseau.

Construction d’un bras mécanique pour le robot humanoïde

Lorenzo Piccardi (MT), Matteo Calzascia ()

Ce projet consiste en un travail d’étude et de développement d’un prototype de bras articulé à 4 degrés de liberté: 2 pour l’épaule, 1 pour le coude, 1 pour la pince. L’étude définira le type de moteurs, la longueur et la position d’ajustement des axes de rotation, de sorte à satisfaire les contraintes en dimension, poids et force du bras afin de fixer le bras sur un mini robot humanoïde de 2 Kilos et 50 cm. Le travail de construction du bras sera fait en collaboration avec André Guignard.

Développement d’un système de reconnaissance visuelle pour le robot humanoïde

Yves Linder (MT)

Un programme sera écrit en C/C pour analyser la sortie visuelle d’une camera vidéo digitale, afin de déterminer la position du visage et des mains de l’utilisateur. La détection sera basée sur la reconnaissance de couleur de la peau humaine et sur la détection du mouvement. Le programme sera intégré au système de contrôle moteur du robot pour diriger les mouvements de tête et des yeux du robot afin de suivre le déplacement de l’utilisateur. La programmation se fera dans l’environnement WindowsCE du PocketPC (Compaq Ipaq 3850), qui contrôle le robot.

Analyse du mouvement humain

Laetitia Todesco (SC)

Les adultes comme les enfants ont tendance à imiter de manière miroir (i.e., l’imitateur lève le bras droit lorsque le démonstrateur lève le bras gauche) les mouvements d’autrui. Une série d’expériences sur 12 sujets de 20 a 50 ans ont été conduites pour déterminer quel type d’imitation (miroir ou identique) était utilisé lorsque une animation du démonstrateur était montré dans des positions inversée (par exemple, la tête en bas ou de dos). Ce projet visera à analyser les données de ces expériences et à interpréter leurs résultats. Si le temps imparti le permet, le projet conduira aussi des expériences complémentaires avec de jeunes enfants. L’analyse des résultats se fera dans l’environnement Matlab ou en C/C .

Construction d’une tête mécanique pour le robot humanoïde Robota

Lorenzo Roos (MT)

Ce projet consiste en un travail d’étude et de développement d’un prototype de tête articulée à 3 degrés de liberté. L’étude définira le type de moteurs, la longueur et la position d’ajustement des axes de rotation, de sorte à satisfaire les contraintes en dimension et poids de la tête d’une poupée conventionnelle. La tête sera montée sur le corps du mini robot humanoïde. Le travail de dimensionnement et construction sera fait en collaboration avec Mr. André Guignard.

Jeu interactif pour une paire de robots humanoïdes Robota.

Cecile Grivaz (IN)

Ce projet développera un programme de contrôle pour permettre à deux robots Robota d’interagir entre eux et avec un interlocuteur externe. Le travaille consistera à créer un jeu interactif, utilisant la synthèse vocale, durant lequel le robot dialogue avec son interlocuteur et avec l’autre robot. Le projet utilisera des modules, développés dans des projets précédents de reconnaissance de la couleur de la peau, et du mouvement, et de reconnaissance vocale, pour permettre une détection précise de la présence d’un interlocuteur. Le travail consistera en la création d’un module de dialogue qui fait apparaître le robot comme curieux, attrayant et plein d’humour. La programmation se fera dans l’environnement WindowsCE du PocketPC (Compaq Ipaq 3850), qui contrôle le robot.

Neural Controller for Reaching

Neil Redfern (PH)

The aim of the project will be to develop a controller for a 7 degrees of freedom humanoid arm. The controller will use a dynamic simulator that encapsulates a simple model of the physics and biomecanical properties of the human arm (muscles, internal torques, external forces, etc., both when the hand is empty and in_contact/grasping/lifting an object). The simulator of the arm will be linked to a visual recognition system that can track the position of an object in 3D. The controller will implement a simple model of neural control of the arm. The controller will enable the avatar to pick up an object within its field of vision. Programming will be done in C/C++, exploiting the libraries of the Open Dynamics Environment (ODE).

Capture de mouvements humains avec senseurs gyroscopiques

Vincent Hentsch (MT)

Un système composé de 5 capteurs X-Sens permet de mesurer l'orientation absolue en 3 dimensions de différentes parties du corps. Ce projet, implémenté sous Linux, sera divisé en 3 phases:

• Création d'un algorithme de calibration, en fonction de l'emplacement des capteurs sur le corps
• Reconstruction des positions angulaires des articulations de l'épaule, du coude, du poignet ou de la nuque
• Display des données par une animation d'un corps humain, sur un simulateur existant, en OpenGL

Vision stéréoscopique et reconnaissance de trajectoires

Christophe Dubach (IN)

La première partie de ce projet consistera en la réalisation d'un système de tracking 3-dimensionel d'objets colorés, à base de 2 webcams (vision stéréoscopique). Le projet se basera sur la libraire de traitement d'images OpenCV et se fera dans l'environnement Linux. Dans la second partie du projet, il s'agira de développer un algorithme d'analyse (apprentissage et reconnaissance) des trajectoires des objets en utilisant des chaînes de Markov cachées (Hidden Markov Models).

Cameras mobile pour les yeux du robot Robota

Dimitris Pongas (MT)

Ce projet consiste en l’insertion et le contrôle de mini-cameras dans le prototype de yeux mobiles de Robota. Le travail sera reparti en trois phases : une phase de design et construction, i..e. choix et insertion de deux mini-cameras dans les yeux ; une phase de design et programmation en C du microcontroller pour la lecture des entrées des cameras ; une phase de programmation des moteurs des yeux de Robota pour permettre un tracking d’objet lumineux.

Analyse de mouvements humains avec senseurs gyroscopiques

Jean-Joël Borter (MT)

Un système composé de 5 capteurs de mouvements X-Sens permet de mesurer l'orientation absolue en 3 dimensions de différentes parties du corps humain. Ce projet, implémenté sous Linux, sera divisé en 3 phases:

• 1) Dans un premier temps, il s'agira d'améliorer le système actuel de calibration du X-sens, en utilisant des données collectées lorsque l'utilisateur se place dans différentes postures
• 2) Dans un deuxième temps, il faudra mener une série d'expériences sur différentes personnes effectuant une même série de gestes, et créer une base de donnnées de gestes en collectant les valeurs fournies par le X-Sens.
• 3) Il s'agira finalement d'analyser les données de ces expériences, pour extraire les corrélations entre les différents angles, et les variations d'un même geste effectué par différents utilisateurs. Des outils d'analyse statistique et d'analyse de séquences aideront à extraire les caractéristiques importantes de chaque geste donné, et les variations qui pourraient apparaître d'un utilisateur à l'autre.

Modélisation du poignet humain dans le but de reproduire une experience neurophysiologique

Mara Dalla Valle (IN)

D'après des études neurophysiologiques, il semblerait que des popuations de neurones du cortex moteur actifs lors du déplacement du poignet semblent coder pour la direction du mouvement dans différents référentiels (p.ex. de de l'observateur, du poignets ainsi qu'un intermédiaire). Le but de ce projet est dans un premier temps de créer un modèle simple du poignet humain, et ensuite d'appliquer un réseau de neurones en développement dans notre laboratoire afin de pouvoir comparer notre modèle avec ces résulats neurophysiologiques.

Comment imitons-nous ?

Guilhem Sorro (MT), Céline Meyer (), Jean-Luc Brocard ()

Les adultes comme les enfants appliquent une grande gamme de décisions lorsqu’ils imitent même les gestes les plus simples. Par exemple, ils ont tendance à imiter de manière miroir (i.e., l’imitateur lève le bras droit lorsque le démonstrateur lève le bras gauche) lorsqu’ils reproduisent des mouvements abstraits (sport, danse). Cependant, lorsqu’ils imitent des mouvements fonctionnels (lacer ses chaussures), ils préfèrent une imitation identique (bras gauche pour bras gauche) et privilégient la relation main-object à tout autre paramètre. Ce projet consistera à déterminer quel type d’imitation est préféré suivant la tâche. Ce projet se divisera en deux phases: 1) Dans un premier temps, il faudra mener à bien une série d’expériences sur environ 20 sujets de 20 a 50 ans pour déterminer quel type d’imitation (miroir ou identique) est utilisé lorsqu’il nous est demandé d’imiter des gestes abstraits (danse/sport), symboliques (lettres de l’alphabet) ou fonctionnels ; si le temps imparti le permet, le projet conduira aussi des expériences complémentaires avec de jeunes enfants de 4 à 5 ans ; 2) dans un deuxième temps, il s’agira d’analyser les données de ces expériences et d’interpréter leurs résultats. L’analyse des résultats se fera dans l’environnement Matlab ou en C/C++.

Développement d'un système de reconnaissance de la parole pour le robot humanoïde Robota

Adrien Depeursinge (EL)

Le domaine de la reconnaissance de la parole connât un essor grandissant ces dernières années. Les moyens informatiques de plus en plus importants et le développement de techniques sophistiquées de traitement de la parole permettent aujourd’hui la conception d’applications concrètes comme des systèmes embarqués dans les robots. L’application envisagée dans ce projet est dédiée au robot humanoïde Robota. Le but de ce projet est de développer un système de détection et de reconnaissance de mots clefs basé sur les méthodes statistiques : modèles de Markov cachés (HMMs – Hidden Markov Models). Environnement de travail : HTK. Dans le cadre de ce projet, on demande au candidat de : 1) Se familiariser avec le sujet à l’aide de la littérature qui lui sera fournie, 2) Etudier les méthodes statistiques liées aux systèmes de reconnaissance de la parole, 3) Développer un système de reconnaissance de mots clefs basé sur les HMMs, 4) Créer une base de données, 5) Implanter et intégrer les algorithmes du système sur plate-forme Robota, 6) Adapter le système aux conditions acoustiques d’application, 7) Mesurer les performances du système à des fins de comparaison et proposer des améliorations possibles.

A Humanoid Robot that can paint

Julien Epiney (MT)

This project aims at developing a nice demonstration program in C/C++ under Linux, to show the capacities of the Hoap2 humanoid robot from Fujitsu that we have in our lab. The aim is to have a robot that can extract visual features from a face, and then draw the portrait of somebody on a sheet of paper.

1) The program will first use the stereo-vision tracking system developed in our lab to extract the features of a face, by using image processing algorithms (30%)

2) A path planning algorithm will then be developed to create the whole path that the pen must follow to draw the features of the face (30%)

3) By using the inverse kinematics algorithm developed in our lab, robot controller will then be developed to draw the face on a sheet of paper (30%)

4) The 3 parts of the projects will be integrated in a nice scenario to demonstrate the abilities of the robot (10%)

Construction d’un kit de robot humanoïde et bio inspire

Madeleine Kaegi (MT)

Ce projet consiste en un travail d’étude et de développement d’un prototype de kit robotique pour l’utilisation dans le cadre de TP de robotique de section MT 4e année. Ce travail se basera sur un nombre de kit mécanique existants dans le commerce. L’étude Définira le nombre minimal de moteurs, d’axes de rotation et d’engrenages nécessaires pour permettre la construction d’au moins trois robots différents, à forme humaine ou animale. Le travail de construction des robots se fera en collaboration avec André Guignard.

Caméra binoculaire et tracking de l’utilisateur pour le robot humanoïde HOAP-2

Ted Choueiri (MT)

Ce projet visera à pourvoir le robot humanoïde HOAP-2 avec un système de vision binoculaire. Dans un premier temps, il s’agira de créer un système d’attachement de deux Quickcam caméras standards sur la tête du robot. Ce travail de design mécanique se fera en collaboration avec André Guignard, ingénieur mécanicien. Dans un deuxième temps, il s’agira d’intégrer les librairies existantes pour la stereovision aux librairies existantes de contrôle du robot humanoïde. Finalement, il s’agira de faire un code démontrant l’intégration de la vision et du contrôle moteur, grâce auquel le robot traquera le visage et les mains de l’utilisateur en continu.

Reconnaissance et tracking 3d de visages

Raphael Ullmann (MT)

Ce projet visera à développer un système de reconnaissance de visage sur la base d’une image de camera Quickcam. Pour cela, on utilisera des librairies existantes, basee sur un réseau de neurones de type Hopfield et un Hidden Markov Model, ainsi que des méthodes de preprocessing de l’image. Le travail se basera sur une camera sphere de logitech et utilisera les commande pan-tilt et zoom de la caméra pour diriger la caméra vers le visage de l’utilisateur et obtenir la meilleure reconnaissance. On déterminera de manière quantitative les performances de la reconnaissance et on optimisera les paramètres de tracking et reconnaissance de manière à obtenir d’excellente performances.

Système de speech pour le robot humanoide HOAP-2

Xavier Perrin (MT)

Ce projet visera à pourvoir le robot humanoide HOP-2 avec un système de détection et production du son et de la parole. Dans un premier temps, il s’agira de créer un système d’attachement de microphone et haut-parleur sur le robot. Ce travail de design mécanique se fera en collaboration avec André Guignard, ingénieur mécanicien. Dans un deuxième temps, il s’agira d’intégrer des librairies existantes pour la récupération du son, la reconnaissance et synthèse vocale sous linux aux librairies existantes de contrôle du robot humanoïde. Finalement, il s’agira de faire un code démontrant l’intégration du son et du contrôle moteur, grâce auquel le robot pourra battre le rythme d’une musique simple, reconnaître des mots simples et y répondre avec des phrases simples.

3D Reconstruction using StereoVision

Jean Mabillard (MT)

Le but ce de projet est de développer un système de reconstruction 3D à partir d'images réelles, en utilisant un logiciel de stéréovision utilisé dans notre laboratoire. Ce projet consistera à développer un algoritme qui déterminera "on-line" la position, taille et orientation d'objets de couleur à partir des caméras. Pour simplifier, seules des primitives simples, tels que cubes, cylindres, sphères seront considérées. Enfin, ce système permettera de créer un modèle simple de l'environement.

Système de sécurité et localisation pour jeunes enfants

Loubna El Arabi (SC), Eric Bany ()

Ce projet visera à développer un prototype de système de sécurité et de localisation pour jeunes enfants utilisable dès 1an. Le système déterminera en tout temps la position de l'enfant via GPS et enverra l'information aux parents via une connexion sécurisée internet.

Il s'agira tout d’abord de faire une recherche de solutions existantes (p.ex. Locatis.ch), et de lister les éléments informatiques et électroniques utilisés par ces solutions. Il faudra ensuite se documenter sur la possibilité d’acquérir ces même éléments en une forme miniaturisée. Finalement, il faudra créer les schémas électroniques pour la version miniature et définir un design mécanique pour attacher le système sur l’enfant de manière non visible (collier, bracelet, inséré dans les habits).

Safety and localization system for young children.

The goal of this project is the development of a prototype of safety and localization system for young children (1 year old and more). The system will determine at any time the position of the child via GPS and will send information to the parents via a secured Internet connection.

First of all, a research for existing solutions will be done (for example Locatis.ch), and a list of the data-processing and electronic elements used by these solutions will be established. Then a research will be done to document the possibility of acquiring these same elements in a miniaturized form. Finally, the electronic sketch will be created for the miniature version and a mechanical design will be done to attach the system on the child in a way that the system will be invisible from the outside (collar, bracelet, inserted in the clothes).

Apprentissage pour le contrôle de mouvements de reaching

Alexander Habermeier (MT)

Le but de ce projet est de développer et d’implémenter un algorithme d’apprentissage pour le contrôle de mouvements de reaching. L’idée est de partir d’un contrôleur développé au sein du laboratoire et voir si ce contrôleur peut être appris par le robot, à la manière d’un bébé apprenant à contrôler son bras. L’étudiant partira donc ce contrôleur existant et développera un algorithme pour en apprendre les paramètres. Plusieurs algorithmes pourront être testés et comparés. Le développement se fera de façon progressive, en apprenant un ensemble toujours plus grand de paramètres et donc en diminuant au fur et à mesure les contraintes sur le contrôleur. Cette progression sera déterminée de manière plus précise de concert avec l’assistant, une fois que l’étudiant aura compris le fonctionnement du contrôleur.

Direction du regard avec capteurs gyroscopiques

Patrick Schoeneich (MT)

A l'aide d'un capteur gyroscopique xsens, il est possible de determiner la direction de la tete d'un utilisateur, pour determiner ce qu'il est en train de reagrder. Un systeme de vision stereoscopique, developpe dans notre labo, permet de tracker des objets colores sur une table. Le but du projet est d'extraire la direction du regard, apres une phase de calibration, et de tester la performance du systeme realise. Comme test, un scenario d'interaction avec le robot humanoide HOAP2 sera cree. L'utilisateur regardera un objet, puis le robot. Le robot devra alors pointer l'objet selectionne. Un signe de tete fait par l'utilisateur ('oui' ou 'non') permettra alors de determiner si le bon objet a ete pointe par le robot.

Manipulation bi-manuelle pour un robot humanoid

Jérôme Parent (MT)

Le but de ce projet de semestre est de doter un robot humanoid de capacités élémentaires de manipulation bi-manuelle. Plus précisément, le projet consiste à développer un contrôleur permettant au robot de saisir un objet avec les deux mains, de le transporter et de le poser ailleurs. Dans un premier temps, l’étudiant prendra un contrôleur existant permettant au robot d’effectuer des mouvements de reaching de la main droite et l’appliquera à la main gauche. Ensuite le contrôleur proprement dit sera développé. Il comportera quatre phases : l’approche (qui existe déjà), la saisie, le transport et le lâcher. Le contrôleur sera implémenté et testé en simulation puis sur le robot. Un rapport sera rendu décrivant le contrôleur et ses limitations, ainsi que les résultats des tests effectués. En annexe, le code, structuré et commenté, sera remis en version électronique.

Contrôle d’un moteur synchrone avec un DsPic

Fabrice Gaille (MT)

Le LASA et le BIRG ont développés ensemble le DOF BOX, unité, à un ddl, d’un ensemble reconfiguration permettant de tester différentes morphologies de robots. Cette unité comporte actuellement un moteur DC de 5W commandé par un DsPic à travers une électronique de puissance dédiée. Ce moteur est à la limite des spécifications en terme de densité de puissance pour cette application. Les moteurs synchrones exhibant de meilleures caractéristiques que les moteurs DC, le besoin se fait sentir de migrer vers cette technologie.

Le but de ce projet est de choisir et d’adapter un moteur synchrone à la mécanique existante, comme première approche de l’utilisation de ce type de moteur. Il s’agit donc de :

• Modifier l’électronique de l’étage de puissance afin de pouvoir driver un moteur synchrone.
• Choisir de nouveaux ponts de puissance.
• Choisir un type de mesure de courant (courants de phase, résistance shunt, capteur hall, etc…) et choisir l’électronique associée.
• Implémenter tout ou partie de la boucle de contrôle au sein du DsPic (C et assembleur) sur la base de ce qui existe pour le contrôle de moteur DC.
• Utiliser les périphériques du DsPic dédiée au contrôle de moteur (Quadrature encoder, PWM, attaque de ponts en H).
• Réaliser une petite démo d’un contrôle en boucle ouverte et éventuellement en vitesse.

L’étude de mouvements humains

François Rey (MT)

Le but de ce projet est de comprendre la nature de simples gestes humains et des erreurs observées lorsque ceux-ci sont exécutes par des patients avec lésion cérébrale. L’étudiant pourra participer aux expériences avec des patients au CHUV et participera au développent d’un logiciel pour l’analyser des mouvements, y compris le développent d’une interface pour la visualisation, enregistrement et recognition des données d’un jeu de gants de données.

Study of human motion

This project aims at understanding the nature of simple human gestures and of the errors observed when they are executed by patients with brain lesions. The student will be able to participate in the conduct of the experiments with patients at the CHUV and will participate in the development of the software to analyze the motion of the patients, including developing an interface to visualize record and recognize the data from data gloves.

Développement d’une carte DsPic pour le contrôle d’un moteur synchrone

Sébastien Romain (MT)

Ce travail consiste à développer et à mettre en route une carte électronique pour l’étude des moteurs synchrones. La carte s’articule autour d’un microcontrôleur DsPic de Microchip, comporte au minimum une interface CAN (Controller Area Network) et dispose de l’électronique de puissance et de contrôle d’un moteur synchrone. Ce projet s’effectue en collaboration et en parallèle avec un projet qui définit l’électronique de mesure (tension et courant de phase) et la méthode de commande sur DsPic d’un moteur synchrone. A la responsabilité de l’étudiant ; la synthèse de l’électronique, la production et le déverminage de trois cartes, et une application de test (self test) sur DsPic pour tester le bon fonctionnement des composants électroniques et interfaces prévues. Un document de type manuel d’utilisateur décrivant la partie matérielle est fortement souhaité.

Estimation de la position d'un robot modulaire (DOF BOX II) par stéréovision

Thomas Reichert (EL)

Le DOF BOX II est consitué de plusieurs modules articulés identiques que l'on peut assembler à volonté pour créer un robot. Le but de ce projet est d'implémenter un algorithme estimant la position et l'orientation d'un tel robot modulaire en se basant sur la position de marqueurs visuels fixés au robot. L'étudiant(e) devra implémenter un algorithme estimant la position du robot connaissant la configuration des modules, la position des moteurs, et la positions des marqueurs visuels. Une petite interface graphique sera ensuite implémentée afin de permettre la visualisation du résultat. On pourra ainsi voir le vrai robot se déplaçant et, à l'écran, un simulateur indiquant la position et l'orientation estimée du robot.

Implémentation d'un module de locomotion pour le robot HOAP3

Aïsha Hitz (MT)

Nous travaillons dans notre laboratoire principalement sur la programmation de robots par démonstrations. Les tâches enseignées au robot sont des tâches de manipulation. Actuellement lors de l'exécution de ces tâches, le robot est assis sur un socle et reste immobile. Le but de ce projet est d'implémenter un module de locomotion qui permettrait de garder le robot debout et de le déplacer si nécessaire vers la table.

Implémentation sur le robot HOAP3 d’un algorithme d’apprentissage basé sur l’imitation et le reinforcement learning.

Murielle Richard (MT)

Dans notre laboratoire, nous travaillons sur la programmation de robot par démonstration. Nous avons développé un algorithme basé sur un système dynamique et du reinforcement learning. Cet algorithme n’a pour le moment été appliqué qu’en simulation et pour des tâches de manipulation (en utilisant le torse et les bras du robot). Le but de ce projet serait dans un premier temps d’implémenter cet algorithme sur le robot afin de le tester et dans un deuxième temps, de le porter sur les jambes du robot en collaboration avec l’étudiant(e) du projet “Implémentation d'un module de locomotion pour le robot HOAP3”.

Rotation invariant face detection training for the WearCam

Sandra Wieser (MT)

La WearCam est une camera wireless placée dessinnée pour aider la diagnose de l'autisme dans les jeunes enfants. La detection de visages est une partie fundamentale de l'analyse des données de la WearCam. Courramment le systeme de detection de visages utilise la librairie de base de OpenCV. L'etudiant va devoir collectionner un database de visages (soit en utilisant des databases online ou en enregistrant des images directement) et re-entrainer la detection de visages avec les Boosted Cascades of Weak haar-like Classifiers. L'entrainement se fera sur des visages tournés a' plusieurs angles differents. Le but sera d'obtenir un système robuste qui peut detecter les visages sous rotations et illuminations variées.

The WearCam is a head-mounted wireless camera designed for the diagnosis of autism in young children. Face detection is a fundamental part of the analysis of the data from the WearCam. The student will be asked to gather a face database (either by using a number of online face databases or by collecting one directly) and to train a boosted cascade of weak haar-like classifiers on faces at different angles. The goal will be to have a robust system that can detect faces at different angles and different illuminations.

Analyse vocale pour apprendre des tâches de manipulation à un robot humanoïde / Vocal analysis to teach a humanoid robot manipulation skills

Caroline Nadeau (MT)

Analyse vocale pour apprendre des tâches de manipulation à un robot humanoïde

Pour apprendre des tâches de manipulation à un robot humanoïde, nous avons développé un modèle probabiliste qui permet d’apprendre les caractéristiques essentielles d’une tâche de manipulation en exécutant plusieurs démonstrations de cette tâche devant un robot humanoïde. Nous utilisons pour ceci des capteurs de mouvement attachés sur différentes parties du corps de l’utilisateur, enregistrant les mouvements de ces bras sous forme de trajectoires angulaires, ce qui est utilisé par la suite pour extraire les caractéristiques essentielles d’un mouvement.

Le but de ce projet est d’utiliser la parole comme complément d’information pour accélérer le processus d’apprentissage. En effet, il serait utile pour l’utilisateur d’avoir la possibilité de faire ressortir certaines parties de la démonstration qui présentent une particularité importante, c’est-à-dire d’avoir la possibilité de dire au robot lorsqu’il doit prêter une attention particulière à certaines parties du geste. Pour ce projet, nous suggérons d’analyser la trace vocale de l’utilisateur lorsque ce dernier montre au robot un geste à effectuer. La perspecxtive adoptée est que des éléments comme le ton ou l’énergie du signal peuvent être des motifs plus robustes que l’analyse de la parole pour renforcer les caractéristiques d’une tâche. Par exemple, en utilisant différentes intonations lorsqu’on montre le geste au robot (« Prend CET objet et place-le ICI »).

Le projet sera développé dans un environnement Matlab, à l’aide d’une toolbox pour l’analyse de sons. Après le développement, une étude sur les utilisateurs sera conduite pour évaluer la facilité d’utilisation et à quel point le processus d’apprentissage est naturel lorsque une personne non-entraînée utilise le système.

Apprentissage hiérarchique d’un mouvement à l’aide de chaînes de Markov cachées (HMM)/ Hierarchical learning of a movement through Hidden Markov Model

Adrian Bodenmann (CH)

Apprentissage hiérarchique d’un mouvement à l’aide de chaînes de Markov cachées (HMM)

Pour permettre à un robot humanoïde d’apprendre par imitation, un modèle probabiliste a été développé dans notre laboratoire basé sur mes mixtures de Gaussiennes (GMM) représentant des trajectoires de mouvements effectués par l’utilisateur. Le désavantage de ce modèle est qu’il apprend et représente chaque geste séparément, et ne permet ainsi pas de réutiliser séparément certaines parties d’un mouvement appris. Le but de ce projet est d’explorer des solutions en Machine Learning (ML) qui permettraient d’éliminer cet inconvénient. La méthode proposée ici est d’utiliser une combinaison de chaînes de Markov cachées (HMM) avec des mixtures de Gaussiennes (GMM), où chaque état du HMM encoderait des primitives de mouvement au travers des GMM. Par exemple, si un GMM encode le mouvement effectué lors de l'écriture de la lettre 'A' et si un autre GMM encode le mouvement pour une lettre 'B', un HMM pourrait être utiliser pour organiser les différents modèles pour écrire le mot 'AB'. Une telle architecture permettrais ainsi de réutiliser les primitives de mouvement et d’organiser celles-ci dans un ordre différent pour apprendre de nouveaux gestes. Pour résoudre le problème des transitions entre deux primitives de mouvement, une approche suggérée serait d’utiliser un modèle de régression statistique pour reproduire des trajectoires lisses et continues.

Le projet sera implémenté dans un environnement Matlab. Après développement, un robot humanoïde HOAP-3 sera utilisé pour enregistrer des mouvements en saisissant les bras du robot et en les déplaçant de manière à ce que ce dernier effectue un set de tâches de manipulation. En utilisant ce set de données, une évaluation du système développé sera ensuite effectuée.

Implementation of bi-manual coordinated task on Katana robotic arms

Loic Alexander (MT)

Bi-manual coordination is an interdependency between two arms’ movements in the time and space domains. To ensure the robot’s arms coordination, a controller that generates movements, should control both time of the motion duration and mutual spatial positions of two arms. The aim of this project is to implement the controller for a bi-manual discrete task on Katana robotic arms. A student has to: i) study the existing controller for HOAP-3 robot; ii) implement analogous controller for KATANA robotic arms (new robots in our lab, available starting from September 2007); iii) test the controller in Webot simulator and on the real robots; iv) produce a report describing the structure of the controller and the results of the performed experiments.

Self-collision detection for a humanoid robot

Francis Geroudet (MT)

Le but de ce projet est de permettre à un robot humanoide d'éviter de se taper lui-même en effectunt des tâches de manipulation. L'étudiant développera d'abord un modèle géométrique du robot constitué de formes simples (sphères, cylindres et parallélipipèdes), puis il choisira et implémentera un algorithme de détection de collisions. Cet algorithme devra tourner en temps réel sur le robot et s'assurer que les commandes envoyées sont ne provoquent pas de collision.
English
The aim of this project is to be enable a humanoid robot to avoid hitting itself when performing manipulation tasks. First the student will develop a model of the robot upper body by using simple geometrical shapes (spheres, cylinders and parallelepipeds). He/she will then look for and implement a shape collision detection algorithm. This algorithm will run in real-time on the robot, and stop it if it receives a command causing self-collision.

Imitation de mouvements de jambes par un robot humanoïde en utilisant des capteurs de mouvements / Imitation of legs motion by a humanoid robot through the use of motion sensors

Pulvin Manon (MT)

Imitation de mouvements de jambes par un robot humanoïde en utilisant des capteurs de mouvements

Nous avons développé dans notre laboratoire une application Matlab permettant d'enregistrer des informations angulaires décrivant un geste effectué par un utilisateur portant des capteurs de mouvement placés sur différentes parties du corps. Le système actuel permet d'enregistrer les mouvements du haut du corps (bras et tête) lorsque l'utilisateur effectue une tâche de manipulation. La tâche effectuée est alors reproduite par un robot humanoïde HOAP-3 en copiant soit les trajectoires angulaires des bras ou les trajectoires Cartésiennes des mains. Ce projet consiste à étendre ce principe au mouvement des jambes, afin d'apprendre des mouvements de marche ou de déplacement basique au robot (pas de côté, fléchissement des genoux, équilibre sur un pied, coup de pied dans une balle, …).

Le projet sera implémenté en Matlab.

Calibration automatique d'un système de vision pour un tracking 3D

Michaël Bungu (MT)

Calibration automatique d'un système de vision pour un tracking 3D

Ce projet a pour but de créer un système de vision intuitif pour tracker la position en 3D d'un set de marqueurs pour une interaction homme-robot.

Pour une application robotique, la procédure de calibration traditionnelle consiste à (1) extraire les paramètres extrinsèques et intrinsèques des cameras en utilisant par exemple un échiquier comme référence (tracking des carrés noirs définissant un plan); (2) reconstruction géométrique de la position 3D Cartésienne à partir de la position 2D des marqueurs sur les images des caméras; (3) définition de la transformation géométrique convertissant la position en 3D du référentiel des caméras au référentiel du robot.
br> Dans ce projet, nous proposons une approche alternative pour apprendre automatiquement la correspondance entre la position des marqueurs sur les images des cameras et la position 3D dans le référentiel du robot.

Dans un premier temps, une procédure de calibration sera développée qui consiste à placer un marqueur visuel à l'extrémité d'un bras robotique et de déplacer manuellement ce bras dans l'espace de travail du robot. En connaissant la position 3D du marqueur par cinématique directe, et en connaissant les positions en 2D du marqueur sur chaque image des caméras, il est alors possible d'apprendre le mapping entre le système de vision et le robot. Après avoir collecté un certain nombre de points de cette manière, il est alors possible d'estimer une nouvelle position d'objet par régression. Pour ceci, l'utilisation de Locally Weighted Regression (LWR) et de Gaussian Mixture Regression (GMR) sera comparée.

Dans un second temps, le système développé sera comparé à un setup existant basé sur une extraction des paramètres intrinsèques/extrinsèques et sur une reconstruction géométrique. Une évaluation des performances du système sera conduite, basé sur la précision et la vitesse d'exécution du système.

Dans un troisième temps, un jeu d'imitation sera utilisé pour illustrer l'utilisation du système, en utilisant un set de marqueurs placés sur les bras/mains de l'utilisateur lorsque ce dernier exécute un geste de manipulation, et en utilisant le robot pour copier le geste tracké par le système de vision.

Le projet peut être implémenté soit dans un environnement Matlab soit en C/C++.

Apprentissage incrémental d'un mouvement pour un robot humanoïde en utilisant le support de l'utilisateur

Florent D%27halluin (MT)

Apprentissage incrémental d'un mouvement pour un robot humanoïde en utilisant le support de l'utilisateur

Une méthode efficace pour transférer de nouvelles tâches à un robot est de lui apprendre le mouvement à effectuer en déplaçant ce dernier manuellement (apprentissage cinesthésique). Cependant, si le robot a un nombre élevé de degrés de liberté, il devient difficile de lui montrer le geste entier en une seule démonstration (difficulté de contrôler un grand nombre de degrés de libertés simultanément).

Une solution au problème est de montrer dans un premier temps au robot qu'une sous-partie du geste (par exemple en ne contrôlant que les deux premiers degrés de liberté), puis en lui apprenant le reste du mouvement pendant que le robot exécute la première partie du geste précédemment apprise. Cependant, ce processus simple d'apprentissage incrémental souffre du fait que l'utilisateur doive montrer le reste du geste avec un timing exact lorsque le robot reproduit le geste précédemment appris, ce qui rend souvent la tâche de démonstration ardue pour l'utilisateur.

Dans ce projet, nous proposons de développer une approche plus robuste pour apprendre de nouveaux gestes de manière incrémentale en utilisant deux bras robotiques Katana, où l'utilisateur peut montrer chaque sous-partie du geste à la vitesse et au rythme qu'il/elle souhaite. Le but est qu'il/elle puisse bouger une partie du robot manuellement et que ce dernier puisse adapter automatiquement le reste du mouvement de manière adéquate (scaffolding process).

Pour ceci, nous suggérons dans un premier temps de modéliser plusieurs démonstrations par un modèle de mixtures de Gaussiennes. Par régression (Gaussian Mixture Regression), il est alors possible d'estimer les valeurs angulaires optimales pour contrôler les moteurs, connaissant la posture actuelle du robot (valeurs angulaires définies par l'utilisateur déplaçant le robot).

Le projet peut être implémenté soit dans un environnement Matlab soit en C/C++.

Imitational learning of a human-robot joint bimanual task

Cedric Bouzyd (ME), Cedric Bouzyd (), Cedric Bouzyd ()

In our laboratory we address the problem of Robot Programming by Demonstration. So far, we mostly concentrated on tasks that the robot should perform autonomously (interaction between human and robot occurs only at the learning stage), now we are going to research ways of interaction in joint activities. This project aims to check how the framework we developed for bimanual robotics movements can be applied to the case of a simple bimanual human-robot task. The tentative scenario assumes the following. Two persons demonstrate a simple task (e.g., carrying an object) to the robot: one of them moves robotic arm, another one, wearing X-sens suit, performs a human part of a movement. Hence, the robot will observe the movements using different modalities (own robot's movement will be recorded as a feedback from the motors, human movements will be recorded with X-sens suit). After several demonstrations the robot should be able to reproduce the task jointly with the user and adapt itself to certain perturbations in the human movements. During reproduction, human movements will be tracked to provide a robot with information concerning the current position of the user's arm. To realize this project, a student will have access to various software, developed in our lab: the system to record robotics movements, software to track human movements with xSens, the implemented learning algorithm and the robotics motor system, responsible for real-time movement generation. The student will use Katana robot that we have in the laboratory. This project is mostly experimental, thus student has to grasp the main ideas of the method that will be applied, and should be ready to set-up and analyze experiments.

Implementation of an Algorithm for Learning Vision Guided Grasping

Peter Bachmann (MT)

If we consider a robot in any environment different from a highly-structured one, we should assume that its successful manipulation abilities heavily depend on vision information about manipulated objects. Indeed, even for basic types of manipulation associated, e.g., with grasping an object, the robot has to be able to locate the object, track its displacements and, finally, identify how to effectively grasp it.

In our laboratory we work on Robot Programming by Demonstration and, specifically, on extracting constraints from task's motion data that will allow a robot to reproduce the task and generalize it to various contexts. It will be advantageous to incorporate in the existing framework a method that automatically detects grasping points on manipulated objects.

In this project a student should study and implement an existing method of grasping point detection. The concrete amount of work includes the following: 1) studying the proposed method and its demo software, written in Matlab; 2) collecting a library of synthetic 3D images of different objects (can be downloaded from the web); 3) marking grasping points on synthetic images; 4) implementing the learning algorithm to infer grasping points for an actual object on C++; 5) testing the system on the KATANA robotic platform.

Développement d’une représentation sensori-motrice du corps humain avec des réseaux de neurones

Jérôme Sovilla (MT)

Il est généralement admis que notre cerveau contient une représentation sensori-motrice de notre corps appelée « body schema ». Nous sommes intéressés a la création d’un modèle virtuel humain qui sera relié a un réseau de neurones artificiel capable a tout moment de tracker la position des différentes parties de l’humain.

Development of a sensorimotor representation of the human body using artificial neural networks

It is generally admitted that our brain contains a sensorimotor representation of our body called « body schema ». We are interested in the creation of a virtual human model that will be related to an artificial neural network able at each moment to track the position of all the body parts of the human.

Ego Motion from Head-Mounted Camera

Alexandre Tuleu (MT)

Le but de ce projet est d'estimer la precision de l'estimation d'orientation absolue depuis des vidéos de la WearCam, une caméra Head-Mounted créée pour les enfants dans la recherche sur la diagnose de l'Autisme. Le flux optique des images donne une information sur comment les objets dans l'image ont bougé. Cependant reconstruir le mouvement de la camera (et donc de la tête) depuis cette information n'est pas trivial et necessite le choix d'un modele geometrique approprié. L'étudiant implementera un choix de ces modèles et comparera leur performance avec des données recupérés par les capteurs de mouvement X-Sens. Une implementation en C++ de la methode de Horn utilisant les quaternions sera fournie pour commencer. --- ENGLISH --- The goal of the project is to estimate the accuracy of absolute orientation estimation from the video images from the Wearcam, a Head-Mounted camera designed for children in the scope of Autism diagnosis. Sparse Optical Flow from the image gives information on how the objects in the image have moved. However the reconstruction of the camera (hence the head) motion from this information is not a trivial task and requires the choice of an appropriate geometrical model. The student will implement a choice of these models and compare their performance compared to the data obtained with the X-Sens motion sensors. For starters, a C++ implementation of Horn's method using quaternions will be provided.

3D tracking using multiple cameras in an occluded workspace

Philippe Berard (MT)

Le but de ce projet est de mettre en place un systeme de tracking 3d en utilisant plusieurs cameras (3 ou plus) pour obtenir l'information de profondeur et pour resoudre les limitations dues aux occlusions qui surgissent lorsqu'on utilise uniquement deux cameras. Le trackeur sera utilisé dans un setup avec deux bras robotiques qui se deplacent dans un espace de travail defini. Le code source pour le tracking de patterns specifiques (ARTags et Fiducials) sera donné aussi que le framework pour obtenir les images des cameras. The goal of this project is to set up a 3d tracking system using multiple cameras (3 or more) to obtain depth information and to overcome occlusion limitations that often arise when using only two cameras. The tracker will be used in a setup with two robotic arms moving in a fixed workspace. The source code for tracking of specific patterns (ARTags and Fiducials) will be provided as well as the framework for obtaining the images from the cameras.

Kinesthetic Teaching of an Acrobatic Maneuver to an Aerial Robot.

Adrian Arfire (MT)

Programming by Demonstration (PbD) investigates natural means to teach skills to robots. In this method, the robot learns a given task from a set of demonstrations shown by the user. In our lab, we have widely used this method to teach different dynamical motions (e.g. writing alphabets, putting an object into a container, wiping a tray, etc.) to humanoid robots. In this project, it is desired to extend the applicability of the current framework for aerial robots, and to evaluate its performance for different aerial maneuvers including “loop”, “tight turn”, “eight maneuvers”, “stall”, etc. The airplane is a flying wing that is equipped with an IMU-GPS sensor to grab data during the flight. The project divided as follows: 1) investigating a set of parameters from the whole available data from the sensors (e.g. position, velocity, acceleration, control efforts, etc) that can describe well the dynamics of the motion for a specific aerial maneuver. 2) Grabbing data by performing some aerial maneuvers (the flight could be done by a pilot or by the student). 3) Applying the PbD on the data to learn the dynamics. 4) Improving the efficiency of the controller in accordance to the mission criteria (i.e. the performed maneuver should be as similar as possible to the demonstrations). Another note is that the designed controller should be able to work in conjunction with the aircraft main controller because it takes the control of the vehicle only during the maneuver.