392247 ISY Project: Robomantic2021 - Object recognition in haptic (augmented) point clouds using a tactile sensitive data-glove and ML methods. (Pj) (SoSe 2021)

Inhalt, Kommentar

Object recognition in haptic (augmented) point clouds using a tactile sensitive data-glove and ML methods. Within the ISY-Proj. Robomantic2021 we investigate in the nature of things under their (polygon) surface. Our goal is to enrich the virtual representations of captured real-world scenes with haptic information. E.g. how does a box feel that the Kinect has captured? Is it heavy, rigid, filled with sand etc.? The current capturing methods do not provide such information. But with a tactile sensitive data-glove (µGlove) we can record them!
In this project, we:
- Record rich object point-cloud data within the ROS environment (at your home, first with your marker tracked hand, later in the lab with) a state of the art multimodal data-glove (touch, posture, inertial measurements).
- Lean about the functioning of our implemented forward kinematic model of the tracked hand which compute the contact point cloud.
- Improve the accuracy of the point cloud generation via ground truth and cross-modality calibration technics.
- Employ state of the art methods to filter the multidimensional time-series data and to learn and recognize features of soft and hard objects in the object point-cloud.
- Derive essential details from the dataset, such as form, weight, mass distribution, ductility, etc.
- Measure our results: e.g by finding objects that trick out a pure visually generated point cloud (e.g. from Kinect).
-> as surplus:
- Fuse visual keys and tactile features to one multimodal object model.
- Study data-driven approaches to model and learn human manipulation skill. e.g. understand how humans use their hands and haptic perception to manipulate, classify and reconstruct objects.

FEEL WHAT MATTER!S
In the ISY project Robomantic2021, your team will provide weight to a virtual cloud of points.
The Kinect revolutionized robotics with its highly informative point cloud. First trigonometrically, then via the time of flight of light particles. Now it provides a relatively good optical scan of the scenery, spatially and temporally. This information helps us (our robots) to navigate, recognize and detect objects. The recognition of objects is done by matching them with an internal representation (already stored objects). As manifold the environment is, as diverse are the properties of its objects. Optical properties are only the visible tip of the iceberg. Beneath the outer shell of the objects we find their inner nature - their softness/elasticity/mass distribution etc. given via their inner structure. The world is not only made of polygons! The aim of our ISY project Robomantic1 is to capture the inner values of the objects in our environment.
The hardware we use for this is the µGlove. A data glove that records spatial and temporal information about its position (finger position) and contact forces to touched surfaces.
The system for generating point clouds using the µGlove was developed as part of Julia Niermann's master's thesis. Except for the µGlove, it also works without expensive laboratory equipment, so that the experiments can be planned well from home. (e.g. recording dry (weightless) clouds using marker cubes for bar hand tracking).
We test different architectures to classify and model the object point cloud. The special challenge for advanced progress is to model soft surfaces as well.
The results of the ISY project Robomantic1 can be used in the field of extended (haptic) VR. Primarily, however, in robotics we benefit from the new possibilities to fill real objects in mental representations with meaningful content. This improves the handling of objects in terms of e.g. better / more dexterous handling by a robotic hand or a robotic hand-prosthesis.
You will learn about the elementary importance of tactile sensitivity. We will support you in setting up the ROS environment and the additional features. And we will accompany you in developing ideas for the practical realisation of the project.

Lehrende

  • Julia Niermann, Dr. Qiang Li

Termine ( Kalendersicht )

Rhythmus Tag Uhrzeit Format / Ort Zeitraum  

Zeige vergangene Termine >>

Fachzuordnungen

Modul Veranstaltung Leistungen  
39-M-Inf-GP Grundlagenprojekt Intelligente Systeme Gruppenprojekt unbenotete Prüfungsleistung
Studieninformation

Die verbindlichen Modulbeschreibungen enthalten weitere Informationen, auch zu den "Leistungen" und ihren Anforderungen. Sind mehrere "Leistungsformen" möglich, entscheiden die jeweiligen Lehrenden darüber.


Keine Konkretisierungen vorhanden
Kein Lernraum vorhanden
registrierte Anzahl: 0
Dies ist die Anzahl der Studierenden, die die Veranstaltung im Stundenplan gespeichert haben. In Klammern die Anzahl der über Gastaccounts angemeldeten Benutzer*innen.
Adresse:
SS2021_392247@ekvv.uni-bielefeld.de
Lehrende, ihre Sekretariate sowie für die Pflege der Veranstaltungsdaten zuständige Personen können über diese Adresse E-Mails an die Veranstaltungsteilnehmer*innen verschicken. WICHTIG: Sie müssen verschickte E-Mails jeweils freischalten. Warten Sie die Freischaltungs-E-Mail ab und folgen Sie den darin enthaltenen Hinweisen.
Falls die Belegnummer mehrfach im Semester verwendet wird können Sie die folgende alternative Verteileradresse nutzen, um die Teilnehmer*innen genau dieser Veranstaltung zu erreichen: VST_262898192@ekvv.uni-bielefeld.de
Reichweite:
Keine Studierenden per E-Mail erreichbar
Hinweise:
Weitere Hinweise zu den E-Mailverteilern
Letzte Änderung Grunddaten/Lehrende:
Dienstag, 9. Februar 2021 
Letzte Änderung Zeiten:
Freitag, 5. Februar 2021 
Letzte Änderung Räume:
Freitag, 5. Februar 2021 
Art(en) / SWS
Pj / 4
Sprache
Diese Veranstaltung wird komplett in englischer Sprache gehalten
Einrichtung
Technische Fakultät
Fragen oder Korrekturen?
Fragen oder Korrekturwünsche zu dieser Veranstaltung?
Planungshilfen
Terminüberschneidungen für diese Veranstaltung
Link auf diese Veranstaltung
Wenn Sie diese Veranstaltungsseite verlinken wollen, so können Sie einen der folgenden Links verwenden. Verwenden Sie nicht den Link, der Ihnen in Ihrem Webbrowser angezeigt wird!
Der folgende Link verwendet die Veranstaltungs-ID und ist immer eindeutig:
https://ekvv.uni-bielefeld.de/kvv_publ/publ/vd?id=262898192
Seite zum Handy schicken
Klicken Sie hier, um den QR Code zu zeigen
Scannen Sie den QR-Code: QR-Code vergrößern
ID
262898192
Zum Seitenanfang