392283 ISY Project: Extension of a haptic point cloud by visual object tracking (Pj) (SoSe 2022)

Wir generieren aus visuellen und taktilen Daten eine Punktwolke, die zur Charakterisierung von Objekten genutzt wird. Aktuell tasten wir mit einem Sensorhandschuh ein fixiertes Objekt in einer definierten Umgebung ab und versuchen Eigenschaften wie Form oder Steifigkeit anhand der taktilen Daten zu ermitteln. Im Rahmen des ISY-Projekts soll eine Erweiterung zur Generierung der Punktwolke in Form des Objekttrackings mittels Marker stattfinden, sodass Objekte frei (nicht fixiert) in der definierten Umgebung abgetastet werden können. Damit schaffen wir die Grundlagen für eine Datenbank der manuellen Intelligenz.

We generate a point cloud from visual and tactile data that is used to characterize objects. Currently, we use a sensor glove to scan a fixed object in a defined environment and try to determine properties such as shape or stiffness based on the tactile data. As part of the ISY project, an extension to the generation of the point cloud in the form of object tracking using markers will take place so that objects can be scanned freely (not fixed) in the defined environment. Thus we lay the foundations for a database for application in manual intelligence.

Required skills: -

In case this would not find enough interest for a team project, this project proposal would be also offered (in reduced/modified form)
• an individual project
• a project for only 2 students