From registration to evaluation: towards efficient human-robot interaction

Abstract

Human-Robot Interaction (HRI) enables the integration of human expertise into robot control, allowing systems to adapt to dynamic and complex environments. This requires intuitive and efficient user interfaces, with hand gesture interaction emerging as a promising approach. Additionally, the integration of Extended Reality (XR) has shown potential to support HRI. However, several challenges remain that must be addressed to ensure efficient HRI. First, accurate interaction and the integration of XR into robotic workspaces require a spatial registration between the robot and the corresponding interaction or virtual coordinate frames. Therefore, the first part of this thesis explores XR-to-robot registration techniques, demonstrating that point-based methods enable efficient registration. Further analysis revealed that registration accuracy can be significantly improved by carefully selecting the tracking method and point characteristics. Registration accuracy can be further enhanced by employing a proposed refinement approach, which integrates points recorded between registration points. The second part addresses interaction-specific challenges. Hand gestures inherently lack haptic feedback, which can complicate contact-intensive tasks. Two approaches are explored to mitigate this: partial automation and sensory substitution. Results indicate that both strategies improve performance while partial automation also reduces operator workload. Another challenge arising is fatigue caused by the sustained hand posture. To address this, different control modes and sensor placements are explored. It is found that position control outperforms rate control, and that while robot-mounted sensors enable precise control, environment-mounted sensors can reduce fatigue. Human-centered investigations require extensive user studies, which are often constrained by the cost and limited availability of physical robotic setups. XR environments offer a promising alternative by simulating such setups. To evaluate the validity of results from user studies conducted in XR environments, this thesis compares two degrees of virtualization across three tasks. The findings indicate that while performance in precision tasks is setupdependent, XR-based studies can produce valid results for broader tasks. A follow-up study on force assistance techniques in both XR and physical setups extends these findings, showing that even when absolute performance differs, relative trends remain consistent across environments. By addressing three key factors - registration, interaction design, and evaluation setup - this work is an important step towards efficient HRI. The findings provide evidence-based recommendations for registration techniques, force assistance strategies, interaction design, and the use of XR in user studies, contributing to more intuitive and accessible HRI.

Die Mensch-Roboter-Interaktion (HRI) ermöglicht die Integration menschlicher Expertise in die Robotersteuerung, wodurch sich Robotersysteme an dynamische und komplexe Umgebungen anpassen können. Ein vielversprechender Ansatz für die dafür erforderliche intuitive und effiziente Steuerung ist die Interaktion mittels Handgesten. Darüber hinaus hat sich die Integration von Extended Reality (XR) als unterstützend für die HRI erwiesen. Dennoch bestehen weiterhin Herausforderungen, deren Bewältigung eine Voraussetzung für eine effiziente Steuerung darstellt. Zunächst erfordern die präzise Interaktion und Integration von XR in Arbeitsbereiche von Robotern eine räumliche Registrierung zwischen dem Roboter und den entsprechenden Interaktions- oder virtuellen Koordinatensystemen. Daher untersucht der erste Teil dieser Arbeit XR-zu-Roboter- Registrierungstechniken und zeigt, dass punktbasierte Methoden eine effiziente Registrierung ermöglichen. Weitere Analysen verdeutlichen, dass die Registrierungsgenauigkeit durch die gezielte Auswahl der Trackingmethode und der Eigenschaften der verwendeten Punkte signifikant verbessert werden kann. Die Registrierungsgenauigkeit kann weiter erhöht werden, indem ein Verfeinerungsansatz angewendet wird, der Punkte einbezieht, die zwischen den Registrierungspunkten erfasst wurden. Der zweite Teil der Arbeit befasst sich mit interaktionsspezifischen Herausforderungen. Freihandgesten bieten definitionsgemäß kein haptisches Feedback, wodurch kontaktintensive Aufgaben erschwert werden. Um dies zu kompensieren, werden zwei Ansätze untersucht: Teilautomatisierung und sensorische Substitution. Die Ergebnisse zeigen, dass beide Strategien die Leistung verbessern können, wobei die Teilautomatisierung zusätzlich die Arbeitsbelastung der Benutzer*innen reduziert. Eine weitere Herausforderung ist die Muskelermüdung durch die andauernde Handhaltung. Um dem entgegenzuwirken, werden verschiedene Steuerungsmodi und Sensorplatzierungen evaluiert. Dabei zeigte sich, dass die Positionssteuerung der Geschwindigkeitssteuerung überlegen ist und dass am Roboter befestigte Sensoren zwar eine präzise Steuerung ermöglichen, in der Roboterumgebung platzierte Sensoren, jedoch die Ermüdung verringern können. Da menschenzentrierte Untersuchungen umfangreiche Nutzerstudien erfordern, diese jedoch häufig durch Kosten und begrenzten Zugang zu physischer Hardware eingeschränkt sind, bieten XR-Umgebungen eine vielversprechende Alternative, indem Testumgebungen simuliert werden. Zur Bewertung ihrer Validität vergleicht diese Arbeit zwei Virtualisierungsgrade anhand dreier Aufgaben. Die Ergebnisse zeigen, dass die Leistung bei Präzisionsaufgaben zwar von der Studienumgebung abhängt, XR-basierte Studien für gröbere Aufgaben jedoch valide Ergebnisse liefern können. Eine ergänzende Studie zu Kraftunterstützungstechniken in XR- und physischen Umgebungen erweitert diese Ergebnisse und zeigt, dass selbst bei unterschiedlichen absolute Ergebnissen, relative Trends über die Umgebungen hinweg vergleichbar sind. Durch die Analyse der drei zentralen Einflussfaktoren - Registrierung, Interaktionsdesign und Evaluierungsumgebung - leistet die vorliegende Arbeit einen wichtigen Beitrag zur Entwicklung effizienter HRI. Aus den Ergebnissen lassen sich evidenzbasierte Empfehlungen für Registrierungstechniken, Strategien zur Kraftunterstützung, das Interaktionsdesign sowie den Einsatz von XR in Nutzerstudien ableiten. Diese tragen zu einer intuitiveren und zugänglicheren HRI bei.