JAMES

Joint Action for Multimodal Embodied Social Systems

Projektergebnisse

Im Projekt JAMES erforschten wir die spontane Mensch-Roboter-Interaktion. Wissenschaftlich wurde unser Roboter-Barkeeper in zahlreichen Benutzerstudien evaluiert (siehe ICMI 2012 und ICMI 2013); ebenfalls neue Ergebnisse gab es besonders in der Mensch-Mensch-Interaktion (Frontiers-Artikel) und in der Roboter-Aufgabenplanung für MRI-Systeme (siehe ICAPS 2013).

Das JAMES-Projekt traf auf hohe Aufmerksamkeit in den Medien in zahlreichen Zeitungsartikeln wie im Scientific American, Radio-Interviews auf BBC und WGN Chicago, sowie TV-Dokumentationen in den Fernsehmagazinen 3sat nano und Pro7 Galileo.

Projektbeschreibung 

Das Ziel des Projekts JAMES ist es, einen Roboter zu entwickeln, der in der Lage ist mit Menschen in öffentlichen Räumen zu interagieren. Dabei ist es wichtig, dass der Roboter nicht nur die ihm gestellte Aufgabe richtig erfüllt, sondern auch die sozialen Bedürfnisse der Menschen berücksichtigt. Dazu muss der Roboter unterschiedliche Situationen schnell begreifen können, im speziellen Situationen, in denen er mit mehreren Menschen gleichzeitig interagiert. Zur Erprobung dieses Zieles baut das JAMES-Projekt einen Roboter, der als Barkeeper arbeitet, der Bestellungen von Menschen entgegen nimmt und Getränke an Kunden ausgibt. Die Robotikgruppe bei fortiss ist in JAMES für den Aufbau und den Betrieb des JAMES-Robotersystems verantwortlich. Aus Forschungssicht sind für fortiss die Generierung von natürlich wirkenden Arm- und Kopfbewegungen des Roboters und die Sicherheit des Menschen während der Interaktion von Interesse.

Forschungsbeitrag

Die Forschung der JAMES-Projektpartner folgt vier Grundprinzipien:

  1. Soziale Interaktion basiert auf und ist ein Beispiel für Zusammenarbeit.
  2. Um eine erfolgreiche aufgabenorientierte Interaktion zu garantieren, benötigt man eine erfolgreiche soziale Interaktion.
  3. Soziale Interaktion findet oft zwischen mehreren Interaktionspartnern statt und ist häufig dynamisch und kurz.
  4. Soziale Fähigkeiten sollten gelernt und nicht programmiert werden. 

Um das Hauptziel des Projekts zu erreichen, einen Roboter zu bauen, der auf soziale Art mit Menschen interagieren kann, erforschen die JAMES-Projektpartner neue Methoden und Algorithmen in den Bereichen

  • visuelle Erkennung von mehreren Menschen trotz häufiger Verdeckung der Sicht
  • robuste Verarbeitung natürlicher Sprache und multimodale Fusion
  • wissensbasiertes Planen mit unvollständiger Information
  • Erkennung von Interaktionszuständen und Erlernung von sozialer Kompetenz basierend auf maschinellem Lernen
  • Generierung von multimodalen Ausgaben und natürlichen, sicheren Roboterbewegungen
  • Sammlung von Daten von Interaktionen zwischen Menschen im öffentlichen Raum

Partner

University of Edinburgh
Insitute for Language, Cognition and Computation
Dr. Ronald Petrick, Prof. Alex Lascarides, Amy Isard
http://www.ilcc.inf.ed.ac.uk/

Universität Bielefeld
Lehrstuhl für Psycholinguistik
Prof. Jan de Ruiter, Dr. Sebastian Loth, Kerstin Huth
http://www.uni-bielefeld.de/lili/personen/jruiter/

Foundation for Research and Technology - Hellas
Computational Vision and Robotics Laboratory,
Prof. Panos Trahanias, Dr. Maria Pateraki, Markos Sigalas
http://www.ics.forth.gr/cvrl/ 

Heriot-Watt University Edinburgh
Interaction Lab
Prof. Oliver Lemon, Dr. Mary Ellen Foster, Dr. Simon Keizer, Dr. Zhouran Wang
http://www.macs.hw.ac.uk/InteractionLab

Förderung

Das JAMES Projekt (Grant No. 270435) wird von der Europäischen Kommission im siebten Rahmenprogramm gefördert.

VERÖFFENTLICHUNGEN

Liste als BibTeX-Datei exportieren

  • Andre Gaschler, Ingmar Kessler, Ronald P. A. Petrick und Alois Knoll. Extending the Knowledge of Volumes Approach to Robot Task Planning with Efficient Geometric Predicates. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2015. Details DOI BibTeX
  • Ronald P. A. Petrick und Andre Gaschler. Knowledge-Level Planning for Robot Task Planning and Human-Robot Interaction. In RSS Workshop on Combining AI Reasoning and Cognitive Science with Robotics, 2015. Details BibTeX
  • Andre Gaschler, Quirin Fischer und Alois Knoll. The Bounding Mesh Algorithm. TUM-I1522, Technische Universität München, Munich, Germany, 2015. Details BibTeX
  • Sören Jentzsch, Andre Gaschler, Oussama Khatib und Alois Knoll. MOPL: A Multi-Modal Path Planner for Generic Manipulation Tasks. In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, Germany, 2015. Details DOI BibTeX
  • Alina Roitberg, Alexander Perzylo, Nikhil Somani, Manuel Giuliani, Markus Rickert und Alois Knoll. Human Activity Recognition in the Context of Industrial Human-Robot Interaction. In Proceedings of the AsiaPacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), pages 1–10, Siem Reap, Cambodia, 2014. Details DOI BibTeX
  • Andre Gaschler, Maximilian Springer, Markus Rickert und Alois Knoll. Intuitive Robot Tasks with Augmented Reality and Virtual Obstacles. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), pages 6026–6031, Hong Kong, China, 2014. Details DOI BibTeX
  • Manuel Giuliani, Thomas Marschall und Amy Isard. Using Ellipsis Detection and Word Similarity for Transformation of Spoken Language into Grammatically Valid Sentences. In Proceedings of the 15th Annual SIGdial Meeting on Discourse and Dialogue (SIGDIAL 2014), Philadelphia, USA, 2014. Details BibTeX
  • Sebastian Loth, Manuel Giuliani und Jan P. de Ruiter. Ghost-in-the-Machine: Initial Results. In Proceedings of the 9th ACM/IEEE International Conference on Human-Robot Interaction (HRI 2014), Bielefeld, Germany, 2014. Details BibTeX
  • Ronald P. A. Petrick und Andre Gaschler. Extending Knowledge-Level Contingent Planning to Robot Task Planning. In International Conference on Automated Planning and Scheduling Workshop on Planning and Robotics (PlanRob 2014), 2014. Details BibTeX
  • Simon Keizer, Mary Ellen Foster, Andre Gaschler, Manuel Giuliani, Amy Isard und Oliver Lemon. Handling uncertain input in multi-user human-robot interaction. In Proceedings of the 23rd IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), 2014. Details BibTeX
  • Andre Gaschler, Svetlana Nogina, Ronald P. A. Petrick und Alois Knoll. Planning Perception and Action for Cognitive Mobile Manipulators. In Proceedings of SPIE Volume 9025 – Intelligent Robots and Computer Vision XXXI: Algorithms and Techniques, 2014. Details BibTeX
  • Andre Gaschler, Ronald P. A. Petrick, Manuel Giuliani, Markus Rickert und Alois Knoll. KVP: A Knowledge of Volumes Approach to Robot Task Planning. In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 202–208, Tokyo, Japan, 2013. Details DOI BibTeX
  • Mary Ellen Foster, Manuel Giuliani und Amy Isard. Task-Based Evaluation of Context-Sensitive Referring Expressions in Human-Robot Dialogue. Language and Cognitive Processes, ():, 2013. Details DOI BibTeX
  • Manuel Giuliani, Ronald P. A. Petrick, Mary Ellen Foster, Andre Gaschler, Amy Isard, Maria Pateraki und Markos Sigalas. Comparing Task-Based and Socially Intelligent Behaviour in a Robot Bartender. In Proceedings of the 15th ACM International Conference on Multimodal Interaction (ICMI 2013), Sydney, Australia, 2013. Details DOI BibTeX
  • Mary Ellen Foster, Andre Gaschler und Manuel Giuliani. How Can I Help You? Comparing Engagement Classification Strategies for a Robot Bartender. In Proceedings of the 15th ACM International Conference on Multimodal Interaction (ICMI 2013), Sydney, Australia, 2013. Details DOI BibTeX
  • Andre Gaschler, Ronald P. A. Petrick, Torsten Kröger, Oussama Khatib und Alois Knoll. Robot Task and Motion Planning with Sets of Convex Polyhedra. In Robotics: Science and Systems (RSS) Workshop on Combined Robot Motion Planning and AI Planning for Practical Applications, 2013. Details BibTeX
  • Andre Gaschler, Ronald P. A. Petrick, Torsten Kröger, Alois Knoll und Oussama Khatib. Robot Task Planning with Contingencies for Run-time Sensing. In Proceedings of the Workshop on Combining Task and Motion Planning, IEEE International Conference on Robotics and Automation (ICRA), 2013. Details BibTeX
  • Simon Keizer, Mary Ellen Foster, Oliver Lemon, Andre Gaschler und Manuel Giuliani. Training and evaluation of an MDP model for social multi-user human-robot interaction. In Proceedings of the 14th Annual SIGdial Meeting on Discourse and Dialogue, 2013. Details BibTeX
  • Manuel Giuliani und Alois Knoll. Using Embodied Multimodal Fusion to Perform Supportive and Instructive Robot Roles in Human-Robot Interaction. International Journal of Social Robotics, 5(3):345–356, 2013. Details DOI BibTeX
  • Andre Gaschler, Kerstin Huth, Manuel Giuliani, Ingmar Kessler, Jan de Ruiter und Alois Knoll. Modelling State of Interaction from Head Poses for Social Human-Robot Interaction. In Proceedings of the Gaze in Human-Robot Interaction Workshop held at the 7th ACM/IEEE International Conference on Human-Robot Interaction (HRI 2012), Boston, MA, 2012. Details BibTeX
  • Andre Gaschler, Sören Jentzsch, Manuel Giuliani, Kerstin Huth, Jan de Ruiter und Alois Knoll. Social Behavior Recognition Using Body Posture and Head Pose for Human-Robot Interaction. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2012. Details DOI BibTeX
  • Mary Ellen Foster, Andre Gaschler, Manuel Giuliani, Amy Isard, Maria Pateraki und Ronald P. A. Petrick. Two People Walk Into a Bar: Dynamic Multi-Party Social Interaction with a Robot Agent. In Proceedings of the 14th ACM International Conference on Multimodal Interaction (ICMI 2012), 2012. Details BibTeX