Multi-agent reinforcement learning for deadlock handling among autonomous mobile robots

Abstract

This dissertation explores the application of multi-agent reinforcement learning (MARL) for handling deadlocks in intralogistics systems that rely on autonomous mobile robots (AMRs). AMRs enhance operational flexibility but also increase the risk of deadlocks. Existing approaches often neglect deadlock handling in the planning phase and rely on rigid control rules that cannot adapt to dynamic operational conditions. To address these shortcomings, this work develops a methodology for integrating MARL into logistics planning. It introduces reference models that explicitly consider deadlocks in multi-agent pathfinding (MAPF) problems. The thesis compares traditional deadlock handling strategies with MARL-based solutions, focusing on PPO and IMPALA under different training and execution modes. Findings reveal that MARL-based strategies, particularly when combined with centralized training and decentralized execution (CTDE), outperform rule-based methods in complex, congested environments.

Diese Dissertation untersucht die Anwendung von Multi-Agenten-Reinforcement-Learning (MARL) zur Behandlung von Deadlocks in Intralogistiksystemen, die auf autonomen mobilen Robotern (AMRs) basieren. AMRs erhöhen die operative Flexibilität, steigern jedoch gleichzeitig das Risiko von Deadlocks. Bestehende Ansätze vernachlässigen häufig die Deadlock-Behandlung in der Planungsphase und stützen sich auf starre Steuerungsregeln, die sich nicht an dynamische Betriebsbedingungen anpassen können. Zur Behebung dieser Schwächen wird in dieser Arbeit eine Methodik zur Integration von MARL in die Logistikplanung entwickelt. Sie führt Referenzmodelle ein, die Deadlocks in Multi-Agenten-Pfadfindungsproblemen (MAPF) explizit berücksichtigen. Die Dissertation vergleicht traditionelle Strategien zur Deadlock-Behandlung mit MARL-basierten Lösungen und konzentriert sich dabei auf PPO und IMPALA unter verschiedenen Trainings- und Ausführungsmodi.