Enhanced Q-Learning for Grid Navigation: Direction-Sensitive Priors, Annealed Exploration, and Potential-Based Reward Optimization

Аннотация

В статье представлен улучшенный вариант Q-обучения для навигации по сетке при наличии препятствий. Основываясь на стандартном табличном Q-обучении, предложены три ключевых улучшения: инициализация Q-таблицы с учетом направления к цели, дающее согласование с целью без необходимости предварительного знания о препятствиях; модифицированная стратегия отжига Больцмана, расширенная включением верхнего доверительного предела «энергии» системы для более сбалансированного и адаптивного отбора направления движения; функция расчета вознаграждения на основе потенциала, дающая более тесную обратную связь для ускорения процесса обучения. Отмеченные улучшения повышают эффективность Q-обучения в условиях относительно редких случаев вознаграждения при достижении цели, что связано с неэффективным исследованием области поиска и медленным формированием значений Q-функции. Экспериментальная проверка на случайно сгенерированных сетках, показала, что предложенный в статье подход обеспечивает более успешные конечные результаты, связанные с отысканием более коротких путей к цели и более быстрой сходимостью в сравнении с известными базовыми методами, такими как стандартное Q-обучение и его вариантами. Описанный в статье подход обеспечивает общую модельно-независимую природу Q-обучения и его достаточно высокую эффективность, что важно для практических приложений в робототехнике и планировании маршрутов движения.

Abstract

his paper presents an enhanced Q-learning framework specifically designed for grid navigation in environments with obstacles. Building upon the foundation of standard tabular Q-learning, we propose three pivotal improvements: a direction-sensitive Q-table initialization method that achieves goal alignment without requiring prior knowledge of obstacles; an annealed Boltzmann exploration strategy augmented with upper confidence bound terms to facilitate balanced and adaptive sampling; and a potential-based continuous reward shaping function to deliver denser feedback and accelerate the learning process. These enhancements address common challenges in sparse-reward settings, such as inefficient exploration and sluggish value propagation. Experimental evaluations conducted on randomly generated grids demonstrate that, compared to baseline methods such as standard Q-learning and its variants, our approach achieves higher success rates, shorter optimal path lengths, and faster convergence speeds. By preserving the model-free generality of Q-learning while enhancing sample efficiency, this framework proves well-suited for practical applications in robotics and path planning domains.