부산대학교 도서관

최근 차량의 각 휠 내에 주행, 제동, 조향 및 서스펜션 시스템을 통합한 e-Corner 모듈이 개발됨에 따라, 4륜 독립 구동 및 조향 차량의 제어 전략에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 4륜 독립 조향 차량에서 PPO 강화 학습을 활용한 경로 추종 제어기를 제안한다. 학습에는 회전 반경 게인 변수를 도입하여 4륜 독립 조향 차량의 조향 모드를 동적으로 전환시킬 수 있는 조향 알고리즘을 사용하였다.차량 동역학 시뮬레이터를 활용하여 저곡률과 고곡률 경로가 반복되는 무작위 경로를 생성하였으며, 차선 변경 경로와 정지 장애물을 확률적으로 배치하여 경로 추종 이외에도 차선 변경과 정지 장애물 회피에 대한 학습을 진행하였다. 강화학습 제어기는 비교 제어기 Pure Pursuit, Stanley에 비해 경로 추종 성능은 가장 좋았으나 평균 횡 가가속도에서 성능이 좋지 않았다.학습된 에이전트의 활용 가능성 여부를 검증하기 위해 강화학습 에이전트의 경로 추종 성능을 실차 환경에서 검증하였다. 실험에는 Niro EV 차량을 사용하였으며, 4륜 독립 조향 알고리즘을 Niro EV에 적용하기 위해 같은 회전 반경을 가지는 애커만 조향 값을 계산하였다. 경로 추종은 잘 수행되었으나 직진 구간과 선회 구간에서 가상환경에서의 검증과 동일하게 조향 값이 고정되지 않고 떨리는 현상이 확인되었다.강화학습 제어기의 조향 떨림 현상을 보완하기 위해 에이전트의 입출력 데이터를 분석하여 에이전트 행동 기반 룰베이스 제어기를 설계하였다. 설계된 제어기는 강화학습 제어기보다 경로 추종 성능이 다소 하락하였지만, 조향 떨림 현상이 사라져 평균 횡 가가속도, 최대 횡 가가속도에서 높은 수치의 성능 개선이 이루어졌다. 이를 통해 일반 제어기로는 주행하기 어려운 고곡률 경로 추종 성능을 확보함과 동시에 차량의 횡 방향 안정성을 확보한 4륜 독립 조향 제어기를 개발할 수 있었다.
With the recent development of an e-Corner module that integrates driving, braking, steering, and suspension systems within each vehicle wheel, research on control strategies of four-wheel independent driving and steering vehicles is being actively conducted. This paper proposes a path-following controller for four-wheel independent steering vehicles using PPO reinforcement learning. The learning process incorporates a rotation radius gain variable to dynamically switch the steering mode of the four-wheel independent steering vehicle.A vehicle dynamics simulator was used to generate random paths with repeated low and high curvature paths. Lane change paths and stationary obstacles were probabilistically placed to facilitate learning not only path tracking but also lane change maneuvers and obstacle avoidance. The reinforcement learning controller has the best path follow-tracking performance compared to the comparison controllers Pure Pursuit and Stanley but did not perform well at average lateral jerk.To validate the applicability of the trained agent, the path-following performance of the reinforcement learning agent was tested in a real vehicle environment. The experiments were conducted using the Niro EV vehicle, and the Ackermann steering values with the same turning radius were calculated to apply the four-wheel independent steering algorithm to the Niro EV. Path tracking was performed successfully, but similar to the verification in the virtual environment, the steering values exhibited a trembling phenomenon rather than being fixed during straight and turning sections.To mitigate the steering trembling issue of the reinforcement learning controller, an agent-based rule-based controller was designed by analyzing the input and output data of the agent. The designed controller showed a slight decrease in path-following performance compared to the reinforcement learning controller but significantly improved the steering trembling issue. It achieved higher performance improvements in terms of an average lateral jerk and maximum lateral jerk. As a result, we developed a four-wheel independent steering controller that ensures high-performance path tracking on challenging high curvature paths while maintaining the vehicle's lateral stability.