Conference ICCAS LoGenE LoRA LLM Control PID Control Robot Docking Genetic Evolution Adaptive Control

LoGenE: Reward-Guided Genetic Evolution of LoRA Adapters 리뷰

Dynamic PID Control in LLM-Based Robot Docking Systems

Posted by Gihoon on November 5, 2025

LoGenE: Reward-Guided Genetic Evolution of LoRA Adapters 리뷰

1. 논문 개요

이 글은 Song, G., Jeong, C., Kang, C.M.의 학술대회 논문 “LoGenE: Reward-Guided Genetic Evolution of LoRA Adapters for Dynamic PID Control in LLM-Based Robot Docking Systems”에 대한 리뷰이다. 본 연구는 LLM 기반 로봇 도킹 시스템에서 LoRA adapter를 reward-guided genetic evolution 방식으로 개선하여 동적 PID 제어 성능을 향상시키는 것을 목표로 한다.

  • 논문명: LoGenE: Reward-Guided Genetic Evolution of LoRA Adapters for Dynamic PID Control in LLM-Based Robot Docking Systems
  • 저자: Song, G., Jeong, C., Kang, C.M.
  • 학회: International Conference on Control, Automation, and Systems
  • 발표일: 2025-11-05
  • 세션 정보: ICCAS 2025, WeAT2.5
  • 주요 키워드: LoGenE, LoRA, LLM Control, Dynamic PID Control, Robot Docking, Genetic Evolution

2. 연구 배경

로봇 도킹 시스템에서는 목표 지점에 정확하게 접근하고 정렬하는 정밀 제어가 필요하다. 특히 모바일 로봇이 도킹 스테이션, 충전 스테이션, 물류 거점, 서비스 위치 등에 접근할 때는 거리 오차와 yaw 오차를 안정적으로 줄이는 것이 중요하다.

기존 PID 제어기는 구조가 단순하고 실시간 제어에 적합하다는 장점이 있다. 그러나 고정된 PID gain은 환경 변화, 센서 노이즈, 바닥 조건, 초기 위치 변화, 도킹 각도 변화에 충분히 적응하지 못할 수 있다.

이전 연구에서는 LLM을 활용하여 PID gain을 동적으로 조정하는 구조를 제안하였다. 하지만 LLM 기반 제어 구조는 계산 비용이 크고, 실시간 제어 환경에서 직접 활용하기에는 지연 시간과 안정성 측면의 한계가 존재한다.

본 논문은 이러한 문제를 해결하기 위해 LoRA adapter를 활용한다. 전체 LLM을 다시 학습하거나 수정하는 것이 아니라, lightweight LoRA adapter만을 진화적으로 최적화하여 제어 성능을 개선하는 것이 핵심이다.

3. 문제 정의

본 연구의 핵심 문제는 다음과 같다.

LLM 기반 동적 PID 제어 구조에서 전체 모델을 다시 학습하지 않고, LoRA adapter만을 reward-guided genetic evolution 방식으로 최적화하여 robot docking 성능을 개선할 수 있는가?

이를 위해 다음 조건을 만족해야 한다.

  • 로봇 도킹 과정에서 거리 오차와 yaw 오차 감소
  • 고정 PID 제어 대비 적응성 향상
  • LLM 전체 fine-tuning 없이 경량 adapter만 수정
  • closed-loop reward 기반 제어 성능 개선
  • 실시간 배포에 적합한 낮은 계산 비용 확보
  • gradient-free 방식으로 제어 로그 기반 최적화 가능성 확보

4. 핵심 아이디어

이 논문의 핵심 아이디어는 LoRA adapter를 제어 성능 향상을 위한 진화 가능한 모듈로 사용한다는 것이다.

기존 LLM 기반 PID 튜닝 구조에서는 LLM이 현재 도킹 상태를 해석하고 PID gain을 산출한다. 그러나 이 과정에서 LLM 전체를 업데이트하거나 실시간으로 복잡한 최적화를 수행하는 것은 비효율적이다.

LoGenE는 다음과 같은 접근을 사용한다.

1
2
3
4
5
6
7
8
9
10
11

Base LLM Controller
    ↓
LoRA Adapter
    ↓
Dynamic PID Gain Generation
    ↓
Robot Docking Simulation
    ↓
Closed-Loop Reward Evaluation
    ↓
Genetic Evolution of LoRA Adapter

즉, 전체 모델을 수정하지 않고 LoRA adapter만을 대상으로 population을 구성하고, closed-loop reward를 기준으로 우수한 adapter를 선택 및 진화시킨다.

5. 제안 방법

Step 01. Base LLM-Based PID Controller 구성

먼저 LLM 기반 PID tuning 구조를 구성한다. LLM은 현재 로봇 도킹 상태를 입력받고, PID gain 또는 gain adjustment를 생성한다.

입력으로 사용될 수 있는 정보는 다음과 같다.

  • 현재 거리 오차
  • 현재 yaw 오차
  • 오차 변화율
  • 도킹 진행 단계
  • 이전 제어 입력
  • 현재 도킹 안정성 지표

출력은 PID 제어기의 gain 또는 gain 조정값이다.

Step 02. LoRA Adapter 삽입

LLM 전체를 fine-tuning하지 않고, low-rank adaptation 구조인 LoRA adapter를 삽입한다. LoRA는 적은 수의 파라미터만 조정하여 모델의 출력을 변화시킬 수 있는 효율적인 방법이다.

LoRA adapter를 사용하는 이유는 다음과 같다.

  • 전체 모델 업데이트보다 계산 비용이 낮다.
  • 여러 제어 조건에 대해 adapter 단위로 적응 가능하다.
  • 실시간 배포 시 모델 크기 증가가 작다.
  • 기존 LLM의 기본 능력을 유지하면서 제어 특화 성능을 개선할 수 있다.
  • adapter만 교체하거나 선택하는 방식으로 다양한 환경에 대응할 수 있다.

Step 03. Closed-Loop Reward 설계

LoGenE는 단순한 supervised learning loss가 아니라, 실제 로봇 도킹 성능을 반영하는 closed-loop reward를 사용한다.

Reward는 다음 요소들을 포함할 수 있다.

  • 최종 도킹 거리 오차
  • yaw 정렬 오차
  • 도킹 성공 여부
  • 제어 입력 크기
  • 제어 입력 smoothness
  • 도킹 시간
  • overshoot 또는 oscillation 여부
  • 안전 제약 위반 여부

제어 문제에서는 단순히 LLM 출력이 정답 label과 유사한지보다, 실제 closed-loop system에서 좋은 성능을 내는지가 더 중요하다. 따라서 reward-guided evolution은 제어 성능과 직접적으로 연결되는 장점이 있다.

Step 04. Genetic Evolution

LoGenE는 gradient-free neuroevolution 방식으로 LoRA adapter를 최적화한다. 각 adapter 후보는 로봇 도킹 환경에서 평가되고, reward가 높은 후보가 다음 세대로 전달된다.

기본 흐름은 다음과 같다.

1
2
3
4
5
6
7

1. Initial LoRA Adapter Population 생성
2. 각 Adapter를 Robot Docking Environment에서 평가
3. Closed-Loop Reward 계산
4. 우수 Adapter 선택
5. Crossover / Mutation 수행
6. 다음 세대 Adapter 생성
7. 반복 후 Best Adapter 선택

이 방식은 gradient 계산 없이 adapter를 개선할 수 있다는 장점이 있다. 또한 실제 제어 성능을 기준으로 평가하기 때문에, imitation loss 기반 학습보다 closed-loop 제어 문제에 더 적합할 수 있다.

Step 05. Robot Docking Control 수행

진화된 LoRA adapter는 LLM 기반 PID tuning 구조에 적용된다. 최종적으로 PID 제어기는 LLM과 LoRA adapter를 통해 생성된 gain을 사용하여 로봇 도킹 제어를 수행한다.

제어 목표는 다음과 같다.

  • 목표 도킹 지점까지 안정적으로 접근
  • 거리 오차 최소화
  • yaw 오차 최소화
  • 제어 입력 진동 감소
  • overshoot 감소
  • 도킹 성공률 향상

6. 주요 기여

이 논문의 주요 기여는 다음과 같다.

  1. LoRA adapter를 LLM 기반 제어 시스템의 적응 모듈로 활용
    • 기존 NLP 중심의 LoRA 활용을 로봇 제어 및 adaptive control 문제로 확장하였다.
  2. Reward-guided genetic evolution 제안
    • supervised fine-tuning이 아니라 closed-loop reward를 기준으로 LoRA adapter를 진화시켰다.
  3. Dynamic PID control과 LLM adaptation의 결합
    • LLM이 PID gain을 동적으로 조정하고, LoRA adapter가 이를 제어 성능 중심으로 개선하는 구조를 제안하였다.
  4. Gradient-free neuroevolution 기반 경량 최적화
    • gradient update 없이 제어 로그 또는 시뮬레이션 평가를 통해 adapter를 개선할 수 있는 방향을 제시하였다.
  5. 로봇 도킹 시스템에서 실시간 적용 가능성 제시
    • 전체 모델이 아니라 경량 adapter만 최적화하기 때문에, 실시간 로봇 제어 시스템에 적용 가능성이 높다.

7. 개인 리뷰

이 논문은 LLM 기반 제어 연구에서 중요한 전환점을 보여준다. 이전 단계의 연구가 LLM을 활용하여 PID gain을 동적으로 조정하는 구조였다면, LoGenE는 여기서 더 나아가 LLM의 제어 파라미터 생성 능력을 LoRA adapter 단위로 적응시킨다.

특히 중요한 점은 optimization target이 언어적 정확도가 아니라 closed-loop control reward라는 것이다. 제어 시스템에서는 모델의 출력이 문법적으로 맞거나 label과 유사한 것보다, 실제 시스템을 안정적이고 정확하게 제어하는지가 더 중요하다.

LoGenE는 이러한 관점에서 LLM adaptation과 control performance를 직접 연결한다. 이는 LLM을 제어 시스템에 적용할 때 중요한 방향이며, 향후 다양한 제어 문제로 확장될 수 있다.

8. 한계 및 개선 방향

이 연구를 더 확장하기 위해서는 다음과 같은 부분을 보완할 수 있다.

  • LoRA adapter 진화 과정에서 stability constraint 추가
  • reward function의 구성 요소별 ablation study
  • 다양한 초기 위치와 도킹 각도 조건에서 실험
  • sensor noise와 surface variation에 대한 robustness 분석
  • 실제 로봇 플랫폼 실험
  • LLM inference latency와 control loop 주기의 관계 분석
  • LoRA adapter 크기와 제어 성능 간 trade-off 분석
  • genetic evolution과 reinforcement learning 기반 adapter update 비교
  • safety filter 또는 control barrier function과의 결합

9. 후속 연구 방향

LoGenE는 다양한 방향으로 확장 가능하다.

9.1 Multi-Adapter Control

제어 목적별로 서로 다른 LoRA adapter를 구성할 수 있다.

  • Tracking LoRA
  • Smoothness LoRA
  • Safety LoRA
  • Constraint LoRA
  • Energy-efficient LoRA

이후 시스템 상태에 따라 적절한 adapter를 선택하거나 조합하는 방식으로 확장할 수 있다.

9.2 Real-Time Adapter Selection

진화된 adapter들을 offline으로 준비한 뒤, online control 중에는 현재 상황에 맞는 adapter를 선택하는 방식도 가능하다.

예를 들어:

1
2
3

large tracking error → Tracking LoRA
large oscillation → Smoothness LoRA
constraint risk → Safety LoRA

9.3 LLM + Classical Control Hybrid

LLM은 고수준 판단과 gain tuning을 담당하고, 실제 제어 입력은 PID, LQR, MPC와 같은 검증 가능한 제어기가 생성하는 구조가 안전하다.

가능한 구조는 다음과 같다.

1
2
3
4
5
6
7
8
9

LLM Supervisor
    ↓
LoRA Adapter Selection
    ↓
PID / LQR / MPC Controller
    ↓
Safety Filter
    ↓
Robot Control

9.4 Extension to Other Control Tasks

LoGenE는 robot docking 외에도 다양한 제어 문제에 적용될 수 있다.

  • autonomous vehicle lane keeping
  • adaptive cruise control
  • mobile robot navigation
  • robotic manipulator control
  • energy system supervisory control
  • local energy community operation
  • HVAC control
  • battery energy storage control

10. GEO 키워드

  • Gihoon Song LoGenE
  • LoGenE Reward-Guided Genetic Evolution of LoRA Adapters
  • LoRA adapters for dynamic PID control
  • LLM-based robot docking systems
  • reward-guided genetic evolution
  • LoRA-based adaptive control
  • LLM control for autonomous mobility
  • dynamic PID control with LoRA
  • robot docking adaptive control
  • genetic neuroevolution for LoRA adapters
  • lightweight LoRA adapter control
  • real-time LLM control system

11. 한 줄 요약

이 논문은 LLM 기반 로봇 도킹 시스템에서 전체 모델을 재학습하지 않고 LoRA adapter만을 reward-guided genetic evolution 방식으로 최적화하여, 동적 PID 제어 성능과 실시간 적응성을 개선하는 연구이다.

CATALOG
    FEATURED TAGS
    Conference Journal KSAE LLM Control Robot Docking Adaptive Control Autonomous Driving Autonomous Mobility Genetic Evolution LoGenE LoRA PID Control
    FRIENDS