스카이커맨더

■ 완성 소개

(문제 정의)

현대 전술 무인 로봇의 문제점은 기술이 첨단화 되었음에도 제어 방식은 여전히 수동 조작에 의존한다는 것입니다. 기존에 군용 무인 차량을 작전에 투입하기 위해서는 조종 병사를 양성하는데 막대한 시간과 비용이 소모됩니다. 또한 실전에서 작업자가 컨트롤러를 휴대하고 1인칭 화면을 보며 조종하는 것은 난이도가 높을 뿐 아니라 전방 주시 태만과 같은 전투력 손실이 발생하게 됩니다.

(스타크래프트에서 찾은 직관적 인터페이스)

우리는 수십 년간 아주 간편하고, 효율적인 무인 자원 제어 방식을 화면을 통해 경험하고, 훈련해 왔습니다. 스타크래프트와 같은 실시간 전략 게임은 복잡한 조이스틱 없이 미니맵의 마우스 클릭 한번으로 전술 유닛들이 이동하게 됩니다. Project 천안: Sky Commander는 대중적이고, 직관적인 사용자 경험을 현실을 군사 기술로 적용함으로써 ‘단일 클릭 기반 전술 제어 인터페이스’를 구축하고자 기획하였습니다.

(전술 미니맵 현실화)

공중 비전 센싱 기술과 지상 액추에이터 제어 및 알고리즘을 유기적으로 결합하여 운영자에게 편리함과 직관적인 HRI 환경을 제공합니다. 작전 지역 상공의 정찰 옵저버(웹 캠)가 전장을 촬영하면 3인칭 상공 시점에서 내려다보는 영상이 운영자(중앙 관리자)의 모니터에 보여집니다. 이 영상은 게임 속의 ‘미니맵’과 같은 형태로 투영됨으로써, 작전 지역에서 넓은 시야를 확보할 수 있게 됩니다. 운영자(중앙 관리자)가 모니터 화면 위에서 지원이 필요한 지역이나 아군의 진지를 클릭하면 OpenCV가 화면상의 2D 픽셀좌표를 실제 공간의 좌표로 실시간 변환하여 로봇에게 전달합니다. 이 좌표를 수신한 로봇은 A*알고리즘과 AI학습 모델을 사용한 객체 탐지 등을 활용해 장애물을 스스로 우회하여 목표점까지 이동합니다. 따라서 운영자(중앙 관리자)는 기계의 수동 조작의 부담에서 해방되어 장비를 통제하는 데에 시간과 비용을 투자하는 대신 군의 전술적 판단 및 작전에 집중할 수 있게 만드는 최적의 환경을 완성하게 됩니다.

(A* 알고리즘 및 PID제어)

상단에 배치된 상공 중앙 카메라(웹 캠)을 위성이나 드론처럼 활용하여 작전 지역의 전체 영상을 확보하고 마우스로 클릭하여 목적지를 설정하도록 구현하였습니다. 목적지가 입력되면 A* 알고리즘이 적의 바리게이트나 지뢰밭 등 장애물(파란색 고깔)을 회피하는 최단 경로를 실시간으로 연산합니다. 이후 ArUco마커를 이용해 현재 로봇의 위치를 파악하고, PID제어를 적용하여 경로 이탈 없이 목표지점까지 정밀하게 주행합니다.

(기구적 회피 기동 최적화)

초기에는 전면에 있는 초음파 센서를 돌발 장애물이 감지될 때 A*알고리즘을 다시 실행해 경로를 재탐색 하도록 설계했지만, 재연산 과정에서 심각한 프레임 드랍 현상이 발생함을 확인했습니다. 이를 해결하기 위해 소프트웨어적 경로 재탐색 대신 일정 시간 후진 후 특정 각도만큼 회전하는 기계적인 물리 회피 로직을 만들었습니다. 이를 통해 시스템 연산 부하를 획기적으로 줄일 수 있어 돌발 상황에서의 회피와 안전성을 높였습니다.

(사각지대 은폐 위협 식별을 위한 Ai 모델 학습)

상공 중앙 카메라(웹 캠)와 초음파 센서만을 이용해서는 카메라 화각 밖에 숨겨진 대인지뢰나 적의 매복 상황 등의 함정을 파악하기 어렵습니다. 카메라 밖에 존재하는 상황을 파악하기 위해서 라즈베리파이에 카메라 모듈을 달아 상공 중앙 카메라(웹 캠-위성이나 드론)에 보이지 않는 부분(동굴, 실내)을 확인하도록 만들었습니다. 추가적으로 기존에 사용하던 OpenCV HSV 색상 인식이 색으로만 아군과 적군을 구별하는데 한계가 있었습니다. 이를 극복하기 위해 Roboflow 플랫폼을 활용하여 위협 요소인 크레모아를 ‘Enemy’로 그리고 보호 대상인 군인 피규어를 ‘Ally’로 라벨링한 YOLOv8데이터셋을 구축하고, 학습시켜 객체 탐지 능력을 확보하였습니다. 또한 크레모아를 감지하였을 때는 경보음과 함께 제어 모니터에 알림을 전송하여 경고음 출력 및 실시간 UI 애니메이션이 맵에 동작하는 시스템을 완성했습니다.

(ONNX 경량화)

학습된 딥러닝 모델을 한정된 라즈베리파이5 온보드 환경에서 지연없이 구동하기 위해 모델 가중치를 ONNX 형식을 변환하여 경량화하여 사용했습니다. 결과적으로 돌발 상황에 대해 지연없이 실시간으로 모니터링 할 수 있는 시스템을 완성하였습니다.

(다중 액추에이터 기반 전술 수행)

단순히 상황 인식을 하는 것을 넘어서, 판단 결과를 실제 하드웨어에 물리적 행동으로 만들기 위해 임베디드 제어 시스템을 구축했습니다. AI모델이 고립된 아군 군인을 식별하면 라즈베리파이의 GPIO 신호가 릴레이 모듈을 가동합니다. 필요에 따라 전의 시야를 차단하기 위해서는 가습기 모듈로 연막을 전개하고, 전자석 모듈의 전원을 차단해 보급품을 투하하는 복합 전술 시나리오를 지연없이 수행하도록 설계하였습니다.

(실시간 원격 관제 UI 및 경보 시스템)

현장의 투입된 로봇의 객체 탐지 결과를 원격지의 운영자가 파악할 수 있도록 관제 시스템을 구성하였습니다. 온보드 AI가 위협(크레모아) 또는 아군(군인)을 감지하면 무선 통신을 통해 제어모니터로 전송하며, UI 애니매이션과 함께 경고음이 출력되도록 관제 인프라를 완성하였습니다.

(듀얼 카메라의 하이브리드 제어 시스템 구축)

상공 중앙 카메라(웹 캠)에서 보이는 지역만을 주행할 수 있다는 한계를 극복하기 위해 듀얼 비전 시스템을 도입하였습니다. AI 연산을 전담하는 상공 중앙 카메라(웹 캠)과 달리 라즈베리파이 전용 카메라를 독립적으로 구성하여, 운영자에게 제약 없는, 끊김 없는 실시간 스트리밍 시야를 제공합니다. 상공 중앙 카메라(웹 캠)애서 제어할 수 없는 비상 상황이 발생할 시 이를 해결하기 위해 운영자는 지연 없이 WASD키보드로 제어권을 가져와 수동으로 조작할 수 있도록 기능을 추가하였습니다.

(프레임 마운팅 및 하드웨어 통합 최적화)

다중 카메라, 가습기, 브레드보드, 라즈베리파이 등을 한정된 공간에 탑재하기 위해 3D 프린터를 활용하여 맞춤형 프레임을 직접 설계하고, 제작하여 하드웨어의 통합을 구성하였습니다.

(저조한 Aruco마커 인식률)

당초 드론의 GPS 데이터를 기반으로 RC카를 유도할 계획이었으나, 예산 및 실내 테스트 공간의 제약으로 시스템 아키텍처를 재설계했습니다. 이에 따라 상단 웹캠으로 ArUco 마커 기반의 RC카 위치를 실시간 추적하고, 중앙 관제 PC에서 이동 명령을 하달하는 비전 기반 관제 시스템으로 전환했습니다. 그러나 범용 광각 웹캠의 특성상 저조도 환경의 광량 부족, 주행 중 발생하는 모션 블러, 원거리 인식률 급감 등의 기술적 한계가 발생했습니다. 이를 극복하고자 밝기(Brightness), 감마(Gamma), 대비(Contrast), 채도(Saturation)를 단계별로 조정하는 4단계 영상 전처리 파이프라인을 구축했습니다. 그 결과, 조명 변화와 원거리 주행 환경에서도 마커 추적의 연속성과 강인성을 확보할 수 있었습니다.

(초음파 센서 연산 과부하로 인한 프레임 드랍)

초기에 주행 중 초음파 센서에 돌발 장애물이 감지되면 로봇의 반응속도가 급격히 느려지고, 영상 프레임이 끊기는 현상이 발생했습니다. 돌발 장애물이 감지 시 A* 알고리즘을 통해 경로 재검색을 하도록 설계하였는데 라즈베리파이 환경에서 실시간으로 A*의 재연산이 과부화를 일으키는 것이 원인이었습니다. 그래서 소프트웨어적인 경로 재계산을 하드웨어적 물리적 회피로 변경하였습니다. 장애물이 초음파 센서의 일정 거리 안에 들어가면 충돌을 피하기 위해 모터를 제어하여 일정 시간동안 후진 후 특정 각도만큼 회전하도록 하는 기동 로직을 코드에 적용했습니다. 이는 시스템 연산을 획기적으로 줄여 심각한 프레임 드랍을 방지하였고, 즉각적인 장애물(파란색 고깔) 회피를 가능하게 하였습니다.

(HSV 객체 인식의 따른 한계)

초기에는 돌발 상황과 적을 OpenCV의 HSV 색상 Masking 기법을 사용하였지만, 조명 변화에 취약하고, 형태가 복잡한 물체를 식별하는데 잦은 오류가 발생하였습니다. 이를 해결하기 위해 딥러닝 객체 인식을 적용하였습니다. Roboflow로 크레모아를 ‘Enemy’로 군인 피규어를 ‘Ally’로 이미지 데이터를 수집하고, Labeling하여 YOLOv8모델을 학습시켰고, 라즈베리파이에서 원할하게 처리하기 위해 ONNX 형식으로 경량화하여 탑재하였습니다. 따라서 실시간 Edge 추론을 통해 조명이나 각도의 변화에 의존하지 않고, 정확하게 탐지해 내는 AI 시스템을 구축하였습니다.

■ 주요 성과 및 특징

1. PID제어와 A*알고리즘 기반 자율 주행 경로 생성

• ArUco마커 기반 실시간 위치, 각도 추적과 PID제어를 활용해 직선 구간 경로와의 오차를 줄이는 방식으로 구현했습니다. 이에 더해 A* 알고리즘을 적용해 직선이 장애물을 인식하는 것들을 피해 목표 지점까지 장애물을 우회한 경로가 선으로 그려지고 그 선을 따라 각도를 맞추고, 경로 탐색 선을 따라 직진하는 순서로 로봇이 동작합니다. 즉, PID제어로 경로와 ArUco 마커 인식 각도의 차이를 0으로 수렴시키고 각도가 맞춰지면 ArUco 마커와 목표 지점 사이 거리(오차)를 0으로 수렴시키는 방식으로 목표 지점으로 이동합니다.

이러한 PID제어에 A*알고리즘을 적용하면 목표지점까지 장애물을 우회하는 최적의 경로를 탐색하여 아래 사진과 같이 선을 따라 각도차이, 사이 거리를 0으로 수렴시키며 이동합니다.

2. 듀얼 비전 기반 하이브리드(자율+수동) 제어 시스템

상공 중앙 카메라(웹캠)로 ArUco마커를 인식하기 때문에 카메라 각도 문제나, 안개, 사각지대 문제로 ArUco 마커가 인식되지 않아 생기는 통제 불능의 상황이 생길 수 있습니다. 이 상황을 대비해 전방 카메라(파이 카메라 모듈) 1인칭 시점으로 변환하여 직접 조작하는 수동 조작 모드를 추가했습니다. 중앙 제어 모니터 왼쪽 하단 부분 UI를 통해 변환하기 때문에 긴박한 상황에서도 빠르게 전환하여 대응할 수 있습니다.

3. 실시간 객체 인식(YOLOv8) 및 전술적 능동 대응

Roboflow 기반 커스텀 데이터 셋 (Enemy(크레모아)와 Ally(군인))으로 YOLOv8모델로 학습하고 ONNX포맷으로 경량화하여 실시간 객체 탐지 환경을 완성했습니다.

AI가 Enemy 또는 Ally를 식별함과 동시에 중앙 관제 모니터 맵에 해당 객체의 위치를 실시간으로 시각화하고, 경고음 및 UI에니메이션 알림 동작을 구현해 직관적으로 정보를 전달할 수 있도록 구현했습니다.

■ 향후 개선 계획

<다중 유닛 동시 제어>

구상단계에서는 최소 2~3대의 RC카를 제어하는 계획을 세웠었지만 예산의 문제로 하나의 RC카만을 제작 할 수 있었습니다. 현재는 단일 로봇에 대한 제어 인터페이스를 구축하였지만 이후에는 ‘스타크래프트’처럼 여러 대의 로봇을 마우스 드래그를 통해 한번에 좌표를 할당하고, 로봇들끼리 서로 위치를 공유하여 진형을 유지해 이동하는 다중 에이전트 군집 주행 시스템 관제망으로 확장해 나가겠습니다.

<로봇 단독의 Mapping 기술>

현재의 프로젝트에서는 상공에 배치된 관제 카메라가 전체 지형을 내려다보고, 경로를 지시하는 전역 비전 방식을 사용하고 있습니다. 이는 넓은 야전에서는 효과적일지 몰라도 드론이나 위성의 시야가 닿지 않는 실내 시가지나 벙커 등의 미지의 환경에서는 자율 주행이 불가능한 한계가 있습니다. 이러한 한계를 극복하기 위해서 사용했던 라즈베리파이 카메라를 통한 제어는 관제 카메라의 영역 밖에서 가능은 하지만 주변 상황을 알 수 없고, 앞만 보이는 한계를 가지고 있습니다.그러나 로봇 기체 자체에 소형 2D LiDAR 센서 카메라를 탑재하면 이 한계를 극복할 수 있습니다. 단독으로 주변의 상황을 스캔하여 지도를 그려 위치를 파악하는 SLAM 기술을 도입하여 관제 카메라가 닿지 않는 곳에 라즈베리파이 전용 카메라를 이용한 수동 조작을 넘어서 스스로 맵핑과 탐색을 할 수 있는 완전 자율 정찰 플랫폼으로 고도화하겠습니다.

<Air-Ground 복합 관제 체계 구현>

본 프로젝트에서 초기 기획은 실제 드론을 띄워 전역 시야를 확보하는 것이었느나, 현재 단계에서는 고정된 상공 웹캠을 상공 지휘소 역할로 구현했습니다. 향후 실제 소형 정찰 드론과 지상 정찰 로봇을 무선 통신망으로 연동하겠습니다. 이는 드론이 실시간으로 작전 지역 상공을 비행하며 지도를 스캔하여 타겟을 전송하면, 지상 로봇이 이를 수신해 전술을 수행하도록 발전시키겠습니다.

https://github.com/HOMEYONGJUNE/Sky-Command (파일 용량 때문에 github로 소스코드 제출합니다)