안전을 보장하는 인공지능 기반 자율 시스템 설계: 머신러닝과 안전성의 조화

Summary

자율주행 자동차, 드론, 로봇 등 다양한 분야에서 머신러닝(ML) 기반 자율 시스템이 빠르게 확산되고 있지만, 안전성 문제는 여전히 심각한 과제로 남아 있습니다. 해당 콘텐츠는 이러한 안전성 문제를 해결하기 위해, 설계 단계부터 운영, 그리고 지속적인 개선까지 안전성을 체계적으로 통합하는 새로운 프레임워크를 제시합니다. 특히, Hamilton-Jacobi 도달가능성 분석(Hamilton-Jacobi reachability analysis)을 기반으로 한 신경망 안전 표현(neural safety representation)을 활용하여, 데이터 기반 안전 제어기(controller)를 학습하고, 실시간으로 변화하는 환경에 적응하며, 시스템의 취약점을 사전에 파악하는 방법을 제시합니다. 이를 통해, ML의 장점을 유지하면서도 안전성을 보장하는 자율 시스템 개발의 새로운 가능성을 제시합니다.

Key Points

• 안전성을 중시하는 머신러닝 기반 제어기 설계: 기존의 사후적 안전 조치(safety bandages) 대신, 설계 및 학습 단계부터 안전 요구사항을 공식적으로 통합하는 방법을 제시합니다. Hamilton-Jacobi 도달가능성 분석을 활용하여 안전한 상태 공간(safe set)과 안전 제어기를 수학적으로 정의하고, 이를 신경망으로 근사하여 고차원 시스템에도 적용 가능하도록 합니다.
• 실시간 안전성 보장을 위한 적응형 시스템: 변화하는 환경 조건(풍속, 장애물 등)이나 시스템의 불확실성(미끄러운 지면 등)을 고려하여, 안전 제어기를 실시간으로 적응적으로 조정하는 방법을 제시합니다. 매개변수 조건 안전 값 함수(parameter-conditioned safety value function)와 관측 조건 도달 가능 집합(observation-conditioned reachable set)을 활용하여 이를 구현합니다.
• 시스템 취약점 분석 및 개선: 학습 기반 정책(policy)의 안전성을 평가하고 취약점을 발견하기 위한 방법론을 제시합니다. 도달가능성 분석을 통해 시스템 실패를 유발하는 시각적 입력(예: 활주로 표시 오인)을 찾아내고, 이를 바탕으로 이상 탐지기(anomaly detector)와 대체 제어기를 설계하여 안전성을 향상시킵니다.
• 안전 인식 모방 학습(safety-aware imitation learning): 안전한 데모 데이터를 사용하더라도 모방 학습에서 안전성이 보장되지 않는 문제를 해결하기 위해, 데이터 수집 단계에서 적대적 방해(adversarial disturbance)를 주입하여 안전 위험 상태에 대한 데이터를 확보하고, 이를 통해 더욱 안전하고 강인한 정책을 학습합니다.

Details

해당 콘텐츠는 자율 시스템의 안전성 문제를 해결하기 위한 새로운 접근 방식을 제시합니다. 기존의 머신러닝 기반 자율 시스템은 주로 성능 향상에 초점을 맞추고, 안전 문제 발생 시 사후적으로 해결책을 모색하는 경향이 있었습니다. 그러나 이러한 접근 방식은 안전 위험의 증가와 다양한 상황에 대한 대응의 어려움을 야기합니다. 예를 들어, Waymo 자율주행차의 경우 견인차와의 충돌 문제 발생 시 전체 차량 운행을 중단하고 소프트웨어를 업데이트하는 방식을 사용했는데, 이는 확장성이 떨어지고 성능 저하를 초래할 수 있습니다.

이에 해당 콘텐츠는 안전성을 시스템 설계의 전 과정에 통합하는 새로운 프레임워크를 제안합니다. 핵심은 Hamilton-Jacobi 도달가능성 분석(시스템의 동역학과 안전 제약 조건을 고려하여 안전한 상태 공간과 안전 제어기를 계산하는 방법)을 기반으로 한 신경망 안전 표현입니다. 이 방법은 안전 값 함수(safety value function)를 신경망으로 근사하여 학습함으로써, 고차원 시스템에서도 안전 제어기를 효율적으로 설계할 수 있도록 합니다. DeepReach라는 자기 지도 학습(self-supervised learning) 방법을 통해, 안전 값 함수가 Hamilton-Jacobi 방정식을 만족하도록 학습시키는 것이 핵심입니다.

더 나아가, 해당 콘텐츠는 매개변수 조건 안전 값 함수와 관측 조건 도달 가능 집합을 활용하여 실시간으로 변화하는 환경에 적응하는 안전 시스템을 구현하는 방법을 제시합니다. 예를 들어, 드론 배송 시스템에서 변화하는 풍속에 따라 안전 영역을 동적으로 조정하고, 로봇의 경우 LiDAR 스캔 데이터를 기반으로 안전 값 함수를 실시간으로 업데이트하여 미지의 장애물을 회피합니다. 또한, 시스템의 불확실성을 추정하여 안전 제어기를 더욱 보수적으로 조정하는 방법도 제시합니다.

마지막으로, 해당 콘텐츠는 학습 기반 정책의 안전성을 평가하고 취약점을 발견하기 위한 방법론을 제시합니다. **정책 조건 도달가능성 분석(policy-conditioned reachability analysis)**을 통해 시스템 실패를 유발하는 입력 데이터를 찾아내고, 이를 바탕으로 이상 탐지기와 대체 제어기를 설계하여 안전성을 향상시킵니다. 특히, 시각 기반 제어기의 경우, 시각 정보 오류로 인한 시스템 실패를 분석하고, 이를 개선하기 위한 방법을 제시합니다. 또한, 안전 정보를 활용하여 모방 학습의 안전성을 향상시키는 방법과 자연어 피드백을 활용하여 안전 제약 조건을 정의하는 방법도 소개합니다.

Implications

해당 콘텐츠는 머신러닝 기반 자율 시스템의 안전성 문제에 대한 종합적인 해결책을 제시합니다. 안전성을 시스템 설계의 모든 단계에 통합하는 새로운 프레임워크와 실용적인 방법론은 자율주행, 드론, 로봇 등 다양한 분야에서 안전하고 신뢰할 수 있는 자율 시스템 개발에 크게 기여할 것으로 예상됩니다. 특히, 신경망 안전 표현, 실시간 적응형 시스템, 시스템 취약점 분석 및 개선 방법은 실무적으로 즉시 적용 가능한 인사이트를 제공합니다. 하지만, 고차원 시스템에서의 계산 복잡도, 실시간 안전성 보장을 위한 계산 자원의 제약, 안전 제약 조건의 정의 및 관리 등은 향후 연구 과제로 남아 있습니다. 또한, 다양한 안전 수준에 대한 정량적 평가 및 관리 체계의 개발도 중요한 과제입니다. 이러한 과제들을 해결하기 위한 지속적인 연구와 개발을 통해, 더욱 안전하고 신뢰할 수 있는 자율 시스템의 시대를 앞당길 수 있을 것입니다.