Demo Video

Demo Video. FCA, 차선 이탈 감지, 7인치 터치스크린, Real-time system 까지 구현한 결과의 데모 영상이다. 학습 데이터로 사용하지 않은 테스트 비디오를 테스트용으로 사용하였다.

Demo Video. FCA, 차선 이탈 감지, 7인치 터치스크린, Real-time system 까지 구현한 결과의 데모 영상이다. 학습 데이터로 사용하지 않은 테스트 비디오를 테스트용으로 사용하였다.

https://www.youtube.com/watch?v=7U5xfDp8L9c

<aside> ☝🏻 소스코드는 현재 같이 일했던 기업(퀀텀게이트) 귀속 돼있기 때문에 공개할 수 없음.

</aside>

Goal

• Jetson Nano (4GB) 에서 동작하는 ADAS (Advanced Driver Assistance System) 를 구현한다.

ADAS 요구사항

1. [FCA: Forward Collision-avoidance Assist] 자동차 앞의 물체를 판별하여 거리를 측정하고 차량의 속도가 정해진 속도보다 빠르고 물체와 차량 간의 거리가 일정 거리보다 가까워지면 알람을 울린다.
2. 차선 (lane) 을 감지하여 차량이 차선을 넘었을 때 알람을 울린다.
3. 위험운전 (급가속, 급선회, 급U턴, etc.) 등을 하였을 때 알람을 울린다.
   • 실험 및 분석을 위해 EuroTruckSimulation2 게임 데이터에서 주행 데이터를 수집 및 분석함.
4. 7인치 터치스크린 디스플레이에 영상과 결과들을 출력한다.
5. Real-time system의 성능을 내야한다. (반응속도 30ms 이내)

Overview - system diagram

구현 전략

1. ADAS를 구현한 open-source 조사 및 코드 분석. 그리고 이를 바탕으로 블록도를 그리고 독립된 모듈별로 분담하여 구현 (Github 활용 협업).

2. AI 모델들은 최대한 가벼운 모델을 사용하고 TensorRT로 모델을 변환하여 사용.

   • Object Decetection 모델로 Mobilnet-SSD (Single-Shot Detector) model 사용

     https://github.com/tranleanh/mobilenets-ssd-pytorch

   • Lane detection 모델로 UltraFastLaneDetection model 사용

     https://github.com/cfzd/Ultra-Fast-Lane-Detection

     Lane detector 의 성능 향상을 위해 8시간 가량의 고속도록 주행 영상 (협업 기업 대표님이 직접 운전..) 을 처리하여 학습 데이터로 활용 (raw data → trainable data)

3. 터치스크린에 영상과 결과를 출력하기 위해 QT package 사용

4. 카메라로부터 받은 이미지를 하드웨어단에서 전처리 하기 위해 gstreamer 활용