한성대 SW 중심대학 페스티벌: 자율주행 미션

한성대 SW 중심대학 페스티벌: 자율주행 미션


소개


안녕하세요! 원클릭 에이아이에서 강의(야근)을 담당하고 있는 오승영과 영상미를 담당하는 변영진입니다. 이번에 한성대 AI융합 학과에서 자율주행 강의를 진행했습니다! 한성대에서는 학교 자체적으로 이런 프로젝트 기반의 수업에 어마어마한 시간과 노력을 쏟고 있습니다. 교수님 분들도 엄청 열정적이십니다. 한화 에어로스페이스, AMD코리아등 외부 인사도 다수 오시면서 학생들 평가를 진행했습니다. 제가 학교 다닐때만 해도 이론 수업이 99% 였는데, 교육 방식이 조금씩 바뀌어 가는 것을 느낍니다. 필연적으로 교육의 질도 함께 올라가고 있다는 것이 느껴집니다. 자세한 내용은 아래 영상을 확인해보세요!





개별미션


한성대에서 진행한 자율주행 강의는 기존의 자율주행 수업을 넘어서 학생들이 각자 주어진 차량으로 "개별 미션"을 수행하게 했습니다. 학생들이 직접 아이디어를 내서 자율주행 미션을 선정하고, 이를 수행하는 것인데요. 자율주행 강의를 여러번 진행한 저도 처음 생각해보는 아이디어도 있었고, 이미 알려진 아이디어를 본인들 만의 방식으로 구현해 낸 조도 있었습니다. 실습을 하다보면 항상 느끼는 점이 있습니다. 아이디어는 쉽고, 구현은 어렵다. 프로젝트를 많이 접하다보면 쉽게 구현할 수 있는 아이디어는 이미 다른 누가 구현을 해놓았고, 남은 것은 구현이 어려운 것만 남아있습니다. 그리고 도전적인 과제는 정말 어려운 것들만 남아있죠. 이번 "개별 미션"도 마찬가지였습니다. 모두 도전적인 주제를 선정해서 짧은 시간 내에 많은 것을 해냈습니다. 실제로 몇몇 미션은 이론부터 한 학기를 쏟아야 가능한 미션이라고 생각했는데, 이 미션을 밤을 새가면서 3주만에 해낸 것이 대단합니다. 제가 학생이었다면, 이렇게 할 수 있었을까 싶기도 합니다. 이제 실습 경험을 기반으로 앞으로의 AI이론도 더 쉽게 배울 수 있지 않을까, 저희는 그렇게 생각합니다. 아래는 조별로 진행한 프로젝트 포스터 입니다.


개별 미션 포스터 발표: 조별로 각자 하나씩 작성 했습니다.


위의 사진에서 보이는 것 처럼, 조별로 포스터 발표를 함께 진행했습니다 .이 포스터 발표 주제가 자율주행 "개별 미션" 입니다. 사진으로는 잘 보이지 않아서, 어떻게 진행하는지 온전히 받아들이는데는 어려움이 있을 수도 있지만, 그래도 대략적인 기조는 알 수 있습니다. 조별로 굉장히 다양한 주제를 선정했습니다. 재미있는 점은 제목만 보고 제가 생각했던 어려운 주제와, 실제로 어려운 주제가 차이가 있었는데요. 제가 직접 학생들을 지도해 본 결과, 놀랍게도, 제일 어려웠던 주제는 객체 탐지모델을 활용하거나, 생성형 모델을 활용하는 프로젝트가 아니라, 교차로에서 표지판을 보고 직진, 좌회전, 우회전 중에서 하나를 고르는 주제였습니다. 쉬울 것 같다고요?! 저도 한편으로는 그렇게 생각했습니다. 하지만 굉장히 어려울 수 밖에 없는 주제였는데요. 그 이유는 하드웨어의 구조상 카메라 1개만으로 표지판을 찾는게 어렵습니다. 앞에 있는 표지판은 잘 인식하지만, 차량의 좌측 또는 우측에 있는 표지판은 카메라로 인식하기가 어렵습니다. 즉, 카메라 시야 밖으로 표지판에 나가게 되면, 지금의 모델로는 방향을 고를 수가 없게 됩니다. 실제 자율주행 차량은 서라운드 카메라를 통해 전방향을 인식합니다. 따라서 해결 방법은, 카메라를 늘리거나, 혹은, RNN 기법을 CNN과 접목하거나, 혹은 많은 양의 데이터를 추가해서 학습하는 3가지 방법이 있습니다. 그리고 이 학생들이 제안한 방법은 이 3가지 방식이 아닌 네번째 방식 컬러필터를 활용한 방법인데요, 컬러필터를 사용해서 필요한 색상만 추출하고 이를 다른 모델에 학습해서 방향을 고르는 것이었습니다. 새로운 방법론을 제시한겁니다. 완벽하진 않았지만, 이러한 방법론의 변경이 어떠한 효과가 있는지 확실하게 배웠을 것 같습니다. 저도 대학원 과정에서 겪었던 어려움이 생각났습니다... 또 재미있는 주제로 아래 보이시는 생성형 AI를 활용한 자율주행 미션이 있었습니다. 아래 사진에서 보이는 것 처럼 사람(봉준호 감독님)이 손을 들고 있으면, 멈추고 사람(G-Dragon)이 손을 안들고 있으면 지나치는 택시 자율주행 미션이었습니다. 직접 만든 소품이 너무 귀엽지 않나요?


생성형 AI 모델을 활용한 자율주행 개별미션, 사람이 손을 들고있으면 앞에 가서 멈추고, 아니면 그냥 지나친다.



공통 미션


그리고, "공통 미션"도 함께 진행되었습니다. "공통 미션"은 주어진 트랙의 외각을 장애물 3개를 회피하면서 주행하는 AI 모델을 만드는 것이었는데요, 신호등도 추가 되어서, 빨간불에서는 멈추고, 초록불에서는 그대로 주행하도록 모델을 학습해야 합니다. 직접 데이터를 취득해야 하고, 필요에 맞게 하드웨어 설정도 변경해야합니다. 어떠한 모델이 제일 올바르게 주행하는지 테스트도 여러번 해야 합니다. 실제로 행사 전날에 행사장 바닥을 나무 바닥에서 초록색 매트로 변경하게 되었는데요, 이렇게 되면 비전으로 학습한 데이터에 오차가 발생하게 됩니다. 그럼에도 불구하고, 대회 당일날 추가학습을 진행하면서 기대이상의 좋은 성적을 내주었습니다. 8개 조 중에 무려 3개조가 만점을 획득했습니다! 감격스럽게도, 저희 주행장소가 전체 평가장에서 가장 중심에 배치되었는데요, 한성대 총장님도 오셔서 학생들을 격려해주시고 가셨습니다.


왼쪽 위: 한성대 총장님도 방문하셔서 학생들을 격려하고 가셨습니다!

오른쪽 위, 아래: 공통 미션 준비 과정


마지막으로 제가 나가서 클로징 멘트 일부를 하게 되었는데요. 부끄럽네요. 내용은 대략 "소프트웨어만 다루는 것보다, 하드웨어를 함께 다루는 것이 더욱 어려운 일입니다. 그런데 이 어려운 일을 모두 잘 마무리 해주었습니다. 그리고, 더 발전할 수 있기를 바랍니다. 한 학기동안 모두 고생했습니다." 이랬던 것 같습니다. 다음에 더 말을 잘 할 수 있도록 미리 준비를 해야겠습니다.



마무리


어떻게 보면 자율주행 미션은 하나의 틀에 불과한 것 같습니다. 본 과정에서 정말 중요한 부분은 학생들이 직접 아이디어를 만들어보고 그 아이디어가 맞던, 틀리던, 쉽던 어렵던 간에 상관없이 일단 한 번 해보고, 발표까지 이어가는 것이라고 생각됩니다. 그 아이디어를 밀고 나아가는 과정에서 아이디어의 변경이 있을 수도 있고, 혹은 어려운 부분을 잘 피해서 완성시킬 수도 있고, 또는 정면돌파해서 해결하는 방법 도 있겠죠. 하지만, 실급 교육에서 중요한 점은 이러한 문제 해결 능력을 직접적으로 키우는 것이 아닐까 생각됩니다. 주제의 난이도, 방향성을 고르는 것도 중요하지만, 이를 발전시켜 나아가는 방법, 이러한 것들을 더 많은 것을 얻어 갈 수 있으면 좋겠습니다. 감사합니다.




강의 정보


강의기간 : 2024년 11월 29일


강의장소 : 한성대학교 상상관 체육관 (B2)


강의내용: 한성SW중심대학 페스티벌


주최 : 한성대학교


사진: 원클릭에이아이 대표 김대한