OpenAI, 텍스트 생성 넘어 자율주행까지 활용될까?

안녕하세요.

 

자율주행 소프트웨어 전문 스타트업 고스트 오토노미(Ghost Autonomy)에서 챗GPT를 이용하여 자율주행에 적용하는 방법을 모색중이라고 하여 화제가 되었습니다. 이는 텍스트와 이미지를 이해할 수 있는 멀티모달 대형언어모델(LLM), 이른바 대형멀티모달모델(LMM)을 활용해 차량 카메라의 도로 장면 사진을 읽고 도로 상황을 이해해 차량을 제어한다고 합니

다.

Ghost Autonomy

고스트 오토노미는 오픈AI의 스타트업 펀드를 통해 500만달러(약 66억원)를 투자받아 설립한 회사로, 마이크로소프트(MS) 애저 클라우드에서 오픈AI 시스템을 활용 중입니다. 또 자율주행 소프트웨어 구축을 위해 멀티모달 기능을 갖춘 'GPT-4V' 및 'GPT-4 터보'를 활용하는 것으로 알려졌습니다.

고스트 오토노미의 존 헤이스 CEO는 "LMM은 '롱테일(longtail)'을 이해하는 새로운 방법을 제공, 현재 모델의 약점인 복잡한 장면에 대한 추론이 가능하게 한다”라며 “이런 사례는 LMM이 더 빠르고 더 많은 기능을 수행함에 따라 증가할 것"이라고 설명했습니다.

통계학에 근원을 둔 '롱테일'이란 단어는 발생 가능성이 낮은 다수의 사건이 통계분포의 한쪽에 길게 분포된 현상을 말합니다. 롱테일은 AI 시스템의 설계와 운영에도 큰 영향을 미칩니다. 현재 AI 시스템은 롱테일 데이터에 특히 취약한데, 이는 발생 가능성이 낮아 대량의 데이터를 필요로 하는 AI 학습 데이터에 포함돼 있지 않기 때문입니다.

 

고스트 오토노미는 복잡한 장면을 해석 및 설명하고 텍스트를 생성해 자율 주행 차량을 제어하도록 훈련된 LMM을 사용하는 소프트웨어를 시험하고 있습니다. 예를 들어 차량에 장착된 카메라의 도로 장면 사진을 기반으로 차량 제어 하드웨어에 ‘오른쪽 차선으로 이동’과 같은 명령을 내리는 식입니다.

 

헤이스 CEO는 “고스트에서는 기존 모델을 미세조정하고 자체 모델을 훈련해 도로에서의 안정성과 성능을 극대화하기 위해 노력할 것”이라고 말했습니다.

실제로 LMM이 유용할 것이라는 예도 내놓았습니다. 건설 구역에는 임시 차선이나 변경 표지판, 다른 도로의 상황 등 간단한 모델로는 탐색하기 어려울 수 있는 복잡하고 특이한 구성 요소가 있지만, LMM은 인간과 같은 수준의 추론으로 이런 모든 변수를 처리할 수 있는 것으로 나타났습니다.

 

그러나 대부분 전문가들은 회의적인 반응을 보였습니다.

오스 케이예스 워싱턴 대학 교수는 “LMM은 자율주행을 위해 설계되거나 훈련되지 않았으며, 몇 가지 과제를 해결하는 데 덜 효율적인 방법일 수 있다”라며 “LMM이 자율주행에 어울리지 않는다고 확신한다”라고 주장했습니다.

마이크 쿡 킹스칼리지 런던 교수 역시 “오픈AI의 주력 모델은 환각을 만들고 텍스트를 잘못 복사하거나 색상을 잘못 입력하는 등 인간이 하지 않을 기본적인 실수를 저지른다”라며 “자동차 운전처럼 위험하고 복잡한 일에 LMM을 배치할 이유가 전혀 없다. 종종 예측할 수 없고 불안정한 이 기술을 자율 주행에 적용해야 한다는 생각은 시기상조”라고 못 박았습니다.

그러나 브레드 라이트캡 오픈AI COO는 "LMM은 자동차를 포함한 많은 새로운 사용 사례로 확장될 수 있는 잠재력을 가지고 있다"라며 “비디오, 이미지, 오디오를 결합해 결론을 이해하고 도출할 수 있는 능력을 갖춘 LMM은 장면을 이해하고 복잡하거나 특이한 환경을 탐색하는 새로운 방법을 만들 수 있다"라고 반박했습니다.

헤이스 CEO도 시기상조라는 점에는 동의했습니다. “물론 현재 모델은 자동차에 상업적으로 사용될 준비가 안 됐다”라며 “신뢰성과 성능을 향상하기 위해서는 아직 해야 할 일이 많다”라고 말했습니다.

 

결론

언어모델을 활용한 자율주행은 아직 초기 단계에 있지만, 그 잠재력은 매우 크다고 할 수 있습니다. LMM은 텍스트와 이미지를 모두 이해할 수 있어, 복잡한 도로 상황을 이해하고 안전하게 차량을 주행하는 데 도움이 될 수 있습니다.

물론 LMM을 자율주행에 적용하기 위해서는 아직 해결해야 할 과제들이 있습니다. 우선, LMM의 신뢰성을 높이기 위한 연구가 필요합니다. LMM은 아직 완벽하지 않아서, 때때로 잘못된 판단을 내릴 수 있습니다. 이를 방지하기 위해서는 LMM의 학습 데이터를 더욱 풍부하게 하고, 오류를 검출하고 수정하는 기술을 개발해야 합니다.

또한, LMM을 자율주행에 적용하기 위해서는 법률적, 윤리적 검토가 필요합니다. LMM이 잘못된 판단을 내리거나, 악용될 경우 발생할 수 있는 위험을 고려해야 합니다.

이러한 문제점들을 해결한다면, LMM을 활용한 자율주행은 기존의 자율주행 기술을 뛰어넘는 성능을 발휘할 수 있지 않을까 생각해 봅니다.

마지막으로 언어모델을 활용한 자율주행은 아직 초기 단계이지만, 그 잠재력은 매우 크다고 할 수 있습니다. LMM의 신뢰성과 안전성을 높일 수 있다면, 기존의 자율주행 기술을 뛰어넘는 성능을 발휘할 수 있을 것 같습니다.

감사합니다.

 

2023.11.07 - [IT story/IT 소식] - 오픈AI, GPT-4 터보 출시

오픈AI, GPT-4 터보 출시

 

2023.11.06 - [IT story/IT 소식] - 일론머스크의 X.AI 그록(Grok)

일론머스크의 X.AI 그록(Grok)

 

2023.08.11 - [일상 정보/소소한 팁] - ChatGPT 의 대답 제한을 없애보자(탈옥)

ChatGPT 의 대답 제한을 없애보자(탈옥)