모바일 온 디바이스 AI…'스마트폰→자율주행' 확산

[아이뉴스24 김문기기자] "스마트폰으로 촉발된 모바일 온 디바이스 AI는 웨어러블과 VR, AR, XR뿐만 아니라 자율주행차 시장에도 전파되는 등 점점 더 다른 산업군으로 확대될 것이다."

고대건 퀄컴 상무는 28일 서울 삼성동 그랜드인터컨티넨탈코엑스에서 열린 'ARM 테크 심포지아 2017'에 연사로 나서 모바일 온 디바이스 AI가 고성능을 요구하는 스마트폰에 맞춰 최적화가 이뤄질 것이며, 점차 다른 산업군으로 확대 전파될 것이라 예견했다.

모바일 온 디바이스 AI는 기기에서 생성된 데이터를 네트워크를 통해 서버나 클라우드 상으로 보내, 그 곳에서 딥러닝 또는 머신러닝을 이뤄지는 방식이 아니라, 기기가 내부에서 직접 딥러닝 또는 머신러닝을 소화하는 방식이다. 관련 하드웨어와 소프트웨어 알고리즘이 필요하다. 별도 뉴럴프로세싱유닛(NPU)을 포함시키기도 한다. 애플 A11 바이오닉과 화웨이 하이실리콘 기린970 등이 대표적이다.

모바일 온 디바이스 AI는 스마트폰에서 선 구현됐다. 폼팩터 제한이 있는 스마트폰에서 점점 더 고성능의 파워를 선호하게 되자 이러한 방식이 대안으로 작용했다. 고성능을 유지하면서도 전력효율을 높일 수 있는 방식은 머신러닝을 스스로 해결하게 하는 하드웨어와 소프트웨어 알고리즘이 필요했다는 것.

고 상무는 "3G와 4G, 5G, 와이파이, 블루투스 등 모뎀분야뿐만 아니라 CPU와 GPU, DSP 등 컴퓨팅 분야 등이 하나의 칩으로 인터그레이션되서 고도로 집적화되고 있다. 이러한 상황이 온 디바이스 엣지 컴퓨팅 기반으로 자리잡을 것"이라며, "이러한 기술들이 고도로 집적화된 칩에 들어가서 점점 더 다른 인더스트리로 확대되고 있다"고 말했다.

모바일 온 디바이스 AI의 확산 이유에 대해 우선 프라이버시를 첫번째로 꼽혔다. 고 상무는 "개인 동영상이나 사진, 보이스 등이 클라우드에 올라가는 것을 (사용자들은) 꺼려한다. 귀중한 개인 데이터는 가장 가까운 디바이스에서 처리되기를 간절히 바란다"라며, "페이스언락(안면인식) 같은 경우에도 트레이닝은 서버에서 하지만 개인화된 딥러닝은 모바일에서 처리할 수 있도록 한다"고 설명했다.

신뢰도도 중요하다. 예컨데 자율주행차량의 경우 디바이스 상에서 리얼타임으로 처리할 수 있는 상황이 돼야 한다. 네트워크가 끊기는 상황이 온다면 그에 따른 위험도가 증가할 수 있다. 기기 자체 인공지능을 독려한다면 네트워크의 활용폭도 넓힐 수 있다.

스마트폰 상에서 모바일 온 디바이스 AI가 원활하게 운영되기 위해서는 3가지 요소가 수반되야 한다는 게 고 상무의 설명이다. 이기종아키텍처(HSA)나 뉴럴프로세싱유닛(NPU) 등 네트워크 모델에 최적화된 하드웨어 개발이 필요하다. 하드웨를 기반으로 한 알고리즘 소프트웨어도 개발돼야 한다. 이를 가지고 개발자들이 끊김없이 서비스를 개발할 수 있는 툴킷이 지원돼야 한다.

고 상무는 "AI를 위해서는 헤비한 연산능력이 필요하다. 클라우드에서 처리되는 것을 기기 내에서 소화할 수 있는 최적화된 알고리즘이 필요하다. 최적화를 통해 이미지 하나를 처리하는데 따른 복잡성을 27배나 감소시킬 수 있다"고 언급했다.

모바일 온 디바이스 AI를 통해 미래 스마트폰은 많은 기능들이 추가될 전망이다. 궁극적 목표는 개인적인 비서 역할이다. 현재 인공지능 스피커가 보급되고 있으나 개인적 비서는 스마트폰의 역할이 더 강조된다.

배터리효율을 올릴 수도 있다. 리소스 매니지먼트가 가능하다. 사용자의 행동을 인식해 상황에 맞게 자원을 켜고 끌 수 있도록 도와준다. 주변 상황들을 인식해 보이스 노이즈도 더 줄여줄 수 있다. 사용자의 자연스러운 제스처를 알아볼 수도 있다.

카메라는 최근에도 활용되고 있는 부분이다. 저조도 환경에서도 탁월한 결과물을 얻을 수 있게 한다. 듀얼 카메라로 지원되던 보케 효과도 싱글 카메라에서 가능하게 된다. 풀HD 콘텐츠를 4K로 업스케일링할때도 AI의 도움을 받을 수 있다.

이러한 기술들은 가깝게는 혼합현실(XR)에 적용될 수 있다. 현실과 비슷한 디스플레이와 자연스러운 인터페이스가 동반돼야 한다. 사운드 노이즈 제거를 통해 귀에 들을 수 있는 리얼사운드를 제공해줘야 한다. 아이트래킹과 보이스 인식 등에서도 AI를 통해 XR의 몰입도를 높여줄 수 있다.

자율주행차의 경우 내부적으로는 사용자에 맞춘 시트의 위치와 온도 자연스러운 인터페이스, 운잔자의 상태 모니터링 등 뿐만 아니라 외부적으로는 카메라를 통한 서라운드 뷰, 센서 퓨전, 패스 플래닝, 디시전 메이킹 등을 지원할 수 있게 된다.

고 상무는 "퀄컴은 2012년부터 뉴럴프로세싱 아키텍처를 연구해왔다. 새로운 하드웨어와 네트워크 기술을 병행하면서 함께 처리하는 방식으로 연구개발했다. GPU와 GPU, DSP 등을 기반으로 한다. 추후 NPU 탑재도 고민 중"이라며, "뉴럴프로세싱 알고리즘을 통해 메모리 데이터 이동량을 어떻게 하면 최소화시킬 수 있는지, 자원을 얼마나 효과적으로 활용할 수 있을지를 고민해야 한다"고 진단했다.

김문기 기자의 다른 기사 보기

• 애플, 차기 아이폰에 퀄컴칩 안쓴다

• '퀄컴 설계·삼성 생산' 세계 최초 10나노 서버프로세서 양산