온디바이스AI의 핵심, LPDDR 그리고 NPU

지난 시간에는 '온디바이스AI'에 대해서 알아봤었다.

2023.11.24 - [Economy] - 2023년의 키워드는 "인공지능", 2024년은 "온디바이스AI"

2023년의 키워드는 "인공지능", 2024년은 "온디바이스AI"

 

이번에는 LPDDR이 어떤 것이고, 어떻게 사용되는지 알아본다.

 

 

 

작지만 강력한 LPDDR이 미래를 구동한다

 

LPDDR(Low Power DDR)은 낮은 전력을 사용하는 DDR(Double Data Rate),

SDRAM(Synchronous Dynamic Random Access Memory)의 일종이다.

 

기존 DDR보다 전력 소모가 낮고, 동작 전압이 낮으며(1.2V 전압에서 동작),

저전력 모드를 지원하여 사용하지 않는 상태에선 전력 소모를 최소화하고

휴대용 기기(스마트폰, 노트북 등) 및 전력 효율이 중요한 임베디드 시스템에 많이 사용된다.

 

LPDDR은 자율주행자동차에서 많이 활용되고 있는데,

자율주행 차량의 머신비전 카메라, 라이다, 자율주행 컴퓨터 등에 사용된다.

이들 시스템은 매우 복잡한 연산을 수행해야 하면서도 적은 전력으로 동작해야 한다. 

LPDDR의 저전력 특성이 이에 적합하다.

 

차량의 대형 디스플레이에도 LPDDR이 사용된다.

큰 데이터 처리 용량과 낮은 전력이 필요하기 때문이다.

 

ADAS(Advanced Driver Assistance System)과 같은 운전자 보조 시스템에도

LPDDR이 들어가 있다. 

이 시스템들은 주행 중 실시간으로 많은 정보를 분석하고 처리해야 하기에

고성능과 저전력이 동시에 요구된다.

 

인공지능(AI)에서도 활용된다.

엣지 AI 디바이스 메모리로서, 스마트폰이나 드론 등의 엣지 AI 기기에 LPDDR이 주요 메모리로 사용된다.

저전력이 필요한 이동형 기기에 적합한 것이다.

 

NPU(AI 전용 칩)의 통합메모리로도 사용한다.

LPDDR을 온칩 통합메모리로 사용하여 대역폭 확대와

전력효율 향상으로 배터리의 한계점을 보유한 이동형 전자기기에 사용된다.

 

클라우드 기반의 AI 서버에도 전력 효율이 중요하다.

DDR4나 DDR5 대신 LPDDR4, LPDDR5를 사용하여 서버 전력을 절감할 수 있기 때문이다.

AI 칩 설계 시스템에도 LPDDR을 채택함으로써 전력 및 성능 기준 최적화가 가능하다.

 

 

 

NPU, AI 혁명의 동력 엔진

 

그렇다면 NPU에 대해서도 알아야 한다.

NPU(Neural Processing Unit)는 신경망 모델을 위한 전용 처리기로

AI 연산을 효율적으로 수행하기 위해 설계된 하드웨어 프로세서이다.

 

AI알고리즘 및 신경망 모델의 연산에 최적화된 아키텍처를 가지며,

매트릭스 연산, 벡터 연산 등에 특화되어 있어 AI 처리 성능이 뛰어나다.

GPU나 CPU에 비해 더 나은 전력 효율성을 지니고,

보통 AI 전용 칩이나 SoC에 내장되어 있는 형태로 제공된다.

 

LPDDR과 더불어 NPU의 성능 향상을 위해

LPDDR5 등의 고대역폭 메모리를 NPU 칩상에 내장하는 것이 최근 추세이다.

 

즉, NPU는 CPU에 대한 의존성이 없다는 것이다.

NPU는 AI 전용 처리기로 CPU를 거치지 않고 독립적인 신경망 연산을 수행할 수 있다.

AI 연산 가속을 위한 전용 하드웨어 엔진인 것이다. 

 

 

삼성전자, '삼성 가우스'를 통한 약진 준비

 

삼성전자의 '삼성가우스' AI 반도체는 NPU를 활용하고 있다.

삼성전자의 AI 반도체는 SAPEON이라고 하는 NPU이다. 

이를 LPDDR과 함께 활용하여 AI 연산 처리는 SAPEON,

시스템 메모리는 LPDDR5가 수행한다.

 

LPDDR5 메모리는 SAPEON NPU가 신경망을 고속으로 처리할 수 있도록

데이터를 신속하게 공급하는 역할을 한다.

 

내년 1월 공개될 갤럭시S24에 AI기술을 담는다고 하는데,

지금 삼성전자에게 가장 필요한 것이 바로

고성능 저전력의 NPU와 LPDDR5인 것이다.

 

 

 

애플도 AI폰 준비, 그렇지만 삼성보단...

 

애플에 대한 충성고객이 많아 조심스럽긴 하지만

객관적으로 생각하는 내용을 적는다.

 

애플도 아이폰14 시리즈에 A16 Boinic 칩과 LPDDR5를 탑재하여

사용하고 있고, M1칩의 경우 CPU, GPU, NPU와 같은 주요 컴퓨팅 유닛들이

LPDDR 메모리를 공유함으로써 처리 효율성을 최적화 했다.

 

애플도 아이폰이나 맥북, 아이패드에 인공지능을 넣어 공급하고자 하지만,

사실상 애플이 지닌 '폐쇄적'이란 장점이자 단점이 애플의 발을 잡지 않을까 한다.

 

삼성전자는 이미 구글, MS와 협력하여 안드로이드폰을 제공하고 있다.

하지만 아이폰은 자체적인 CPU부터 시작하여 '사파리'를 통한 활용을 하는 등

폐쇄적인 시스템 구조를 갖고 있다. 

 

독자적인 생태계를 갖기에 훌륭한 체제지만

방대한 양의 데이터를 활용하여 정보를 제공해야 하는 인공지능 기술로서는

다른 곳에 있는 정보를 끌어와 제공하기에 사실상 삼성전자보다 부족함이 있을 것이라 본다.

 

삼성전자가 24년 1월에 갤럭시S24를 통해 기능을 제공한다면,

애플은 그래도 최소 몇 개월은 더 걸리지 않을까 하는 생각이다.