AI 반도체 (NPU) 역할과 구조

AI 반도체와 CPU, GPU와의 차이점을 살펴보고 NPU 구조, 역할에 대해 쉽게 설명드리겠습니다.

 

 

목차

 

 

AI 반도체란

AI 반도체란 AI 소프트웨어가 가장 잘 작동하도록 제작된 반도체를 말합니다. AI 작동을 위해 대규모 연산을 필요로 하는데 이러한 연산에 특화해 설계된 마이크로 칩입니다.

 

CPU와 차이

보통 컴퓨터에서 두뇌 역할을 하는 중앙처리장치(CPU)는 데이터를 직렬로 처리합니다. 이는 차례대로 순차적으로 처리하는 것인데 AI 연산은 빠르게 대규모 연산을 처리해야하기 때문에 데이터를 병렬로 동시에 처리할 수 있게 설계되었습니다. 어디서 들어보셨을겁니다. 바로 GPU가 이런 형태로 데이터를 처리합니다.

 

GPU와의 관계

AI 반도체의 출발은 그래픽처리장치(GPU)입니다. GPU는 이미지, 동영상, 게임 등의 그림을 실시간으로 빠르게 보여줘야하기 때문에 병렬 데이터 처리를 하는 것에 초점이 맞춰 개발되었습니다. 

 

CPU와 GPU를 컴퓨터에 여러 개 꽂으면 AI반도체 역할을 할 수는 있지만 돈이 많이 들게 되죠. 그래서 AI 처리에 초점을 맞춰 두 개의 기능을 가진 AI 반도체가 탄생되었습니다.

 

 

 

NPU (신경망처리장치)

AI 반도체를 보통 신경망처리장치 (NPU:Neural Processing Unit) 라고 부릅니다. 이렇게 불리게 이유는 AI 반도체의 구조가 인간의 뇌의 시냅스 (신경과 뉴런 사이에 신호를 주고받는 연결 부위) 와 비슷하기 때문이라고 합니다.

 

AI 분야

AI 의 어떤 분야에서 NPU가 활약하게 될까요? 먼저 AI (인공지능)의 분야부터 간단하게 살펴보겠습니다. 인공지능은 기계가 인간의 지능과 같은 작업을 수행할 수 있도록 하는 것이 목적입니다.

 

▶ AI 머신러닝 - 머신러닝은 패턴을 학습해 미래의 결과를 예측하는 기술입니다. 다시 말해, 컴퓨터가 스스로 데이터를 분석해 분석 결과를 바탕으로 예측 모델을 만드는 것입니다. 대표적으로 스팸 메일 필터링, 추천 시스템 등이 있습니다.

 

▶ AI 딥러닝 - 딥러닝은 머신러닝의 한 분야로 인공신경망을 기반으로 합니다. 다층 신경망을 통해 더 복잡한 패턴을 학습할 수 있습니다. 이미지, 음성, 텍스트 등 데이터를 처리해 자율주행 자동차, 음성 인식 시스템 같은 것들이 가능하도록 만듭니다.

 

 

 

 

NPU 역할

NPU는 AI 딥러닝에 최적화 되어 있어 GPU 보다 10배, CPU 보다 40배 정도의 성능을 보이고 있습니다. 이 수치는 점점 더 커지게 되겠죠.

 

NPU의 역할은 딥러닝 모델의 추론과 학습을 가속화합니다. 학습은 데이터를 기반으로 모델을 개선시키는 과정이고 추론은 학습된 모델을 이용해 새로운 데이터에 대한 예측을 수행합니다. 딥러닝 모델의 중요한 행렬과 벡터 연산을 훨씬 빠르게 처리할 수 있도록 설계되었기 때문입니다.

 

NPU 구조

그럼 NPU는 어떤 구조로 되어있는지 궁금해집니다.

 

▶ 컨볼루션 엔진 - 컨볼루션 연산 (합성곱)을 빠르게 수행하는 장치입니다. 합성곱은 이미지 처리의 기본 단위로 이미지 처리가 빨라지게 됩니다.

 

▶ 벡터 프로세싱 유닛 - 벡터와 행렬 연산을 가속하는 장치로 딥러닝 학습과 추론을 지원합니다.

 

▶ 메모리 제어기 - 많은 데이터를 처리하기 위해 메모리와 빠르게 연결하는 역할을 하는 장치

 

▶ 최적화된 인터커넥트 - 데이터를 빠르게 처리할 수 있도록여러 코어와 장치들이 잘 연결되도록 도와줍니다.

 

---

 

엔비디아를 비롯해 인텔, AMD, 퀄컴 등 전통적 반도체 기업들과 구글, 애플, 아마존, 메타, 테슬라 등의 세계적인 기업들이 모두 AI 반도체 개발에 뛰어들었습니다. 여러 산업 분야에서 AI 는 중요한 역할을 하게 되어 우리의 미래를 바꿀 것입니다. 과연 더 나은 미래일까요???

 

관련포스트

반도체의 기초 개념 및 활용 분야

CPU GPU NPU TPU 프로세서 각각의 기능

애플 실리콘 (Apple Silicon) 소개 및 SiP와 SoC

Mac 주요 제품 : 아이맥 맥미니 맥프로 맥북 맥스튜디오