인공지능 칩 NPU 특징 GPU 차이
NPU는 Neural Processing Unit의 약자로, 신경망처리장치 혹은 인공지능 AI 칩이라고 부르기도 한다.
이 프로세서는 뉴럴 네트워크를 기반으로 한 것으로, 현재의 생성형 인공지능 모델을 보다 효율적으로 동작하게 하기 위해서 개발된 하드웨어이다.
NPU 특징
현재 널리 사용되고 있는 인공지능 AI 기술에서는 GPU를 사용하여 많은 행렬 연산을 하고 있다.
그런데 NPU는 동시다발적 행렬연산에 최적화 된 프로세서로, 수많은 행렬 연산을 효율적으로 실시간 처리한다.
또한 축적된 데이터를 기반으로 해서 학습된 최적의 값을 도출하는 기능을 탑재하기도 한다.
따라서 단순히 반복 연산을 하는 GPU에 비해서 보다 머신 러닝 기계 학습 딥러닝에 특화된 기술이라 할 수 있다.
각 프로세서의 특징을 단순하게 설명하자면 이렇다.
CPU는 순차적인 제어와 즉시성이 필요한 작업을 한다.
GPU는 많은 데어터를 한꺼번에 연산하는 병렬 데이터 스트리밍에 특화되었다.
NPU는 AI 가동을 위한 스칼라, 벡터, 텐서 수학 연산 처리에 뛰어나다.
따라서 이러한 칩들이 모두 함께 작동하면서, 컴퓨팅 성능을 더욱 높게 끌어올릴 수 있다.
NPU GPU 차이
NPU는 애초에 GPU에 비해서 상대적으로 저전력으로 작동하며 AI 추론을 가속화하는 쪽으로 설계됐다.
머신 러닝 분야에서 새로운 AI 알고리즘과 모델 등이 개발되면서, NPU 아키텍처도 함께 발전했다.
그러나 기본적으로 NPU에서 중점으로 잡는 AI 워크로드는 주로 스칼라, 벡터, 텐서 수학으로 구성된 신경망 레이어와 비선형 활성화 함수 계산이다.
단순하게 말하자면 행렬 연산에 특화하여 빠르게, 실시간으로 계산하는 칩이라고 할 수 있다.
기존의 AI 모델들이 연산을 위해서 GPU를 사용하면서, 그래픽 카드 품절로 인한 가격 상승 사태가 일어나기도 했다.
그로 인해서 GPU는 그래픽을 위한 칩이라기보다는, 이제 병렬 연산을 위한 기술로 더 많이 사용되는 현실이다.
그러나 근본적으로 그래픽카드는 말 그대로 그래픽 처리를 위해서 만들어진 것이다.
따라서 인공지능의 병렬 연산을 위해서 어쩔수 없이 사용하기는 했지만, 효율이 그리 좋은 편은 아니었다.
생성형 인공지능 기술과 NPU
생성형 인공지능 Generative AI 기술이 대형 서버에서 서비스를 제공하는 방식에 머물렀다면 큰 문제가 아닐 수도 있었다.
그러나 시간이 지나면서 최근 삼성 갤럭시 S24의 인공지능 번역 서비스처럼, 기기에 AI 기술이 탑재되기 시작했다.
이것을 온디바이스 AI라고 하는데, 이런 형태로 인공지능이 탑재되면서, 개인에게 판매하는 기기에서도 AI 연산 처리가 중요해진 것이다.
이런 현실에서 각 기기에 고가, 고성능 GPU를 꽂아 넣기에는 부담도 너무 크고, 기술 발전에 대한 대응도 느릴 수밖에 없다.
따라서 NPU는 이런 현상에 발 맞추어 나온 하드웨어라고 볼 수 있다.
최근 유명한 칩셋 개발 회사인 인텔과 AMD, 퀄컴, 애플 등에서 모두 NPU를 개발하고 있다.
이미 일부 최신 칩에는 NPU가 탑재되어 나오고 있는 중이다.
아직 이것을 일반 사용자들이 체감하지 못하는 것은, 아직 플랫폼이 깔리기 시작한지 얼마 되지 않았다는 것이 가장 크다.
하드웨어적 플랫폼이 이제 막 보급되고 있는 상황이라, 그에 맞게 개발된 소프트웨어가 거의 없는 것이다.
예를 들어, 아도비 포토샵이나 각종 게임에서, 인공지능 기능이 필요한 경우에는 NPU를 사용하도록 호출해야 한다.
그러나 아직 NPU 칩셋이 보급되기 시작하는 중이라서, 이를 구비한 사용자 수가 그리 많지 않은 상황이다.
따라서 소프트웨어 개발사들도 이에 대한 대응이 아직 크게 나오지 않고 있는 중이라고 볼 수 있다.
NPU 칩과 소프트웨어
최근에는 많은 소프트웨어에서 이미 AI를 활용한 기능들이 들어가 있어서 사용할 수 있다.
사진이나 영상 편집 프로그램에서 AI 기능이 들어가 있는 것은 이미 잘 알려져 있다.
또한 게임에서도 여러가지로 AI 기능을 사용하기도 한다.
따라서 이미 인공지능 기능이 제공되고 있는 소프트웨어들이 많으므로, 앞으로 NPU 기능을 이용하도록 제어하는 것도 많아질 것이라 예상할 수 있다.
즉, 당장은 NPU 칩이 들어가 있는 칩셋을 구입한다고 해서 크게 뛰어난 성능을 체감할 수는 없다.
그러나 앞으로 점점 NPU 칩 기능을 활용하는 소프트웨어들이 많아지면서, 점점 NPU가 있고 없고 차이를 느낄수 있게 될 가능성이 높다.