사회
KAIST, 생성형 AI 특화 NPU 개발…GPU 대체 가능성
KAIST 연구팀이 챗GPT와 같은 생성형 인공지능(AI) 서비스의 추론 성능을 60% 이상 높일 수 있는 국산 NPU 기술을 개발했다.
해당 기술은 AI 반도체 분야에서 GPU를 대체할 수 있는 새로운 대안으로 주목받고 있으며, AI 데이터센터와 에이전틱 AI 환경에서 실효성을 입증했다.
KAIST 전산학부 박종세 교수 연구팀은 전기및전자공학부 김주영 교수가 설립한 스타트업 하이퍼엑셀과 공동으로 생성형 AI에 특화된 고성능·저전력 신경망처리장치(NPU) 핵심 기술을 개발했다고 4일 밝혔다.
이 연구는 지난 6월 일본 도쿄에서 열린 국제 컴퓨터구조 심포지엄(ISCA 2025)에서 발표됐다.
NPU는 AI 연산에 특화된 반도체로, 현재 시장을 장악하고 있는 GPU의 대안으로 개발되고 있다.
국내에서는 리벨리온, 퓨리오사AI 등 기업이 NPU 기술 상용화를 추진 중이며, 이번 KAIST 연구는 그 성능 면에서 주목받고 있다.
연구진은 새롭게 개발한 NPU가 최신 GPU와 비교해 생성형 AI 모델의 추론 성능을 평균 60% 이상 높이면서, 전력 소모는 약 44%로 줄일 수 있다고 밝혔다.
연구팀은 추론 정확도를 유지하면서도 메모리 요구량을 최소화하는 경량화 기법을 적용하고, 메모리 병목 현상을 줄이는 하드웨어 설계를 병행했다.
이로써 적은 수의 NPU만으로도 대규모 AI 모델 추론에 필요한 처리 성능을 확보할 수 있게 됐다.
반면, 기존 GPU 기반 시스템은 동일한 성능 구현을 위해 높은 메모리 대역폭과 여러 장치가 필요하다.
이번 기술은 클라우드 기반 데이터센터뿐 아니라, 실행형 인공지능을 기반으로 한 에이전틱 AI 환경에도 적합하다.
에이전틱 AI는 자율적으로 실행·판단하는 차세대 AI 모델로, 다양한 산업 현장에서 실시간 대응과 유연한 처리 능력이 요구된다.
KAIST가 개발한 NPU는 이러한 환경에서 요구되는 저지연·고성능 처리를 지원할 수 있도록 설계됐다.
박종세 교수는 “추론 정확도를 유지하면서 메모리 요구량을 줄이는 경량화 기법과 이에 최적화한 하드웨어 설계를 결합해 최신 GPU 대비 평균 60% 이상 성능이 향상된 NPU를 구현했다”며 “데이터센터뿐 아니라 능동적인 실행형 AI인 ‘에이전틱 AI ’등으로 대표되는 AX(AI 전환) 환경에서도 핵심 역할을 할 것으로 기대된다”고 밝혔다.
배동현 (grace8366@sabanamedia.com) 기사제보