[뉴스토마토 이명신 기자] 인공지능(AI) 연산의 효율을 높이기 위해 데이터를 처리하는 위치를 메모리 가까이 옮기는 연구가 빠르게 늘고 있습니다. 이를 통해 그래픽처리장치(GPU)와 메모리 사이에서 데이터를 주고받는 시간과 전력 소비를 줄이려는 것입니다.
삼성전자(005930)와
SK하이닉스(000660)도 엔비디아와 글로벌 대학 등과 함께 차세대 메모리 연산 기술 개발에 속도를 내고 있습니다.
삼성전자가 지난달 서울 코엑스에서 열린 ‘SEDEX 2026’에서 전시한 저전력 D램(LPDDR) 기반 프로세싱 인 메모리(PIM) 신제품 ‘LPDDR5X-PIM’. (사진=이명신 기자)
2일 그리스 아테네에서 진행 중인 국제 컴퓨터 구조학회 ‘MICRO 2026’의 공식 발표 프로그램을 보면, 메모리 관련 주제의 발표 논문은 지난해 11편에서 올해 63편으로 약 5.7배 증가했습니다. 전체 발표 논문에서 차지하는 비중도 8.9%에서 28.6%로 높아졌습니다.
특히 메모리 내부나 가까운 곳에서 연산하는 기술을 다룬 세션의 논문은 7편에서 25편으로 3.6배 증가했습니다. 기존에는 GPU가 메모리에서 데이터를 가져와 계산했다면, 이제는 데이터가 저장된 곳 가까이에 연산 기능을 배치해 이동 과정을 줄이려는 것입니다. 관련 세션에서 한국 기업과 대학 연구진이 참여한 논문도 4편에서 10편으로 증가했으며, 삼성전자와 SK하이닉스 소속 연구진이 참여한 논문도 각각 4편과 3편 이름을 올렸습니다.
삼성전자는 엔비디아, 미국 UC샌디에이고·컬럼비아대, 연세대 연구진과 ‘AMMA’를 공동 연구했습니다. 고대역폭메모리(HBM)와 연산장치를 결합한 소형 반도체 칩(칩렛) 여러 개에 AI의 핵심 계산 작업인 ‘어텐션 연산’을 나눠 맡기는 기술입니다. 어텐션 연산은 AI가 문장 속 단어들의 관계를 파악하는 과정으로, 최대 100만 토큰(AI가 글을 처리하는 기본 단위)의 긴 문맥을 처리하도록 설계됐습니다. 연구진은 시뮬레이션에서 어텐션 연산 지연시간을 엔비디아 H100 대비 최대 15.5분의 1 수준으로 줄였습니다.
삼성전자 미국 연구진은 텍사스A&M대와 적층 D램 가속기의 메모리 접근·칩 간 통신을 최적화하는 ‘SYMPHONY’를 제시했습니다. 여러 연산장치가 데이터를 주고받는 과정에서 발생하는 병목을 줄이는 구조입니다. 카이스트와는 데이터 전송과 계산을 동시 수행, 대기시간을 줄이는 ‘In-Flight Collectives’를 발표했습니다.
SK하이닉스는 카이스트와 GPU·메모리 근접 연산장치(PNM)를 함께 활용하는 ‘넬사’(NELSSA)를 개발했습니다. 짧은 문맥은 GPU, 긴 문맥은 PNM에 배분하는 구조로, 연구진은 GPU 단독 시스템 대비 AI 답변 생성 처리량이 최대 5.5배 높아졌다고 밝혔습니다. 연세대와는 데이터가 저장되는 주소를 효율적으로 배치해 처리 속도를 높이는 ‘듀얼라인’(DUALign)을 제시했습니다.
SK하이닉스 아메리카는 코넬대와 일반 D램을 활용해 데이터 이동 부담을 줄이는 협업 연산 기술 ‘C3’를 연구했습니다. 별도의 특수 메모리 대신 기존 D램과 중앙처리장치(CPU)를 활용해 연산 효율을 높이려는 접근입니다.
AI 모델이 커질수록 데이터 이동 부담이 늘어나는 만큼, 메모리가 일부 연산을 직접 수행하는 프로세싱 인 메모리(PIM) 등 관련 기술 개발은 더욱 활발해질 전망입니다. 신현철 광운대 반도체시스템공학부 교수는 “PIM은 단순하고 반복적인 연산을 메모리에서 처리해 효율을 높이는 기술”이라며 “컴퓨팅 아키텍처가 바뀌는 만큼 GPU와 메모리 간 데이터 처리 방식에 대한 합의가 필요하다”고 했습니다.
이명신 기자 sin@etomato.com
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 오승훈 산업1부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지