▲ 삼성전자가 인공지능 HBM-PIM를 개발했다  © 사건의내막

[사건의내막 / 박연파 기자] = 삼성전자가 세계 최초로 메모리 반도체와 인공지능 프로세서를 하나로 결합한 HBM-PIM(Processing-in-Memory)을 개발했다.

PIM(Processing-in-Memory)은 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 신개념 융합기술이다. 삼성전자는 PIM 기술을 활용해 슈퍼컴퓨터(HPC)와 AI 등 초고속 데이터 분석에 활용되는 HBM2 Aquabolt에 인공지능 엔진을 탑재한 HBM-PIM을 개발했다.

HBM2(High Bandwidth Memory) Aquabolt란 2018년 1월 삼성전자가 양산한 2세대 고대역폭 메모리 반도체를 말한다. AI 시스템에 HBM-PIM을 탑재할 경우 기존 HBM2를 이용한 시스템 대비 성능은 약 2배 이상 높아지고 시스템 에너지는 70% 이상 감소한다.

또한 기존 HBM 인터페이스를 그대로 지원해 HBM을 이용하는 고객들은 하드웨어나 소프트웨어의 변경 없이 HBM-PIM을 통해 강력한 AI 가속기 시스템을 구축할 수 있게 됐다. AI 가속기란 인공지능을 실행하기 위한 전용 하드웨어를 말한다.

최근 인공지능의 응용 영역이 확대되고 기술이 고도화됨에 따라 고성능 메모리에 대한 요구가 지속해서 커져 왔으나 기존의 메모리로는 폰 노이만 구조의 한계를 극복하기 어려웠다.

폰 노이만 구조는 오늘날 대부분 컴퓨터에서 사용하는 방식으로 CPU가 메모리로부터 명령어를 불러오고 실행하며 그 결과를 다시 기억장치에 저장하는 작업을 순차적으로 진행한다. 이 과정에서 CPU와 메모리 간 주고받는 데이터가 많아지면 작업처리가 지연되는 현상이 생긴다.

삼성전자는 이를 극복하기 위해 메모리 내부의 각 뱅크에 인공지능 엔진을 장착하고 병렬처리를 극대화해 성능을 높였다. 또한 HBM-PIM은 메모리 내부에서 연산 처리를 할 수 있어 CPU와 메모리 간 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있다. 뱅크(Bank)란 주기억장치를 구성할 때의 최소 논리적 단위를 말한다.

삼성전자는 이러한 혁신기술을 D램 공정에 접목해 HBM-PIM을 제품화하는 데 성공하고 반도체 분야 세계 최고권위 학회인 ISSCC에서 논문을 공개했다.

삼성전자 메모리 사업부 상품기획팀장 박광일 전무는 “HBM-PIM은 AI 가속기의 성능을 극대화할 수 있는 업계 최초의 인공지능 맞춤형 PIM 솔루션으로 삼성전자는 고객사들과 지속해서 협력을 강화해 PIM 에코 시스템을 구축해 나갈 것”이라고 말했다.

미국 아르곤 국립 연구소 CELS(컴퓨팅·환경 및 생명과학) 연구실장 릭 스티븐스는 “HBM-PIM은 AI 응용을 위한 성능 및 에너지 효율 측면에서 놀라운 성과로 HBM-PIM 시스템 평가를 위해 향후에도 삼성전자와 지속적인 협력을 기대한다”고 말했다.

삼성전자는 상반기 내 다양한 고객사의 AI 가속기에서 HBM-PIM을 탑재해 테스트 검증을 완료할 예정이며 향후 고객사들과 PIM 플랫폼의 표준화와 에코 시스템 구축을 위해 협력을 강화해 나갈 계획이다.

penfree1@hanmail.net

*아래는 위 기사를 구글 번역기로 번역한 영문 기사의 [전문]이다. [Below is the [full text] of an English article translated from the above article with Google Translate.

Samsung Electronics develops world's first artificial intelligence HBM-PIM

Next-generation new concept that adds processor functions required for computational tasks inside the memory

The story of the case / Reporter Park Yeon-pa] = Samsung Electronics developed the world's first HBM-PIM (Processing-in-Memory) that combines a memory semiconductor and an artificial intelligence processor.

PIM (Processing-in-Memory) is a next-generation new concept convergence technology that adds processor functions necessary for computational tasks inside the memory. Samsung Electronics developed HBM-PIM with artificial intelligence engine on HBM2 Aquabolt, which is used for high-speed data analysis such as supercomputer (HPC) and AI, using PIM technology.

HBM2 (High Bandwidth Memory) Aquabolt refers to the second-generation high-bandwidth memory semiconductor mass-produced by Samsung Electronics in January 2018. When HBM-PIM is installed in an AI system, the performance of the system using the existing HBM2 is approximately doubled and the system energy is reduced by more than 70%.

In addition, by supporting the existing HBM interface as it is, customers using HBM can build a powerful AI accelerator system through HBM-PIM without changing hardware or software. AI accelerator refers to dedicated hardware to run artificial intelligence.

Recently, as the application area of ​​artificial intelligence has been expanded and technology has been advanced, the demand for high-performance memory has continuously increased, but it was difficult to overcome the limitations of the von Neumann structure with the existing memory.

The von Neumann architecture is a method used in most computers today, in which the CPU loads and executes instructions from the memory, and stores the results in a memory device sequentially. In this process, if the amount of data exchanged between the CPU and memory increases, the processing of work is delayed.

To overcome this, Samsung Electronics installed an artificial intelligence engine in each bank inside the memory and maximized parallel processing to increase performance. In addition, HBM-PIM can perform arithmetic processing inside the memory, reducing data movement between the CPU and memory, thereby increasing the energy efficiency of the AI ​​accelerator system. Bank refers to the minimum logical unit when composing main memory.

Samsung Electronics succeeded in commercializing HBM-PIM by incorporating these innovative technologies into the DRAM process, and released the thesis at ISSCC, the world's top academic society in the semiconductor field.

“HBM-PIM is the industry's first artificial intelligence customized PIM solution that can maximize the performance of AI accelerators. I will go out.”

“HBM-PIM is a remarkable achievement in terms of performance and energy efficiency for AI applications. I look forward to it.”

In the first half of the year, Samsung Electronics plans to complete test verification by mounting HBM-PIM in various customer's AI accelerators, and plans to strengthen cooperation with customers to standardize the PIM platform and build an ecosystem.

penfree1@hanmail.net