'AI칩 처리속도 높이고 발열 줄여라'… 제2 HBM 경쟁 불붙어

미래 승부처 8대 제조업차세대 AI칩D램 층층이 쌓아올린 HBM대용량 데이터 초고속 처리AI칩 핵심에도 '발열' 한계메모리 추가 확장 가능한 CXL서버공간줄인 저전력 SoCAMM스스로 연산하는 메모리 PIM삼성·SK, 미래 기술 선점나서

서버공간줄인 저전력 SoCAMM인공지능 데이터센터 시대에 고대역폭메모리는 필수품이다. AI 모델 학습·추론을 위해 대용량 데이터를 초고속으로 처리해야 해서다. 이에 현대차증권은 HBM 시장이 올해 476억달러에서 내년 655억달러로 성장할 것으로 전망한다. 하지만 큰 단점이 있다. 바로 발열이다. AI 가속기인 엔비디아 H100은 초당 67조~1경번의 연산을 수행하면서, 순간 온도가 88도까지 치솟는다.

특히 AI 가속기에 부착된 HBM은 여러 메모리 칩을 적층해 만들었기 때문에 층간에 막대한 열을 축적한다. HBM3는 최고 동작 온도를 95도로 설정했는데 자칫 해당 온도를 초과하면 시스템에 먹통을 초래할 수 있다. 반도체 업계가 불을 켜고 제2의 HBM 찾기에 나선 이유다. 특히 삼성전자, SK하이닉스, 마이크론 등 메모리 3사는 발열은 낮지만 속도가 비교적 빠른 CXL·SoCAMM·PIM 개발에 박차를 가하고 있다. 먼저 CXL은 중앙처리장치, 그래픽처리장치, 신경망처리장치 등 다양한 프로세서가 각자의 메모리를 하나의 시스템 내에서 유기적으로 공유하고 사용할 수 있도록 해주는 차세대 메모리 인터커넥트 기술이다. 서버에는 메모리를 장착하기 위한 슬롯이 필요하다. 하지만 D램은 'DIMM 슬롯'에, GPU나 솔리드스테이트드라이브는 'PCIe 슬롯'에만 연결된다. 문제는 DIMM 슬롯 수가 통상 8~16개로 제한돼 있어 대용량 메모리의 추가 장착이 어렵다는 점이다. 이에 따라 데이터가 몰리면 병목현상이 발생한다. 하지만 CXL은 PCIe 슬롯에 D램 기반 메모리 모듈을 추가 장착할 수 있도록 지원한다. 이를 통해 테라바이트 단위의 메모리 확장은 물론이고 수백 TB까지 메모리 용량을 늘리는 것이 가능해진다. 메모리 확장의 '끝판왕'이라는 별명이 붙은 이유다. 권석준 성균관대 화학공학부 교수는"CXL은 현재 DDR D램을 기반으로 한 서버 환경에서 중요한 기술로 부상하고 있다"며"메모리를 빠르게 연결하는 기술을 뛰어넘어 속도 향상, 전력 효율, 데이터 안정성까지 모두 챙기는 방향으로 진화하고 있다"고 설명했다. 이어 그는"반도체 기업들이 처음엔 CXL을 단순한 연결 기술로 여겼다"면서"하지만 AI 시대를 맞아 데이터 처리에 최적화된 소프트웨어와 도구까지 개발하고 있다"고 덧붙였다. 현재 반도체 업계는 HP엔터프라이즈, 델테크놀로지스, 레노버와 같은 글로벌 서버 제조기업을 상대로 인증 절차를 밟고 있다. 삼성전자가 256GB CXL에 대해, SK하이닉스가 CXL DDR5 128GB에 대해 각각 인증을 받고 있다.SoCAMM은 저전력 칩인 LPDDR5X를 기반으로 고대역폭과 저전력 특성을 동시에 갖춘 것이 특징이다. 노트북이나 모바일 기기에서 주로 사용되는 LPDDR5X 메모리를 서버 환경에 맞게 변형한 것으로 보면 이해가 쉽다. 따라서 서버 메모리보다 크기가 훨씬 작다. 세로 14㎜, 가로 90㎜ 정도로 서버용 메모리 모듈의 3분의 1 크기다. 하지만 최대 128GB 용량을 지원해 서버 공간을 줄여준다. 데이터 처리 속도는 최고 9.6GT/s로, 종전 DDR5 RDIMM보다 2.5배 빠르다. 그런데도 전력 소모는 오히려 3분의 1로 줄어든다. 다만 HBM3가 최대 819GB/s인 점을 고려할 때 성능 면에서는 크게 열세다. 또 다른 문제도 있다. 현존하는 서버 메모리는 대다수 LPDDR5X가 아닌 DDR5 RDIMM이기 때문에 호환성이 걸린다. 또 엔비디아가 차세대 AI 시스템인 '그레이스 CPU 기반 AI 서버'에 도입하려 하고 있지만, 개발 초기 단계라 고객사가 많지 않다. 하지만 메모리 3사 모두 적극적이다. 삼성전자, SK하이닉스, 마이크론 모두 엔비디아 서버용 공급을 준비하고 있다. 메모리 3사는 엔비디아용을 양산하면서 노하우를 익힐 것으로 보인다. 한 반도체 관계자는"SoCAMM 자체가 패키지 형태일 뿐이라 특별한 로직이 필요한 것은 아니다"면서"다만 아직은 표준이 마련돼 있지 않아 표준이 마련된 뒤에야 각 사가 시장에 본격 공급할 것으로 보인다"고 말했다. 반도체 업계가 주목하는 또 다른 기술은 PIM이다. 메모리 안에 연산 기능을 탑재했다고 보면 된다. 기존처럼 데이터를 CPU나 GPU로 옮겨 계산하는 방식은 속도와 전력 소모 측면에서 한계가 뚜렷하다. PIM은 데이터를 메모리 내부에서 직접 처리해 연산 속도를 끌어올리고, 전력 사용도 크게 줄여준다. 특히 AI 추론처럼 연산과 데이터 이동이 반복되는 작업에서 성능 개선 효과가 크다. 삼성전자는 2021년 세계 최초로 메모리 반도체와 AI 프로세서를 하나로 결합한 HBM-PIM을 개발한 데 이어 AI 반도체와 병렬 연산에 최적화된 차세대 기술을 개발하고 있다. 지난해 11월 삼성전자는 '삼성 AI 포럼 2024'에서 HBM을 뛰어넘을 핵심 제품으로 PIM 개발에 집중한다고 밝혔다. 손교민 삼성전자 마스터는 해당 포럼에서"HBM은 AI 반도체의 핵심이지만 대역폭 확대나 적층 한계가 뚜렷하다"면서"이를 보완할 차세대 메모리로 PIM이 주목받고 있다"고 말했다. 그는 이어"HBM이 현재 1등 기술인 건 분명하지만 삼성은 미래를 대비해 PIM 등 새로운 솔루션을 집중 연구 중"이라고 밝혔다. SK하이닉스 역시 2022년부터 자체 PIM 기술을 개발하고 있다. 이를 적용한 첫 제품으로 초당 16기가비트 속도의 'GDDR6-AiM' 샘플을 선보였다. 2023년 9월 열린 'AI 하드웨어&에지 AI 서밋 2023'에서는 GDDR6-AiM을 기반으로 한 생성형 AI 가속기 카드 'AiMX' 시제품을 처음 공개해 시선을 끌었다. AI는 막대한 데이터를 필요로 하고, 반도체의 데이터 처리에는 발열이 부작용으로 나타나기 때문에 미래 칩 기술의 방향점은 성능을 유지하면서도 열을 낮추는 데 있다.

We have summarized this news so that you can read it quickly. If you are interested in the news, you can read the full text here. Read more:

maekyungsns /  🏆 15. in KR

United States Latest News, United States Headlines

Similar News:You can also read news stories similar to this one that we have collected from other news sources.

美 대표 반도체지수 200일선 뚫었다···엔비디아 이틀 새 11% 급등미중합의에 美 반도체지수 오름세 ‘대장주’ 엔비디아 이틀새 11% 쑥 對중국 H20 수출재개 기대감에 빈살만 AI칩 구매까지 호재 겹쳐 국내선 SK하이닉스가 상승주도
Read more »

트럼프, 엔비디아 규제 완화 이어 US스틸 인수 허가···기업 목소리에 확실하게 귀 연다 [★★글로벌]기업 애로 해결서 전향적 움직임 바이든 ‘AI칩 국가등급제’ 없애고 일본제철 ‘US스틸 인수’ 전격 승인 기업들에 ‘탈규제 신호’ 선명 노출 日, 인수가 맞먹는 140억달러 투자 ‘美 제조업 부흥’ 트럼프 욕구 충족
Read more »

화해한게 아니었어?…“너희가 약속 어겼잖아” 다시 으르렁거리는 미국-중국다시 고조되는 미중 무역갈등 中 “AI칩·SW 수출통제에 유학생 비자 취소까지” 반발 베선트 “트럼프, 곧 習과 통화”
Read more »

“기적의 칩이 들어갔다”...엔비디아 젠슨황, 게임기에 강력한 찬사엔비디아 AI칩 탑재 日 닌텐도 스위치 2 출시 젠슨 황 “기술의 기적” 이라며 찬사 리셀 가격 벌써 정가의 두 배 수준에서 거래
Read more »

[매경데스크] 트럼프 정권에서 더 중요해진 한일협력美관세전쟁·동북아안보 등한일 협력할 이슈들 늘어나양국관계 '정치 이용' 안돼넘지말아야 할 '선' 지키며신뢰 높이고 협력 강화해야
Read more »

'5년 뒤 결제가 카톡보다 편해질 것'달러 기반 디지털 화폐 발행'스트레이츠엑스' 리우 대표'결제 정보·자금이동 통합해투명성 높이고 수수료 낮춰'
Read more »