인공지능(AI)의 진화 속도는 가파르다. 챗GPT, 제미나이, 클로드 등 거대언어모델(LLM)이 산업과 사회를 뒤흔들고 있지만, 현재의 AI는 구조적 한계를 안고 있다. 과학 기술·IT 크리에이터이자 기술 전문 뉴미디어 '하이젠버그'의 대표이사 에스오디(SOD)는 현재의 AI를 "기억 상실증에 걸린 천재"에 비유했다. 카이스트에서 반도체소자를 연구하는 김주찬 연구원의 분석에 따르면, LLM은 학습 데이터는 완벽하게 기억하지만, 학습 이후의 새로운 경험과 정보를 장기 기억으로 통합하지 못한다. 빅테크 기업들이 매번 질문할 때마다 과거 대화 기록 전체를 다시 읽게 하는 비효율을 감수하고 있는 이유다.

그러나 2026년을 기점으로 이 구조는 크게 변할 것으로 전망된다. 에스오디가 분석한 바에 따르면 구글의 중첩 학습과 타이탄 아키텍처의 상용화가 임박했기 때문이다. 중첩 학습은 모델이 새로운 데이터를 다층·다속도 방식으로, 지속적으로 학습하는 기법을 의미한다. 타이탄 아키텍처는 이를 구현하기 위해 단기 문맥을 처리하는 어텐션과 장기 정보를 저장하는 신경 메모리를 결합한 차세대 AI 모델 구조다. 이를 통해 학습과 추론의 경계가 흐려지고, 추론 과정 자체가 곧 미세 학습이 되는 시대가 도래한다.

지금까지 AI는 한 번의 대규모 학습을 거친 후 고정된 가중치로만 추론을 수행했다. 반면 타이탄 아키텍처에서는 인간의 뇌처럼 예측하지 못한 새로운 정보가 입력될 때만 선별적으로 기억을 업데이트한다. 뜨거운 주전자에 손을 댄 순간 인간이 0.1초 만에 위험을 감지하고 시냅스의 연결 강도를 즉각 수정하는 것처럼, AI도 실시간으로 성장할 수 있게 된다. 에스오디는 이러한 변화를 통해 AI가 '기억하지 못하고 정체된 지능'에서 '기억하고 스스로 성장하는 지능'으로 전환될 것으로 예측했다.

기존 메모리 반도체는 읽기 중심의 데이터 접근을 전제로 설계됐다. GPU가 연산을 수행할 동안 고대역폭메모리(HBM)는 필요한 데이터를 읽어 제공하고, 연산 후 다시 저장하는 구조였다. 그러나 중첩 학습이 도입되면 읽기-수정-쓰기(Read-Modify-Write) 작업이 빈번하게 발생한다. 단순한 대역폭 확대만으로는 가중치 업데이트 트래픽을 처리할 수 없게 되는 것이다.

특히 타이탄 아키텍처의 단기 기억 영역은 인간의 작업 기억처럼 빠르게 변한다. 이를 효율적으로 처리하려면 메모리 내부에서 간단한 연산을 수행할 수 있는 구조가 필수다. 차세대 HBM(HBM4 이후)에 베이스 다이 형태의 연산 로직을 포함시키거나, PIM(Processing-In-Memory) 기술을 적용해야 한다는 의미다. 데이터가 GPU와 메모리 사이를 반복적으로 이동하지 않고 메모리 내부에서 처리될 때 실시간 학습 효율이 향상된다.

이러한 구조 변화는 필연적으로 데이터 규모 증가를 수반한다. 그러나 HBM은 비용이 높은 메모리이기 때문에 모든 데이터를 저장하기 어렵다. 최근 반도체 업계가 주목하는 해법이 HBF(High Bandwidth Flash) 기술이다. CXL 인터페이스를 활용해 HBM과 SSD 사이의 성능 격차를 보완하는 새로운 메모리 계층이다. 현재 계산에 사용되는 데이터는 HBM에서 처리하고, 당장 사용되지 않지만, 가까운 시점에 활용될 데이터는 HBF에 저장하는 방식이다. SK하이닉스를 포함한 글로벌 메모리 기업들이 이미 HBF 기술 개발에 돌입한 이유다.

메모리 시장의 패러다임도 근본적으로 바뀌고 있다. 지난 10년간 메모리 발전은 선형적이었다. DDR3에서 DDR4로, HBM2에서 HBM3로 이어지며 더 빠르고 큰 용량의 신제품이 이전 세대를 자연스럽게 도태시켰다. 하지만 앞으로는 메모리 구조가 훨씬 세분화될 것으로 전망된다. 지멘스에 근무하는 박태균 연구원은 "앞으로의 AI는 모델 규모 경쟁을 넘어 운영 환경에서 얼마나 안정적으로, 얼마나 빠르게, 얼마나 낮은 비용으로 구동될 수 있는가가 경쟁력을 결정할 것"이라고 분석했다.

실제 산업 현장에서 고성능 HBM을 사용하고도 특정 워크로드에서 지연과 불안정성이 발생하는 사례가 늘어나고 있다. 문제는 메모리의 절대 속도가 아니라 평균 성능과 실제 서비스 환경에서 요구되는 응답 특성 사이의 괴리다. 평균은 충분히 빠르지만 특정 순간의 지연이 전체 시스템을 좌우할 수 있다는 뜻이다. 반도체 업계에서는 "지연 시간 중심(Latency-centric)" 시장이 점차 중요해질 것으로 전망하고 있다. 테일 지연(특정 요청이 대부분보다 현저히 늦게 처리되는 현상)이 시스템 안정성을 좌우하는 사례가 늘어나기 때문이다.

휴머노이드 로봇을 예로 들면, 로봇이 균형을 유지하기 위해 초당 수십 차례의 판단을 수행한다고 해도 단 한 번의 지연이 발생하면 로봇은 넘어질 수 있다. 엔비디아 젠슨 황 CEO가 CES 2025와 2026에서 연이어 강조한 "피지컬 AI(로봇, 자율주행, 제조 설비 등 물리적 시스템에 적용되는 AI)" 시대로의 진입이 임박했다는 뜻이다. 이제는 빠른 메모리보다 예측 가능한 응답 특성을 제공하는 메모리가 더욱 중요한 경쟁 요소가 된다.

학습용 시스템처럼 대역폭이 중요한 경우에는 대역폭 특화 베이스 다이를 적용하고, 로봇처럼 반응 속도가 중요한 경우에는 지연 시간 최적화 베이스 다이를 사용하는 방식의 모듈화된 HBM 구조가 등장할 가능성이 크다. 표준화된 구성 요소를 레고 블록처럼 조합하는 방식으로, 다양한 요구 조건에 대응할 수 있는 유연한 구조를 갖춘다는 의미다.

기술 전환의 범위는 메모리를 넘어 통신 인프라까지 확대되고 있다. 포스텍에서 AI 통신 기술을 연구하는 김민우 연구원은 차세대 6G 통신의 핵심이 단순한 속도 향상이 아니라 통신 제어권의 AI 이양에 있다고 설명한다. 전 세계 약 1,200만 개 기지국에 AI 가속기가 도입될 경우, 이는 새로운 AI 인프라 시장으로 발전할 가능성이 크다.

그러나 현실적 문제도 존재한다. 통신사들은 기지국의 AI 가속기를 통신 처리뿐 아니라 트래픽이 적은 시간에는 엣지 컴퓨팅이나 생성형 AI 서비스에도 활용하고자 한다. 문제는 이러한 작업이 동시에 이루어질 경우 자율주행 차량 같은 실시간 시스템의 통신 처리에 지연이 발생할 수 있다는 점이다. 따라서 6G 환경에서는 통신용 자원과 서비스용 자원을 명확하게 분리하는 메모리 격리와 가상화 기술이 중요해진다.

AI 시대의 모든 기술 과제를 관통하는 핵심은 결국 "데이터의 이동(Data Movement)"이다. 현재 컴퓨팅 구조에서는 데이터를 메모리에서 꺼내 연산 장치로 전달하고 다시 저장하는 과정에서 상당한 에너지가 소모되고 처리 지연도 발생한다. SK하이닉스가 2025년 CES에서 공개한 AiM(Accelerator-in-Memory) 기술이 주목받는 이유가 바로 여기에 있다. 메모리에 프로세서의 연산 기능을 탑재해 데이터를 메모리 내부에서 직접 처리한다면, 성능과 에너지 효율을 동시에 극대화할 수 있기 때문이다.

중첩 학습 환경에서는 빈번한 연산과 데이터 업데이트가 발생한다. GDDR6-AiM과 같은 PIM 기반 메모리 구조가 이를 메모리 내부에서 처리할 수 있다면, GPU와 메모리 사이의 병목 현상은 크게 완화된다. 메모리가 자체적으로 가중치를 업데이트할 수 있는 구조가 확보될 때, 데이터가 GPU까지 왕복하는 시간을 줄여 실시간 학습 환경을 구현할 수 있다.

AI 데이터센터 확장과 엣지 디바이스 확산에 힘입어 향후 수년간 메모리 수요가 크게 증가할 것으로 업계는 전망하고 있다. 일부 주요 고객들이 연 단위 계약 대신 수년 단위의 장기 공급 계약을 요구하는 추세도 이를 반영한다.