Chat GPT 3.5로 메모리 붐이 올까?

메모리 반도체 관련해서 Chat GPT, 반도체, AI 공부용 끄적

 

AI의 성능이 개선되는 중이다

https://www.mk.co.kr/news/special-edition/7257818

이세돌 9단 한사람 1 vs 1202 알파고 탑재 CPU - 매일경제

 

알파고가 이세돌과 처음으로 대국을 진행했을 때는 CPU 48개, CPU 8개였는데, 지금은 CPU 1920개와 GPU 280개를 사용했다고 한다

 

https://hyperconnect.github.io/2020/12/21/deep-learning-cluster-1.html

초고성능 딥러닝 클러스터 구축하기 1편

파라미터 1746억 개인Chat GPT 3.0의 학습을 위해서 MS가 GPU 1만 대를 제공했다고 하니, 현재 버전이 3.5이니, 이보다 더 많이 학습했을 것이고, 본격적인 상용화를 위해서는 더 많은 서버를 할당해야 할 것으로 보인다

근데 성능 자체는 무료로 안전한 버전을 배포하기 위해 조절이 들어갔기 때문에 더 뛰어나고 그런 것은 아니라고 한다

 

다른 모델들, 주로 언어 모델로 살펴보자면

 

미국

- AI21 Labs, Jurassic-1: 상업적으로 이용 가능한 가장 큰 언어모델, 파라미터 1,780억 개

- 구글 딥마인드, Gopher: 파라미터 2,800억 개

- 메가트론-튜링, NLG: 파라미터 5,300억개

- 구글, Switch-Transformer:  파라미터 1조 6,000억 개

- GLaM: 파라미터 수 1조 2,000억 개

 

중국

화웨이 ‘판구(PanGu)’: 파라미터 2,000억 개

중국 인스퍼(Inspur), ‘유안(Yuan) 1.0’: : 파라미터 2,450억 개

바이두, 펑청연구소(Peng Cheng Laboratory), ‘PCL-BAIDU Wenxin’: 파라미터 2,800억 개

베이징 인공지능 아카데미(Beijing Academy of AI), ‘우다오(Wu Dao) 2.0': 파라미터 1,750억 개

 

한국
네이버 ‘하이퍼클로바(HyperCLOVA)’: 파라미터 2,040억 개

 

21년 자료이기에 지금은 더 많아졌을 것으로 예상한다. 만약 영어, 중국어 외에도 스페인어, 아랍어, 일본어, 힌두어, 프랑스어, 독일어, 러시아어 등 각 언어마다 비슷한 모델이 돌아가기 시작하고, 언어 모델 뿐만 아니라 이미지 모델, 각종 수리적인 모델들까지 돌아가기 시작한다면  필요한 서버량이 기하급수적으로 늘어나지 않을까?

 

하고 생각해서 AI의 서버 대수 추정을 때려보았다

 

그러면 서버 하나당 CPU, GPU가 얼마나 들어가는 걸까?

http://www.itdaily.kr/news/articleView.html?idxno=211317 

델 데크놀로지스 “파워엣지 서버 신제품으로 고객 IT 환경 혁신 돕겠다” - 아이티데일리

22년 12월에 새롭게 공개한 DDR 5 이용한 서버인데, CPU 2개, GPU 8개인데 이게 가장 최신형이다

이 기사랑 아래 표 고려해 보면, 음 Chat GPT 3.0 돌릴 때 할당된 서버는 아마도 1200~1650대...? 

출처: 대신증권 이수빈, 데이터센터 투자로 본 2019년 메모리 산업, 2018

어쩌면... 생각보다 안 많을지도...? 구글만 해도 서버가 250만대 이상이라는데 남은 서버 용량을 알 방법이 없으니...

하지만, AI 돌리기 위한 스펙 업이 필요한 것은 맞는 것 같다. 일단 DDR 4 이전 버전을 DDR 5 이상으로 전환하려는 수요는 언젠간 오겠지

또, AI용 반도체 성능 개선을 위해서, HBM과 PIM 등에 대한 수요가 증가할 것이라고 한다

추가 서버가 필요하지 않더라도, 서버 교체 수요는 조만간이라고 희망회로를 돌려볼 만 한 부분

 

그리고 상업용으로 돌리기 시작하면 트래픽 관리를 위해 무조건 더 많은 대수가 필요할 것이고, Chat GPT를 통해서 AI 활용의 실생활에 도입이 가속화된다면 여파가 더 커질 것이라 생각한다

 

PIM이 뭐냐 하면

디램과 CPU, GPU 사이 데이터 병목 현상이 일어나는데, 디램 자체에서 연산이 가능하게 만들어 데이터 병목을 해결하겠다는 것, 그래서 Processing In Memory

 

무슨 말인지 모르겠는데, GPU가 엑셀러레이터가 되었던 그런 인상을 준다. 조금 더 찾아봐야겠음

 

https://news.mtn.co.kr/news-detail/2023012713393128303

[칩 인사이드] AI 데이터 처리할 만능열쇠...뉴메모리 개발 박차

https://biz.chosun.com/it-science/ict/2023/02/05/GOSZQK4ZWFCXJKDHEZUWWMIFSI/?utm_source=naver&utm_medium=original&utm_campaign=biz 

챗GPT 열풍에 삼성·하이닉스 ‘들썩’… 연산 가능한 ‘AI 반도체’ 개발 속도

 

그 밖에도 

 

서버 

MS, OpenAI 추가 투자, 마이크로소프트는 ChatGPT에 대한 세 번째 투자를 결정. 수십억 달러 규모일 것으로 추정
아마존, AWS 데이터센터 투자계획 발표, 버지니아 데이터센터에 대해 2040년까지 추가적으로 350억 달러 규모의 투자 예정, 2011년부터 지금까지 350억 달러 정도 투자한 것으로 알려짐
넷플릭스, 유료 구독자 수가 766만 명 증가하며 회사의 기존 예상치인 450만 명을 크게 초과 달성

메타, 355억 달러에서 315억 달러로 CapEx 가이던스 하향, 근데 미래에셋 김영건 애널리스트님 말로는 얘네가 쓰려는 서버가 출시가 23년 하반기 중이라서 줄인 것 같다고 하심. 나의 확증편향일 수도... 희망회로 불탄다~

 

그리고 이런 AI, IoT의 발전들은 애초에 데이터 생성량 속도 자체의 증가를 불러온다

사진, 동영상 화질이 720p 나오면 이젠 만족할 수 없고, 생활 속에서 생산되는 수많은 데이터들이 어딘가에 쓰이기 위해 수집된다면 데이터량 자체도 기하급수적으로 증가하지 않을까? = 서버 수요

Statista

 

 

https://t.me/gateoxide/1486
이런 말씀도 하셨다, 곧 서버 교체주기 도래한다고

 

장비

ASML: 연간 성장률 25% 제시, 성장률의 상당분은 로직향, 메모리향 투자에 대해서는 보수적인 전망
KLA: 23년 반도체 장비 시장이 약 20% 감소할 것으로 전망, 메모리 장비의 경우 감소폭이 더 크고 특히 DRAM의 감소폭이 NAND 보다 클 것으로 전망
LRCX: DRAM과 NAND 장비 모두 유의미한 감소가 예상됨, 특히 NAND의 감소폭이 DRAM에 비해 클 것으로 전망. 파운드리향은 강세 지속 예상
테러다인: DDR5 DRAM과 UFS 4.0 NAND 등 신규 고속 인터페이스에 대한 테스트 수요가 시장 역성장을 상쇄. 메모리 테스터는 상대적으로 양호할 전망

 

최전방 서버는 수요가 늘고, 핸드셋은 버티거나 정말로 중국 쪽에서 수요 반등?

장비사는 매출 감소를 우려, 칩메이커들도 인위적/자연적 감산

결국 재고 조정이 확실하고 경기 반등 선반영 따라서 산업의 쌀 반도체 붐은 다시 오는 것이 아닐까? 하는 삼전 주주입니다 ㅎㅎ

 

 

반응형