엔비디아 젠슨 황, 생각하는 기계를 읽고서

들어가면서

2026년 5월 베이징으로 향하던 미국의 에어포스 원이 갑자기 경로를 바꿔서 알래스카로 향했다.
그리고 그곳에서 현시점 AI 패권경쟁에서 가장 중요한 인물인 '젠슨 황'이 합류한다. 미국 트럼프 대통령의 요청으로 전격적으로 이뤄진 일이다.

대만 이민자 출신이며 현시점 미국 시가총액 1위 기업 엔비디아의 CEO인 젠슨 황, 그가 가지는 존재감이 어느 정도인지 직접적으로 드러난 일이라고 생각했다.

'AI 시대의 압도적인 1위 기업' 'GPU 독점 기업' '슈퍼 갑을 넘어선 갑 중의 갑'
이런 수식어들로 엔비디아를 표현할 수밖에 없는 게 현재 전 세계의 AI를 실현 가능하게 만든 것이 바로 엔비디아이기 때문이다. 엔비디아가 만든 고성능 GPU가 매초마다 계산하는 어마어마한 연산량 위에서만 우리가 현재 누리는 AI가 가능하다.

목차

파트 1 - 세계가 탐내는 마이크로칩의 탄생

• 출렁다리에서 시작된 도전
• 대규모 집적 회로와 야망 있는 창업자
• 엔비디아, 새로운 모험의 여정
• 30일, 살아남느냐, 사라지느냐
• 병렬 컴퓨팅, 성공률 0%를 뒤집다
• 인간을 능가한 최초의 신경망, 젤리피시
• 데스매치, 빛의 속도로 압도하라
• 고객을 붙잡아두는 강박적 루프 전략
• 인류 최고의 기술이 된 쿠다
• 미래를 예측하는 공명
• 신경망 연구의 전환점, 알렉스넷

파트 2 - 엔비디아, AI 혁명의 미래

• O.I.A.L.O. 일생일대의 기회
• 초지능, 인간보다 똑똑한 AI는 가능한가
• 엔비디아의 필연적 도약과 명함
• 트랜스포머, 인간의 상호작용을 이해하는 AI
• 하이퍼스케일, 무한한 확장의 가능성
• 돈, 인재, 혁신, 모든 것은 엔비디아를 거친다
• 엔데버, 엔비디아의 심장
• 마지막 남은 숙제, 전력
• 지구상에서 가장 중요한 주식
• 사람들을 팬으로 만드는 사람, 젠슨 황
• 두려움, AI를 둘러싼 이중 잣대
• 생각하는 기계

젠슨 황은 누구?

• 출생 : 1963년 대만 타이난시
• 이민 : 10세에 미국 켄터키주 이주
• 학력 : 오리건 주립대 졸업(1984년 학사), 스탠퍼드 대학교 대학원 졸업(1992년 석사)
• 창업 : 1993년 엔비디아(NVIDIA) 설립
• 성과 : 세계 최초 GPU 개발(1995년), 쿠다 아키텍처 공개(2006년), 시가총액 1위 기업 등극(2024년)

아시아 이민자가 초거대 GPU 제국을 건설하다

1993년 젠슨 황, 커티스 프리엠, 크리스 말라초스키 3명이 모여서 이름도 정해지지 않아서 New Venture라고 이름 붙인 NV(훗날 엔비디아)를 공동 창업하게 된다. 현재 엔비디아는 25년 기준으로 직원수 3만 6,000명이며, 미국 캘리포니아주 산타클라라에 위치한다.

 

주요 사업영역으로는 고성능 컴퓨팅을 위한 그래픽처리장치(GPU), AI 가속 컴퓨팅, 데이터센터 솔류션, 그 외 로보틱스 분야와 자율주행, 바이오, 로봇 플랫폼 등까지 사업영역을 확장하고 있다.

• 1999년 지포스 탄생, 나스닥 상장
• 2007년 개발자용 소프트웨어 '쿠타' 출시
• 2016년 딥러닝 전용 슈퍼컴퓨터 DGX-1 출시
• 2020년 AI 가속기 'A100' 출시
• 2022년 11월 ChatGPT 출시
• 2023년 6월 시총 1조 달러 돌파
• 2024년 3월 시총 2조 달러 돌파
• 2024년 6월 시총 3조 달러 돌파
• 2026년 시총 세계 1위를 달성
• 2027년 '루빈 울트라' 출시 예정
• 2028년 새로운 AI칩 '파인만' 출시 예정

화장실 청소

제프는 담배 농장에서 일했고, 젠슨은 기숙사 화장실을 청소하는 일을 맡았다. "그건 차별이 아니었어요." 젠슨은 말했다. "그저 내 일이었을 뿐이죠." 젠슨이 맡은 다른 일 중 하나는 낫으로 학교 교정의 잡초를 베는 것이었다.

파괴적 혁신

젠슨 황이 가장 좋아한 경영서는 하버드 비즈니스 스쿨 교수인 클레이튼 크리스텐슨(Clayton Christensen)이 쓴 혁신기업의 딜레마였다. 1997년에 처음 출판된 이 책은 대기업들이 스타트업 경쟁자들에게 밀려 도태되는 방식을 설명하는 개념인 '파괴적 혁신 disruptive innovation'이라는 용어를 대중화시켰다. 이제는 '파괴적'이라는 단어가 남용되면서 그 의미가 퇴색되었지만, 이 용어의 원전은 여전히 되돌아볼 가치가 있다.

 

그가 파괴적 혁신의 대표적 사례로 든 기업은 혼다였다. 혼다는 1960년대 초, 미국 10대들에게 혼다 슈퍼 컵이라는 오프로드용 오토바이를 판매하여 성공을 거두었다. 제너럴모터스 같은 대형 기업들은 오프로드용 오토바이 시장을 외면했다. 하지만 GM이 이 시장을 이처럼 무시한 덕분에 혼다는 오히려 성장할 기회를 얻었다. 시간이 흐르면서, 혼다는 전문성을 활용해 소형차를 생산했고, 하위 시장에서부터 미국 자동차 산업을 잠식해 나갔다.

 

> 썬 마이크로시스템즈와 실리콘 그래픽스 같은 대형 기업들이 기업용 워크스테이션 사업에 열중하고 있었을 때 엔비디아는 게이머들을 대상으로 PC 비디오게임 하드웨어 즉, 그래픽 카드를 판매했다. 그리고 그 전문성을 바탕으로 시장을 잠식해 나갔다.

 

기업용 워크스테이션 공급 회사 vs 일반 게이머들에게 GPU 그래픽카드 공급 회사
B2B vs B2C

초기 신경망 연구의 발자취

1986년, 인지 심리팍자인 데이비드 럼멜하트(David Rumelhart)는 UC 샌디에이고에서 컴퓨터 과학자 제프리 힌턴(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)와 함께 역전파(backpropagation)라는 다층 신경망을 위한 우아한 수학적 기법을 발표했다. 이 방법은 연구자들이 새로운 정보를 학습할 때 컴퓨터의 인공 뉴런을 미세 조정할 수 있도록 했다. 그 개념은 인간의 뇌가 과제를 학습할 때 새로운 시냅스 연결을 형성하며 학습하는 방식과 유사했다.

직렬 프로그래밍 vs 병렬 프로그래밍

모두가 실패해서 쓰러진 폐허에서 희망을 보다

 

젠슨 황은 실리콘 그래픽스에서 영입한 댄 비볼리에게 지포스의 홍보를 일임했다. 그는 리뷰어들에게 연락을 해서 지포스가 세계 최초의 그래픽 처리 장치(Graphics Processing Unit), 즉 'GPU'라고 알렸다. 사실 이 용어는 댄 비볼리가 만들어낸 것이었는데, 리뷰어들은 이를 공식 명칭처럼 받아들였고, 제품을 GPU라는 카테고리로 분류하기 시작했다. "우리가 이 카테고리를 발명한 이유는 그 분야의 리더가 되기 위해서였죠"

알렉스넷, 패러다임의 전환

공식적인 이미지넷 대회 결과는 2012년 10월에 발표되었고, 같은 달 말 이탈리아 피렌체에서 열리는 NIPS 학회에서 연구자들이 각자의 모델을 발표할 예정이었다.

 

알렉스는 그날의 마지막 발표자였다. 그의 발표 수준은 그가 제시한 연구 성과의 중요성에 반비례했다. 그중 한 슬라이드에는 슈퍼비전의 사양이 적혀있었다. 뉴런 65만 개, 매개변수 6,000만 개, 뉴런 간 시냅스 연결 6억 3,000만 개. "사실, 이 모델을 제 침실에서 훈련시켰어요." 알렉스는 청중을 향해 말했다. 그리고 이렇게 덧붙였다. "침실에서 훈련한 모델치 곤 꽤 크죠." 알렉스 크리제브스키는 자신이 컴퓨터 과학에 혁명을 일으켰다는 어떤 암시도 없이 짧은 발표를 마쳤다. "이게 전부입니다. 제가 준비한 건 여기까지예요."

 

슈퍼비전 네트워크에 대한 논문 링크

ImageNet Classification with Deep Convolutional Neural Networks

AlexNet의 실험결과

O.I.L.O (Once In a Lifetime Opportunity)

일생일대의 기회, 그리고 찾아온 기회를 절대로 놓치지 않는다.

 

젠슨은 브라이언을 사무실로 쓰는 회의실로 불렀다. 그리고는 이렇게 선언했다. "cuDNN은 엔비디아의 20년 역사상 가장 중요한 프로젝트다." 벽에 붙어 있던 화이트보드에서 기존의 다이어그램이 모두 지워져 있었다. 그 자리에 젠슨의 완벽한 필체로 적힌 수수께끼 같은 하나의 문구만 남아 있었다. 'O.I.A.L.O.' 젠슨은 'Once In a Lifetime Opportunity(일생일대의 기회)'라는 뜻이라고 설명했다. 놀란 브라이언에게 젠슨은 사고실험 하나를 제안했다. "그는 엔비디아의 모든 직원 8,000명을 주차장으로 불러 모았다고 가정해 보라고 했어요. 그러더니 그중 원하는 누구라도 제 팀에 합류시킬 수 있다고 했죠."

엔비디아의 급성장, 단순이 운이 좋은 것인가?

옌스 호르스트만은 젠슨의 성공 비결을 그의 적응력에서 찾았다. "나 자신에게 자주 물어보곤 합니다. 우리는 같은 사무실에서 시작했고, 비슷한 IQ를 가지고, 둘 다 똑같이 열심히 일했는데 어떻게 이 사람은 이 놀라운 회사를 세웠을 뿐만 아니라, 필요하다면 자신을 위해 기꺼이 헌신할 사람들로 가득한 네트워크까지 구축할 수 있었을까?"

 

그는 LSI 로직 시절의 젠슨을 떠올렸다. 당시 젠슨은 시뮬레이션 소프트웨어의 한계를 끝까지 밀어붙이던 엔지니어였다. "지금도 그는 똑같은 일을 하고 있어요. 하지만 이제 그가 엔지니어링 하는 대상은 자기 자신이에요. 그는 타고난 위대한 CEO가 아니고, 그럴 운명을 타고난 것도 아니었어요. 그는 단지 추상화를 통해 스스로를 CEO로 변모시켰어요! 훌륭한 CEO가 갖추어야 할 '입력'과 '출력'을 문제 해결하듯 다루면서요"

참고 자료

GTC 2016: NVIDIA DGX-1, World's First Deep Learning Supercomputer (part 7)