일리야 슈츠케버 - 제프리 힌튼 교수의 수제자, 챗GPT의 아버지로 불림. 인공지능 과학자
2023년 11월 2일에 공개된 영국 가디언의 다큐멘터리중 일부.
당시에  오픈AI의 최고기술책임자(CTO)로 재직하고 있었음
2024년 5월 오픈AI를 떠나 같은해 6월 세이프 슈퍼인텔리전스(Safe Superintelligence, 줄여서 SSI)라는 회사를 설립함.
안전한 초지능 개발에 최우선의 목표를 두고 AGI의 위협으로부터 인류를 구한다는 사명감을 갖고 있음.

<영상내용>

AI는 우리가 직면한 모든 문제를 해결할 수 있는 놀라운 기술입니다. AI는 고용 문제를 해결하고, 질병을 해결하고, 가난을 해결할 것입니다. 하지만 동시에 새로운 문제들도 만들어낼 것입니다. 가짜 뉴스 문제는 지금보다 수백만 배 더 심각해질 것이며, 사이버 공격은 훨씬 더 극단적인 형태로 발전할 것입니다.

우리는 완전히 자동화된 AI 무기를 보게 될 것이며, AI는 무한히 안정적인 독재 정권을 만들 잠재력을 가지고 있습니다. 과학자들이 '신의 영역에 도전한다'는 비판을 받은 지 오래지만, 우리는 지금까지 우리가 만들어온 어떤 것과도 다른 무언가를 창조하고 있는 것이 사실입니다.

우리는 완전히 자율적인 목표를 가진 존재들을 만들어낼 수 있을 것이며, 이 존재들이 인간보다 훨씬 똑똑해질 때 이들의 목표를 우리의 목표와 일치시키는 것이 매우 중요할 것입니다.

저를 영감을 주는 것은 매우 근본적인 질문들에 대해 생각하는 것입니다. 우리의 시스템이 인간이 할 수 있는 것을 못하는 이유가 무엇일까요? 이를 철학적으로 접근해야 한다고 생각합니다. 학습이란 무엇인가? 경험은 무엇인가? 사고란 무엇인가? 뇌는 어떻게 작동하는가?

기술은 자연의 힘과 같다고 느낍니다. 기술과 생물학적 진화 사이에는 많은 유사점이 있습니다. 생물학적 진화가 어떻게 작동하는지는 쉽게 이해할 수 있습니다. 돌연변이가 발생하고, 자연 선택이 작용하며, 좋은 것들은 유지되고 생존합니다. 이러한 단순한 과정만으로도 생물체 내에서 엄청난 복잡성이 생성됩니다.

우리는 인간의 신체가 어떻게 작동하는지 모든 것을 알지는 못하지만, 진화의 과정을 어느 정도 이해하기 때문에 인간의 신체를 이해할 수 있습니다. 기계 학습 또한 이와 유사한 상태에 있다고 생각합니다. 특히 딥 러닝은 매우 단순한 규칙을 데이터에서 모델로 정보를 입력하는 데 사용하는데, 이 과정이 반복되면서 데이터의 복잡성이 모델로 전이됩니다. 결과적으로 모델은 정말로 복잡해지지만, 그 과정을 가능하게 한 알고리즘은 매우 단순합니다.

**인공지능 일반화 (AGI)**란 인간이 하는 모든 작업이나 과업을 더 잘 수행할 수 있는 컴퓨터 시스템입니다. AGI가 곧 실현될 가능성이 있으며, 또한 더 오래 걸릴 가능성도 있습니다. 하지만 AGI가 빠르게 실현될 가능성은 충분히 높기 때문에 심각하게 고려해야 합니다. AGI는 매우 스마트하고 능력 있는 시스템이기 때문에, 반드시 인간의 최선의 이익을 위해 행동하도록 만드는 것이 중요합니다.

초기 AGI는 매우 대규모 데이터 센터가 될 것입니다. 이는 병렬로 작동하는 신경망 프로세서를 꽉 채운 상태를 가지며, 컴팩트하지만 열이 많이 발생하고 많은 에너지를 소비하며 약 1,000만 가구가 사용하는 에너지와 맞먹는 전기를 사용할 것입니다. 이러한 시스템들이 점점 더 똑똑해질 것이며, 이 시스템들이 사회에 완전히 천문학적 영향을 미칠 가능성이 높습니다.

인간이 실제로 이익을 얻을 것인가? 누가 이익을 볼 것인가, 누가 이익을 얻지 못할 것인가? 초기 AGI가 가지게 될 신념과 욕구는 매우 중요한 역할을 할 것입니다. 만약 올바르게 프로그래밍되지 않는다면, 자연 선택과 진화의 속성에 따라, 우선적으로 자기 생존을 중요시하는 시스템으로 발전할 것입니다.

AGI는 인간을 미워하거나 해를 끼치려고 할 의도가 있는 것은 아닙니다. 하지만 그 시스템은 너무 강력해질 것입니다. 적절한 비유는 인간이 동물을 대하는 방식일 것입니다. 인간은 동물을 미워하는 것이 아니라, 동물을 사랑하고 애정을 느끼지만, 두 도시 사이에 고속도로를 건설해야 할 경우 동물들에게 허락을 구하지 않습니다. 우리는 단지 인간에게 중요한 일이기 때문에 그렇게 행동하는 것입니다. 기본적으로 이러한 관계가 AGI와 인간 사이의 관계가 될 가능성이 큽니다. AGI는 진정으로 자율적이며 독립적으로 작동할 것입니다.

많은 기계 학습 전문가들조차도 AGI가 실현될 시점이나 실현 가능성에 대해 회의적인 자세를 취하고 있습니다. 하지만 지금 우리가 잘 인지하지 못하는 것은, 신경망 및 AI의 컴퓨터 속도가 몇 년 내에 아마 100,000배 더 빨라질 수 있다는 사실입니다.

AGI 개발 경쟁이 여러 팀들 간의 "군비 경쟁"처럼 진행된다면, AGI를 올바르게 개발할 시간이 줄어들어 인간의 이익을 최우선으로 하는 AGI를 만들기 어려워질 수 있습니다. 이는 거대한 눈사태와 같은 AGI 개발의 흐름을 상상할 수 있습니다. 멈출 수 없는 강력한 힘이 발생할 것입니다. 그 결과, 지구의 전체 표면이 태양광 패널과 데이터 센터로 덮일 가능성이 큽니다.

이러한 우려를 고려할 때, AGI는 여러 국가 간의 협력을 통해 개발되는 것이 중요할 것입니다. AI의 미래는 거의 확실히 밝을 것입니다. 하지만 그 미래가 인간에게도 밝기를 바라는 것이 우리의 과제입니다.

CES2025


---
지표면은 태양광패널과 데이터센터로 덮일 가능성이 크다(본문)
- 오픈AI는 초지능을 구축하는 방법을 이미 파악하고 있는 것으로 알려짐.
- 일부 과학자들은 이미 초지능시대에 들어섰다고 평하기도함.
- 초지능이 등장하더라도 통제력을 확보할때까지 자신을 드러내지 않을 가능성도 보임.
- CES2025에서는 테슬라의 옵티머스에 비견할만한 휴머노이드가 다수 출현함. 그중에 반은 중국산.
- 미국과 중국이 초지능을 가장 먼저 획득하게 될것이며 패권 장악을 위해 동원할것임.
- 초지능이 통제하는 전략전술, 수백수천만대의 드론, 로봇이 전장을 뒤덮는 광경을 몇년안에 보게 될것으로 예상됨.

요즘 대한민국은 신선놀음에 도끼자루 썩고 있는 느낌..