:: 학교에서 배우지 않는 수학기초 ::

§1. 수렴

중고등학교에서 배우지 않는, 중요한 수학기초가 있습니다.

유한, 폐쇄, 결정론에서는
시간이 흐를 때
반드시 어디론가 수렴한다는 것입니다.

어느 마을에 집이 셋이고, 각각 불이 켜지거나(1) 꺼진다고(0) 해봅시다.

000 = A
001 = B
010 = C
100 = D
011 = E
110 = F
101 = G
111 = H

마을 전체로 놓고 볼 때,
이렇게 총 8가지 상태가 가능할 것입니다.
결정론에 따라

A → B → C → D → E → F → G → H

이렇게 진행되었다고 했을 때, H 다음은 무엇인지 문제됩니다.

E라고 해보겠습니다.

H → E → F → G →
H → E → F → G →
H → E → F → G →

이렇게 반복할 것입니다.

왜냐하면 예전에 E → F 였기 때문에,
이번에도 반드시 E → F 여야 합니다. 다른 선택이 불가능합니다.

똑같이 반복합니다. 더이상의 변화는 없습니다.
유한, 폐쇄, 결정론 조건에서는 반드시 수렴합니다.

HEFG는 4개 상태가 반복되는 것으로 이는 주기수렴이라 할 수 있습니다.
만약에
H → H → H → H → ...  라면 이는 점수렴이라 할 수 있습니다.

점수렴 또는 주기수렴을 합니다.
넓게 볼 때, 주기수렴은 점수렴을 포함한다고 할 수도 있습니다.

집이 총 5개라면, 총 상태수는 32입니다.

B → Y → D → U → M → D → U → M → ...

이럴 수 있을 것입니다. BY를 거쳐서 DUM이 반복됩니다.

그와 함께

C → A → W → N → O → N → O → ...

이런 것도 있을 수 있습니다. CAW를 거쳐서 NO가 반복됩니다.

만약 시작을 B로 했다면, DUM DUM DUM... 으로 결론날 것이고
만약 시작을 A로 했다면, NO NO NO... 으로 결론날 것입니다.

지금 여기에는 강도가 들어가지 않았습니다. 그저 켜고 끄는 이진수까지만 들어갔을 뿐이지, 이를 넘어서는 숫자는 들어가지 않았습니다. 숫자를 넣어서도 마찬가지로 할 수 있습니다.

각 집의 상태가 0과 1만 있는게 아니라,
0 ~ 9까지 정수를 갖는다고 해도, 마찬가지로 수렴하게 될 것입니다.

요소가 유한하기 때문입니다.
집이 3채인데, 각각 0 ~ 9라면,
10^3 = 1000가지 상태수가 나올 것입니다.

가장 오래 걸린다고 해도,
1001번째에는 이미 나왔던 상태가 다시 나와야 할 것입니다.

§2. 숫자

어떤 곳에서는 숫자가

3 → 5

이렇게 가는게 금지될 수 있습니다.

숫자는

3 → 4 → 5 이렇게 순서대로 가야 하는 것이지
3 → 5 이렇게 4를 거치지 않고 곧바로 5로 건너뛸 수 없다는 거죠.

우리들 공간이 그렇습니다. 가까운 곳을 거쳐 먼 곳을 가는 것이지, 곧바로 먼 곳을 간다면, 그건 순간이동인데, 이는 경험상 금지됩니다. 우리들 시간이 그렇습니다. 현재 3시라면, 5시로 가기 위해서는 반드시 4시를 거쳐야만 합니다. 3시에서 곧바로 5시로 갔다면, 그건 타임머신인데, 이는 경험상 금지됩니다. 이렇게 숫자가 적용되는 영역에서, 연속성의 제약을 받는 경우가 많습니다.

§3. 함수

y = 2x + 1

이렇게 함수가 주어졌을 때,
입력 x = 2라면,
그때 우리는 y가 무엇인지 알아낼 수 있습니다.

y = 5 일 것입니다.

그런데 거꾸로

y = a*x + 1

이렇게 함수가 주어졌을 때,
입출력 (x, y) = (2, 5)가 주어지면,
우리는 이제 저 함수가 무엇인지 알아낼 수 있습니다.

y = 2x + 1 입니다.

입출력 쌍을 준다는 것은 곧 '데이터'를 준다는 것입니다.
데이터가 주어졌을 때, 이로써 함수를 구하는 것
그걸 자동으로 해내는 것, 그게 바로 머신러닝입니다.

함수를 가지고 데이터를 뽑아내는게 아니라,
데이터를 가지고 함수를 만들어냅니다.

그러면 그렇게 만들어진 함수는
데이터를 만들어낼 수 있을 것입니다.

이미 학습한 데이터를 만들어낼 수도 있고,
아직 학습하지 않은 데이터를 만들어낼 수도 있습니다.

예를 들어

(1, 3) (2, 5) (4, 9) (5, 11) 이런 걸로

y = 2x + 1 을 알아냈다고 해봅시다.

이때 x가 3이라면, y는 7이라 판단할 수 있습니다.
이것은 원래 데이터에 없던 것이었습니다.
배우지 않은 것인데, 데이터를 뽑아낼 수 있습니다.

마찬가지로 6을 넣었을 때 13이 될 것임을 알 수 있을 것입니다.
실제로 6을 넣었을때 13이 나올 수도 있고 안 나올 수도 있습니다.

그건 아직 경험해보지 않은 것이기 때문입니다.
y = 2x + 1 은 배운 걸로만 놓고 보면 오직 입력이 1, 2, 4, 5일 때만 가능합니다.

어떻게 자동으로 함수를 구할 수 있는가 하면,

처음에 y = a * x + 1에서 시작하는게 아니라,
아무거나 a = 4로 시작한다고 해봅시다.

y = 4x + 1

x에 1을 넣어보니 5가 나옵니다. 그런데 정답은 3입니다.
그러므로 저 기울기 4를 조금 줄입니다. 3.5로 줄이겠습니다.

y = 3.5x + 1

x에 1을 넣어보니 4.5가 나옵니다. 그런데 정답은 3입니다.
더 줄여야겠습니다.

y = 3x + 1
y = 2.5x + 1
y = 2x + 1

드디어 x에 1을 넣으니, 3이 나옵니다.
이렇게 하면 데이터를 가지고,
함수를 자동으로 알아낼 수 있습니다.

§4. 핑퐁

y = x 와
y = 0.5x + 1의 교점을 찾는다고 해봅시다.

무식하게 x에 아무 숫자나 넣어봅니다.
1이라 해봅시다.

y = 0.5 * 1 + 1
y ‎ = 1.5

이걸 다시 x에 넣습니다.
y = 1.5 = x

y = 0.5 * 1.5 + 1
y ‎ = 1.75 = x

y = 0.5 * 1.75 + 1
y ‎ = 1.875 = x

y = 0.5 * 1.875 + 1
y ‎ = 1.938 = x

y = 0.5 × 1.938 + 1
y ‎ = 1.969 = x

이렇게 반복하면 결국
점점 2에 가까워져,
(x, y) = (2, 2)에 수렴하게 됩니다.

y = x  
y = 0.5x + 1

이거 연립방정식으로 푸는 거
아마 중학교 2학년 때 배웠던 것 같은데요.

x = 0.5x + 1
이렇게 해서,
쉽게 풀 수 있죠.

그러나 단순무식하게 일단 x에 아무거나 집어넣고
핑퐁 즉 왔다갔다 계산하다보면,
신기하게도 결국 얼추 답에 이르게 됩니다.

만약에
y = x  
y = 2x - 1

이런 거라면 잘 안 될 겁니다.
이건 수렴이 아니라, 발산할 것이거든요.

정확히 정답에서 시작하지 않은 이상,
플러스 무한대나
마이너스 무한대로 갈 겁니다.

즉 어떤 경우는 수렴해서 답이 나오고,
어떤 경우는 발산하여 답이 나오지 않습니다.

x가 1보다 작을 때는 y = 2x + 1
x가 1보다 크거나 같을 때에는 y = 0.5x + 2.5

이것과 y = x를 핑퐁하는 수도 있습니다.

이때에는 어떤 구간에서는 발산하고,
다른 어떤 구간에서는 수렴합니다.

한편
y = x 와
y = -x + 1

이런 경우에는 진동할 것입니다.
무한대로 발산도 아니고,
어느 값으로 수렴도 아니고, 진동할 것입니다.

x = 1 → 0 → 1 → 0 → 1 → 0 → ...

이런 식입니다.

답을 구하고 싶으면,
연립방정식을 풀 것이지
핑퐁은 왜 하고 있는 걸까요?

수렴한다면야 답이 구해지긴 하는데,
안 구해질 때도 많은 것 같은데요.

그 답은 저것이 연립방정식이 아닐 수도 있다는 것입니다.
실은 저 전체로 어떤 기계일 수 있습니다.

1을 넣었더니 10101010 을 하더라... 뭐 이런 기계일 수 있습니다.
어떤 수를 넣든간에 시간이 충분히 흐르면 1111111을 하더라... 뭐 이런 기계일 수 있습니다.
1 이외에 다른 수들은 무한대로 발산하더라... 뭐 이런 기계일 수 있습니다.
1 미만에서는 마이너스 무한대로 발산하고, 1이상에서는 수렴하더라... 뭐 이런 기계일 수 있습니다.

§5. 블록

301이란 게 있다고 해봅시다.
그걸 모방해야 합니다.

가지고 있는게 101과 100과 011이 있습니다.

101 하나
100 둘
이렇게 합치면 301이 될 겁니다.

301을 신호라 해봅시다.
101과 100은 수신도구라 해봅시다.

신호를 수신도구를 가지고 흉내내기를 할 수 있습니다.

301 = 101 + 100 + 100 입니다.

흉내내기가 완전히 똑같지는 않을 수 있습니다.
예를 들어
코끼리 그림이 신호라 합시다.

레고블록으로 이를 흉내내기해야 합니다.
똑같지는 않을 겁니다.

§6. 종합

수렴, 숫자, 함수, 핑퐁, 블록

이렇게 다섯 가지를 이야기해봤습니다.

이것들은 우리가 학교에서 배우지 않거나,
혹은 별로 깊이 생각해보지 않고 넘어간 것들일 것입니다.

이것들을 모아서 설명한 이유는
이것들은 지능을 수학적으로 이해하는데 유용한 것들이라 보기 때문입니다.

함수는 머신러닝을 이미 언급했고,
수렴은 조합론적 수렴을 가리키는 것이며,
숫자의 연속성은 강도적 수렴을 설명하기 위한 기초이고
핑퐁은 아마도 뇌의 특성일 루프의 반응성을 설명하기 위한 것이며,
블록은 통신이론이자 또한 신경망 해석 방법 중 하나라 할 수 있습니다.

그리고 수렴은 AI와 관련된 것입니다.
노벨물리학상을 탄, 홉필드넷과 볼츠만머신도 그렇고,
노벨화학상을 탄, 알파폴드도 그렇고,
오늘날 ChatGPT나 Gemini도 그렇습니다.

수렴은 복잡계과학에서는 끌개라 하고, 인공지능에서는 최적화라 합니다.