※ 교양 차원에서 알아두시면 좋을만한 이야기입니다.
※ 최대한 단순화해서 적었습니다. 제 의견도 포함되어 있습니다.

------

섀넌의 척수 : 정보이론과 인공지능

❖ 섀넌의 정보이론

컴퓨터에 앨런 튜링이 있다면,
정보통신에는 클로드 섀넌이 있습니다.

새넌의 정보이론은
다음과 같은 구조로 신호와 의미를 매칭합니다.

A : 0
B : 10
C : 11

최대한 단순하게 예시한 것입니다.

자주 쓰이는 건 A에 놓습니다.
왜냐하면

A는 1비트에 불과하고,
B와 C는 2비트가 들어가기 때문이죠.

자주 쓰는 걸
저렴하게 만들자!

이것이 섀넌의 아이디어라 할 수 있습니다.

돼지 : 0
하마 : 10
코뿔소 : 11

01011 — 돼지 하마 코뿔소
001110010 — 돼지 돼지 코뿔소 하마 돼지 하마

이렇게 됩니다.

❖ 대뇌와 척수

이제부터 제 관점을 적을 것입니다.

섀넌의 정보이론을 이용하되,
다른 의미를 부여할 것입니다.

A : 0
B : 10
C : 11

A는 자주 등장하기 때문에,
이를 저렴하게 만들려고 1비트에 불과한 0에 매칭합니다.

그런데 이렇게 할 수도 있습니다.
'신속성'이 필요한 것을 0에 매칭할 수 있습니다.

자주 쓰는게 기준이 아닙니다.
신속하게 대처해야 하는게 기준입니다.

뱀 : 0
지팡이 : 10
나뭇가지 : 11

뱀은 위험하기 때문에, 빠르게 알아보고 대처해야 합니다.

지팡이나 나뭇가지는 그리 위험하지 않습니다.
인식하는데 시간이 좀 걸려도 괜찮습니다.

0을 읽었다면 '뱀이다~'
1을 읽었다면 '뱀은 아니군!'
11을 읽었다면 '나뭇가지구만.'

이렇게 하는 겁니다.

❖
뇌는 기본적으로
빠른 경로와 느린 경로로 이루어져 있습니다.

무릎반사는 빠른 경로로 이뤄집니다.
대뇌를 거치지 않고, 척수만으로 해결되는 거죠.

❖
'1'0
첫 비트는 척수이고,

1'0'
두 번째 비트는 대뇌라 생각할 수 있습니다.

척수는 빠르게 반응합니다.

❖
척수와 대뇌 관계는
뇌의 온갖 곳에 다 들어가있습니다.

뇌의 기본구조입니다.
미시적으로도 거시적으로도 이렇습니다.

❖
뇌는 직행로와 우회로로 구성되어 있습니다.

직행로는 빠르고,
우회로는 느립니다.

기본적으로

직행로부터 먼저 만들어지고,
그 다음 우회로가 증축된 거라 봐야 합니다.

❖
대니얼 카너먼 교수의 <생각에 관한 생각>이란 책이 있습니다.

노벨상을 수상하신 분으로
세상을 떠나신지 얼마 되지 않았습니다.

이 책의 원제는 'Thinking, Fast and Slow' 입니다.

빠르게 직관하는 생각이 있는가 하면,
느리게 사고하는 생각이 있다는 것이지요.

그러면서 빠른 직관에 의한 판단
그것의 오류를 설명합니다.

편향과 휴리스틱이란 말로, 이를 다룹니다.

제가 기억하기로 그가 주장하지 않은 것은
이것이 정신 전체를 놓고 심리학적으로만 그런게 아니라,

미시적으로도 그렇고,
신경과학적으로도 그렇고,
논리학적으로도 그렇다는 것입니다.

직행로와 우회로로 되어 있는 것,
이것은 자연이 만들어낸
지능의 근본원리라 할 수 있습니다.

❖
논리라 하면,
삼단논법이 있습니다.

삼단논법을 최대한 단순화하면 이렇습니다.

A → C
C → B
고로 A → B

이건 이렇게 해석할 수 있습니다.

A → B :: 이건 직행로입니다.
A → C → B :: 이건 우회로입니다.

A → B :: Thinking Fast.
A → C → B :: Thinking Slow.

A → B :: 척수
A → C → B :: 대뇌

A → B :: 뱀이다~
A → B( stop ) :: 뱀은 아닌데?
A → C → B :: 코뿔소구만.

❖
직행로와 우회로간 여러 관계가 있습니다.

이를테면
우회로를 먼저 준비하는 수가 있습니다.
그걸 '맥락'이라 부를 수 있습니다.

이제부터 0은 나뭇가지야!

0 : 나뭇가지
10 : 뱀
11 : 지팡이

이렇게 수정되는 것입니다.

그밖에 여러 복잡한 문제들이 있지만,
기초만을 전달해보고자 하는
이 글에서는 더 설명하는 건 부적절한 것 같고,

여러분의 생각을 자극하기 위해,
딱 이것만 이야기해두겠습니다.

오늘날 ChatGPT 등 AI에는 그 핵심에
트랜스포머라는 알고리즘이 있습니다.

이는
구글에서 2017년
논문을 통해 공개한 알고리즘입니다.

그간 AI 알고리즘이 많이 발전해왔지만,
결정적으로 이 알고리즘으로 인해
지금 세상이 들썩이고 있는 거라 할 수 있습니다.

그 논문 제목이 무엇인가 하면,

'Attention is All You Need' 입니다.

이때 Attention은 맥락을 의미합니다.

A 가 있습니다.
맥락 → A 를 하자,

A가 A'로 변합니다.
이때

맥락 →
이것이 attention 즉 주목인 것입니다.

❖

A
돼지 : 0
하마 : 10
코뿔소 : 11

A'
코뿔소 : 0
돼지 : 10
하마 : 11

If P → A
then A changes to A'.

A : 001110010 — 돼지 돼지 코뿔소 하마 돼지 하마
A' : 001110010 — 코뿔소 코뿔소 하마 돼지 코뿔소 돼지

이렇게 되는 것입니다.