1. 왜 ANN인가?

알파고 이전의 대부분의 강한 바둑 프로그램은 MCTS를 기반으로 합니다. 아주 단순하고 거칠게 말하자면, 몬테 카를로 방식을 이용해 무작위적으로 둔 다음 그 결과를 이용해 승률을 예측하고, 높은 승률이 나오는 수를 두는 방법입니다. 이론상 무한히 오래 실행하면 최적의 수를 찾을 수 있습니다. 물론 진짜로 무한히 실행할 수는 없는 노릇이고 정말로 완전히 무작위로 두면 너무나 오랜 시간이 걸리므로, ANN을 접목하기 이전에는 사람이 직접 손으로 짜 넣은 요소나 판단을 이용하거나, 초보적인 패턴 인식 방법 등을 사용해서 어느 정도 말이 되는 수만 탐색하는 방식을 사용했습니다.

ANN을 이용하면, 바둑판의 상태를 입력으로 받아서, 후보수나 예상 승률 등을 정교하게 예측할 수 있습니다. 이것을 이용해, 탐색하는 수의 범위를 줄이고, 또 승률 예측에도 ANN을 사용할 수 있기 때문에, MCTS의 정확도가 비약적으로 상승합니다. 

하수와 고수의 수읽기 차이는, 바둑판에 머릿속으로 돌을 놓는 능력보다도, 얼마나 말이 안 되는 수를 생각하지 않고 효율적으로 탐색하냐에 달렸습니다. 이런 맥락에서, ANN은 감각에 해당하고, MCTS는 머릿속에서 수를 놓아 보는 기능을 한다고 보면 대충 맞겠습니다. 감각이 좋을수록(ANN이 잘 훈련되었을수록) 수읽기가 강해집니다.

2. 강화학습(reinforcement learning; RL)

그러면, 후보수나 승률 등을 잘 예측할 수 있는 신경망을 학습시켜야 합니다. 프로 기보 등을 사용해서 지도학습(supervised learning; SL)을 할 수도 있겠습니다만, 그것만으로는 부족합니다. 프로들도 어쨌든 인간이라 실수도 하고, 기분에 따라 다른 수를 두기도 하고, 또 오래된 기보에서는 낡은 수법이 나오기도 합니다. 그리고 결정적으로 프로 기보로 학습을 했으니 한계가 존재합니다. 그래서 강화학습을 통해 신경망을 더 강하게 훈련시키게 되며, 이를 통해 프로를 뛰어넘고 기존에 프로들이 생각하지 못했던 수법도 찾아낼 수 있습니다. 바둑 프로그램에 사용된 강화학습 방법은 크게 두 가지가 있습니다.

1) 일반적인 강화학습

ANN 내부의 파라미터를 직접 바꾸면서, 승률이 높게 나오도록 최적화하는 방법입니다.

2) 자기대국 강화학습(self-play reinforcement learning; SPRL)

이것은 1)과는 좀 다릅니다. 간략화해서 말하자면, 이전 세대의 ANN+MCTS를 이용해 바둑을 두고, 그 결과(후보수, 승률 예측)를 이용해 ANN을 훈련하는 방식입니다. 위에서 ANN은 감각, MCTS는 수읽기에 해당한다고 말씀드렸는데, 이 비유를 사용하자면 이전 세대의 감각으로 열심히 수읽기한 결과를 이번 세대의 신경망으로 감각적으로 떠올릴 수 있게 하는 작업입니다. 그러면 그만큼 신경망이 강해지니까, 이 작업을 반복하다 보면 엄청나게 강해집니다.

이 방법이 1)에 비해 결과물이 더 좋았던 것은 맞는데, 단점이 하나 있습니다. 계산 자원을 무지막지하게 잡아먹습니다. 구글에서 몇 시간이나 며칠 훈련만으로 엄청난 성공을 거둔 것처럼 말하지만, 사실 훈련 자체는 별로 오래 걸리는 작업이 아닙니다. 가장 시간이 오래 걸리는 것은 훈련 그 자체보다는 자가대국으로 많은 기보를 만드는 것인데, 이것이 굉장히 오래 걸립니다. 예를 들어 구글이 알파고 제로 훈련을 하면서 3일만에 돌파고를 뛰어넘었다고 하지만, 자가대국에 동원한 TPU가 2000개입니다. TPU가 하나에 45테라플롭스이고, 2000개 쓰면 90페타플롭스가 나오는데, 이 연산량은 세계 1위 슈퍼컴퓨터인 Sunway TaihuLight에 맞먹는 것이고, 한국에서 제일 빵빵한 기상청 누리 슈퍼컴퓨터의 37.5배에 해당합니다. 

3. 알파고

현재까지 다양한 알파고 버전이 나왔습니다만, 간략하게 어떤 방법을 썼는지 짚고 넘어가겠습니다.

1) AlphaGo Lee - 시작점: 지도학습, 학습 방법: 강화학습

이세돌 9단과 대국할 때 사용한 버전입니다. 우선 프로 및 아마추어 기보로 지도학습을 하고, 2-(1)처럼 평범한 방법으로 강화학습을 합니다.

2) AlphaGo Master - 시작점: 지도학습, 학습 방법: 자기대국 강화학습

커제 9단과의 대국에 쓰였고, 그에 앞서 온라인에서 프로 상대로 60연승을 한 버전입니다. AlphaGo Lee에 비해 신경망 구조를 많이 바꾼 것이 성능 개선의 한 요인이고, 자기대국 강화학습을 사용한 것도 기력 향상에 도움이 되었습니다. AlphaGo Zero와 근본적으로는 같은 방식입니다. 중국의 fuheyuqi도 같은 방식으로 짐작합니다.

3) AlphaGo Zero - 시작점: 무작위 신경망, 학습 방법: 자기대국 강화학습

AlphaGo Master와 같은 방법을 사용하되, 지도학습을 거치지 않고 무작위 상태에서 시작합니다. 오로지 바둑 규칙과 강화학습만을 이용해 높은 기력을 달성했으니, 연구자 입장에서는 가장 깔끔하고 아름다운 방법입니다.

그런데, Zero가 Master에 비해 우월한 이유가 인간의 지식이 들어가지 않아서라고 잘못 알고 계시는 분들이 많습니다만, 아래쪽 글에도 달았듯 이것은 근거가 없습니다. 딥마인드에서 내놓은 논문 및 외부 발표에서는 이런 식의 오해를 일부러 유도하는 듯한 느낌도 받습니다만, Master와 Zero 버전을 동일한 선상에서 비교할 수 있는 근거가 전혀 없습니다.

4) AlphaZero - 시작점: 무작위 신경망, 학습 방법: 자기대국 강화학습

최근 Arxiv에 올라온 논문인데, AlphaGo Zero와 비슷하지만 약간 다른 방법을 바둑뿐만 아니라 체스나 쇼기에도 적용한 버전입니다. 

4. 기타

위에서 말씀드렸듯, 자기대국 인공지능에는 엄청난 계산 자원이 필요합니다. 알파고 제로 결과를 GPU 하나로 재현하려면 1700년이 걸린다는 계산 결과도 있구요. 그래서 개인이나 소규모 단체 수준으로는 알파고 제로처럼 강한 인공지능을 만들 수가 없고, 그나마 자본력이 되는 텐센트의 절예 정도가 약간이라도 근접한 기력을 내고 있습니다.

그래서 자기대국을 분산 컴퓨팅으로 해결하려는 프로젝트가 있습니다. Leela Zero라는 프로젝트인데, 우선 AlphaGo Zero보다 작은 신경망을 이용해서 버그도 잡는 겸해서 테스트로 강화학습을 진행하는 중입니다. 현재 100만 개 정도의 기보를 만들었고, 현재는 KGS에서 12급 정도의 기력을 보유하고 있습니다. 저는 초기부터 이 프로젝트에 조금이나마 관여하고 있습니다만 혹시 관심이 있는 분은 참여해서 계산 자원을 보태는 것도 좋지 않을까요. 관련 페이지는 아래 둘 정도가 있습니다.

Github repository: https://github.com/gcp/leela-zero

현황: http://zero.sjeng.org

기타 바둑 인공지능에 관해 궁금한 점이 있는 분들께서는 질문해 주시면 가급적 정확히 답변해 드리겠습니다.