빅 데이터가 빅 브라더를 만날 때
디지털 전체주의 국가로 달려가는 중국
사회 신용도 프로젝트에 대한 우려

GARY SHTEYNGART의 2010년 작 소설 "Super Sad True Love Story"는 근미래 중국 위안화가 국제통화가 되고 사람들은 '날 평가해 주세요' 기술이 적용된 장치를 목에 착용하고 다니는 사회를 배경으로 한다. 개인정보는 유비쿼터스 신용표시장치를 통해 대중에 공개되며, 거리 구석구석의 기둥에는 눈높이에 LED 신용도 계산기가 달려서, 지나가는 사람들의 신용도를 바로 등록한다. 주인공의 신용도는 대략 다음과 같다.

"LENNY ABRAMOV. 소득 5년 평균: 위안화 연동 289,420 달러... 현재 혈압: 최대 120 최소 70, 혈액형 O형, 39세... 질환: 고 콜레스테롤, 우울증... 소비자 프로필: 이성애, 운동 비선호, 자동차 없음, 무교... 성적 선호: 저기능 아시아인/한국인... 아동학대 지표: 켜짐, 마지막 구매품: 책."

소설은 사생활이 붕괴된 가상의 디스토피아를 배경으로 한다. 중국 공산당은 이를 실제로 만들어낼지도 모른다. 이들은 소위 "사회 신용도 시스템"을 계획하고 있는데, 이것의 목표는 시민의 경제적 신용도를 평가하는 것뿐만 아니라, 사회적, 어쩌면 정치적 태도까지도 평가하는 것이다. 이 시스템이 얼마나 방대할지, 작동하기는 할지, 이 시스템에 대한 국영 미디어의 비판을 얼마나 버텨낼지 아직은 알 수 없다. 하지만 시스템의 개요는 완성되었고 일부 기초적인 작업은 이미 시작되었다. 초기 징조로 판단한다면, 중국은 세계에서 가장 야심찬 디지털 사회 통제 실험을 시작하고 있다고 할 수 있다.

시범 도입이 진행 중인 상하이 북쪽 장쑤성의 쑤이닝 현은 이 시스템의 도입이 실제로는 무엇을 의미할지 보여준다. 2010년부터 해당 지역정부는 좋은 행동(국가적 명예를 드높이는 상을 받는다든지)에 대해 점수를 부과했고, 가벼운 교통법규 위반에서부터 "불법적으로 상급기관에 탄원"하는 것까지 다양한 일에 대해 벌점을 부과했다. 고득점자는 빠른 승진이나 공공주택 대기 순번을 뛰어넘는 혜택 등을 받을 수 있다.

프로젝트는 실패였다. 데이터가 너무 부분적이었기 때문이었다. 대중적 반발 속에서, 국영신문사 중국청년보는 이 시스템을 비판하였다. 중국청년보는 탄원 같은 정치적 데이터까지 대상에 포함되어서는 안 된다며, "국민이 공직자를 평가해야 하는 법인데 반대로 정부가 국민을 평가하려 한다"고 하였다. 심지어 다른 국영 신문사인 경화시보는 이 시스템을 일제가 중국을 점령하고 있을 때 발행한 '모범 시민' 증명증과 비교하기도 하였다.

하지만 공산당과 정부는 흔들리지 않았고, 2014년에는 사회 신용도 시스템에 대한 개략적인 계획을 공개했고 2016년에는 좀 더 자세한 가이드라인을 발표하였다. 30여 개의 지방정부가 시스템에 사용될 데이터를 모으고 있다. 계획은 상당히 야심차게 보이며, 전체 사회의 행동에 영향을 미치는 것을 목표로 삼고 있다. 중국 공직자의 말에 따르면 2020년까지 시스템은 "모범적인 자는 어디든 안전하게 보호받으며 이동할 수 있지만, 저득점자는 한발을 떼는 것조차 어렵게 만들 것"이다.

이 프로젝트는 공산당의 최대 문제점, 즉 공공기관에 대한 신뢰의 상실에 대응하고 중국 대중의 변화하는 시각과 이익을 파악하기 위한 것(투표를 하지 않고도)이다. 이 시스템은 일반 시민, 공직자, 기업 모두에게서 정보를 수집하기를 추구한다.

신뢰의 문제
지속적인 경제 성장에도 불구하고, 광범위한 부패에 대한 대중의 불만은 강해져왔다. 부실 주택에서부터 유통기한 지난 백신까지, 지속적인 스캔들은 정부의 법 집행 능력에 대한 대중적 냉소를 불러일으켰다. 사회 신용도 점수의 목표는 부패 공직자와 기업을 강력히 단속함으로써 이러한 대중적 냉소를 바꾸는 데 있으며, 여론을 지속적으로 파악하는 것 또한 목표로 한다. 자유로운 의견 표출이 어려운 사회에서, 빅 데이터는 역설적으로나마 공공기관의 책임성을 강화할 수도 있다.

하지만 이는 동시에 감시와 사회통제를 크게 강화할 수도 있다. 다른 많은 나라에서 빅 데이터가 빅 브라더로 직결될 거라는 무시무시한 이야기가 흘러다니지만, 대부분이 거짓이다. 하지만 중국은 다르다. 중국은 일당독재국가로서 공산당에 대한 견제가 어렵고, 사회통제의 전통을 지니고 있으며, 현재 지도자인 시진핑은 전임자들보다도 훨씬 권위주의적이다. 사회 신용도 점수가 얼마나 광범위하게 적용될지는 정부의 의도가 무엇인지, 기술이 실제로 작동할지 여부와 중국공산당이 대중적 우려에 어떻게 반응할지에 달려 있다.

정부의 의도부터 살펴보자. 2014년에 발표된 "계획 개요"는 정부는 "사회 신용도 시스템의 건설에 큰 관심을 가져야 한다"고 되어 있으며, 이는 이 프로젝트가 시진핑과 리커창의 허가를 받았다는 걸 의미한다. 더불어서 "계획 개요"는 사회 신용도가 "사회 관리 체계의 중요한 요소"라고 밝히고 있다. 한마디로, 중국을 통치하는 것의 일환이라는 것이다.

비록 "계획 개요"에는 이 시스템이 어떻게 작동할지는 규정하고 있지 않지만, 그 목표가 무엇인지는 명확히 밝히고 있다. 빅 데이터를 통해 정부 효율성을 높임으로써 정부의 신뢰도를 강화하고, 부정행위를 하고 안전하지 않은 물품을 파는 기업을 엄벌하며, "사회 전반에 걸쳐서...신뢰 증진을 장려하고 신뢰 저하는 처벌한다." 또한 사회 신용도는 "조화로운 사회주의 사회를 건설하는데 있어서... 중요한 기반"이 될 것이라고 결론 내린다.

당신을 알아가는 것
이러한 사고방식은 자유를 제한하기 위해 관료적 장치를 동원하는 것과, 공적 질서라는 미명 하에 사생활을 침해해온 중국 공산당의 오랜 전통과 일치한다. 거의 모든 중국 국민은 시민이 어디서 공공 서비스를 받을 수 있을지 결정하는 후커우(호적)를 가지고 있다. 또 대부분의 국민은 한때 학교, 직업에 대한 보고서 및 봉급 세부사항이 기록된 당안(인사기록부)을 갖고 있었다. 이 두 가지 통제방안은 완화되었고, 특히 당안이 그렇다. 하지만 완전히 사라진 건 아니다.

정부, 국영기업, 대학교를 다니는 사람들 중 점점 많은 수가 "안전한 보관"을 위해 그들의 여권을 제출하길 요구받고 있다. 티벳이나 신장 같은 불안정한 지역의 여권 소지자들 또한 경찰에 여권을 제출해야 한다.

개인의 행동에 대한 처벌과 보상은 불가분한 정부 활동으로 여겨져 왔다. 한자녀 정책은 소위 공공의 이익이 개인의 이익을 짓밟는 극단적 사례이며, 유일한 사례도 아니다. 2013년 개정된 노인권익보장법은 모든 성인 자녀가 60세 이상의 부모를 "자주"(정확히 몇 번이어야 하는지는 법원이 결정한다) 방문하지 않으면 벌금이나 징역형에 처한다. 일부는 이 법에 의해 실제로 벌금을 부과받았고, 한 공직자는 이 벌금 부과가 당안에 기록될 수도 있다고 언급하였다. 다만 아직까지 실제 기록되었다는 증거는 없다.

중국은 "행정 포상 체계"를 갖추고 있다. 매년 수백에서 수천 명이 "outstanding cadre", "spiritually advanced individual", "civilised village" 등의 칭호를 수여받는다. 수여자는 돈, 연금 인상, 더 나은 건강보험, 공공주택 대기 순번을 뛰어넘을 권리를 받는다. 중국 지도자들도 칭호 수여를 중요하게 여기며, 작년에는 중국공산당 중앙정치국 상무위원회의 7명 전원이 국가 모범 노동자 프로그램의 수여식에 참석하였다.

중국 공산당 통치의 핵심적 역할을 하는 것이 바로 대규모 감시이며, 특히 디지털 영역에서의 감시가 점점 증가하고 있다. "그리드 관리"라 불리는 block-by-block 감시 체계가 중국의 일부 부분에 확립되어 있는데, 쓰레기를 남기지 않게 한다든가, 논쟁이 확실히 해결되게 한다는 명목으로 수백 명 규모의 집단들을 감시한다. 이는 11세기 송나라 시절로 거슬러 올라가는 자경 전통의 일환이다.

보다 새로운 종류의 감시로는 광범위한 CCTV 사용을 들 수 있다. 2009년 중국에는 270만 개의 CCTV가 있었다. 이제 중국은 미국을 넘어서 세계에서 가장 많은 CCTV를 설치한 나라가 되었다. 중국 최대 인터넷 회사인 알리바바의 회장 마윈에 따르면, 회사가 위치한 항저우에는 뉴욕보다도 많은 감시 카메라가 설치되어 있다.

인터넷 사용이 증가함에 따라, 중국의 사이버공간에 대한 포괄적인 통제도 증가해왔다. 만리방화벽은 수만 개의 웹사이트에 대한 접속을 차단한다. 황금방패는 대규모 온라인 감시 시스템이다. 만리대포는 적대적 웹사이트를 공격하기 위해 사용된다. 만일 "티베트 독립"이나 "천안문 사태" 같은 민감한 단어를 포함한 메시지가 전송된다면, 해당 인터넷 계정이나 소셜미디어 계정은 정지될 수 있다.

데이터 수집 규모의 방대함을 볼 때, 중국 당국의 장기적 목표는 7억 명에 이르는 모든 중국 인터넷 사용자의 거래, 웹사이트 방문, 메시지 발송을 감시하는 것이다. 이는 엄청나게 야심찬 계획이지만, 불가능하다고 말하기는 어렵다. 유출된 문건들에 따르면, 미국의 국가안보국은 한 달에 420억 개의 인터넷 기록을 수집할 수 있고, 하루에 50억 개의 핸드폰 위치기록을 수집할 수 있다.

이런 방대한 감시가 가능하게 하려면, 정부는 기기들의 주인과 그들이 남기는 디지털 발자국을 일치시켜야 한다. 그래서 2012년과 2016년에 인터넷 기업이 고객의 실제 이름과 그외 개인정보를 보관하게 하는 법이 통과되었다. 하지만 가짜 등록정보도 많으며, 사용자의 IP주소를 감추는 VPN을 어떻게 뚫을지도 불명확하다.

누가 착한 사람이고, 나쁜 사람인가
다가오는 사회 신용도 시스템은 이러한 감시와 통제의 역사를 기반으로 만들어질 것이다. 목록은 이 프로젝트의 핵심이다. 신원 목록이 있어야 수집한 정보도 정리할 수 있다. 그리고 목록 만들기는 중국의 특기이다. 중국의 여행 당국은 비매너 여행객에 대한 블랙리스트를 만들어서, 최장 10년까지도 해외여행을 금지할 수도 있다. 인터넷 당국은 "화이트 리스트"를 만들어서 정부에 호의적인 미디어 회사를 뽑으며, 이들은 기사를 다른 창구에 파는 게 가능하다. 물론 이게 전부가 아니다.

사회 신용도 시스템의 핵심 역할을 할 목록은 "판결 불이행자 목록"이다. 이는 법원 명령을 이행하지 않는 자들로 구성된다. 개인 간 혹은 기업 간 계약분쟁이 있거나, 커플 간 이혼, 양육 분쟁이 있으면 이들은 민사법원으로 간다. 만일 패소한 측이 지불을 불이행한다면, 그자는 목록에 등재된다. 그리고 이들의 이름은 법원 외부에 전시된다. 대법원에 따르면, 2015년 말에는 310만의 불이행자가 있었다.

어느 국가에나 돈과 관련된 민사소송을 집행하는 데 문제를 겪기 마련이므로, 이러한 목록이 그다지 특별해 보이지 않을 수도 있다. 하지만 그렇지 않다. 이 목록은 예외적으로 길고, 다른 십수 개의 정부부처나 당 조직에서도 참조할 수 있으며, 이러한 다른 조직들도 불이행자에게 각각 제재를 가할 수 있다. 이 목록에 등재된 자는 여객기, 기차 티겟을 구매할 수 없거나, 집을 팔거나 살 수 없을 수 있고, 자녀를 수업비 높은 학교엔 등록하지 못할 수도 있다. 공산당에 가입하거나 진급하기도 어려우며, 입대도 힘들고, 명예로운 직함을 수여받는 것에도 제약이 따른다. 만일 불이행자가 기업이라면, 주식이나 채권을 발행하기 어려울 수 있고, 외자를 유치하거나 정부 프로젝트를 발주하기도 어려워진다. 2016년 8월까지 불이행자가 여객기 티켓을 구매하는 게 정지된 건 대략 5백만 번에 달한다. 이는 일반적인 법적 처벌의 수준을 훨씬 넘어선 것이다.

중국적 특색의 죄
이러한 시스템은 채무불이행자를 블랙리스트에 올리는 것에서 그치지 않고, 독성 우유를 팔거나 부실 공사를 한 기업을 추적하는 것으로까지 확대될 수 있다. 하지만 지난 5월과 9월에 발표된 가이드라인은 시스템이 이보다 훨씬 더 확대될 수도 있다는 걸 보여준다. 가이드라인은 불이행자 목록을 "사회 신용도 정보의 중요한 구성요소"라고 칭하였는데, 이는 불이행자 목록이 더 큰 시스템의 일부이고, 채무불이행은 잘못된 행동 카테고리의 일부에 불과하다는 걸 암시한다. 다른 "신뢰할 수 없는 행동"으로는 "사회적 질서를 심각하게 저해하는 행동, 사이버공간 질서를 심각하게 저해하는 행동, 사회적 질서를 교란시키기 위해 모이는 것, 국가 방위 이익을 위험하게 하는 것" 등이 있다. 이런 방대한 카테고리는 이 시스템이 반대자, 의견표명, 안보 위협으로 간주되는 자들을 평가하고 처벌하기 위해 사용될 수 있다는 걸 암시한다.

비록 명확히 언급하진 않고 있지만, 가이드라인은 국가가 다양한 데이터베이스를 통합시킬 수 있도록 하는 듯하다. 후커우와 당안, 전자감시에 의한 정보, 여행자 블랙리스트, 국가 모범 노동자 프로그램 등등. 심지어는 12월에 발표된 비디오 게임 규제에 따르면 규제를 어기는 기업과 게이머는 블랙리스트와 사회 신용도 데이터베이스에 등재될 수 있다. 최악의 경우, 사회 신용도 프로젝트는 전방위 디지털 감시 팬옵티콘이 될 수도 있다.

어쩌면 이 모든 것이 과장처럼 느껴질 수도 있다. 서구 국가의 구글, 페이스북, 마케팅 기업, 심지어는 미국 대선 캠페인까지도 방대한 규모의 개인 정보를 관리하지만 시민적 자유에 최소한 지금까진 별다른 위협이 되지 않고 있다는 점을 고려한다면 말이다.

하지만 중국은 개인 정보를 서구 국가처럼 취급하지 않는다. 민주주의에선 법에 의해 정부와 기업이 개인 데이터를 어떻게, 얼마나 다룰 지가 제한된다. 물론 그런 보호는 결코 완벽하지 않다. 하지만 중국에는 아예 그런 보호 자체가 존재하지 않는다. 국가안보법과 새로운 사이버 안보법은 정부에게 모든 종류의 개인 데이터에 대해 제한되지 않은 처리권한을 부여한다. 이에 항의할 만한 인권운동가들은 점점 더 많이 감옥에 갇히고 있다. 그리고, 미국 의회조사국에 따르면, 알리바바, 바이두(중국 최대 검색엔진), 텐센트(소셜 메시징 앱 운영)처럼 데이터를 보유하고 있는 기업들은 언제나 정부의 데이터 요구에 순응한다.

민주국가의 빅데이터 시스템은 사회 통제를 위해 만들어지지 않았다. 반대로 중국은 분명하게 이를 추구하고 있다. 그리고 중국의 지도자들이 공산당의 이익과 사회의 이익을 동일시하기 때문에, 사회 통제를 위한 도구들이 정치적 목적을 위해 사용되는 것도 가능하다. 2016년 초, 예컨대, 공산당은 중국 최대 방산 기업 중 하나인 중국전자기술 그룹에게 직업기록, 경제적 배경, 소비 습관, 취미, 감시 카메라 데이터를 기반으로 테러리스트가 될 위험성을 예측하는 소프트웨어를 개발하도록 요청하였다. 테러리스트를 찾기 위해 데이터를 거르는 기술은 언제든 반체제 인사를 걸러내는 데 사용될 위험이 있다. 중국은 서구 정보기관들이 데이터 마이닝 기법을 이용해 테러리스트를 찾아내려 했지만 실패한 이유가 지나치게 많은 "거짓 양성 반응" 때문이라고 보고 있다.

그렇다면 이런 방대한 사회 신용도 시스템이 작동할 수 있을까? 이에는 두 가지 큰 기술적 장벽이 존재한다. 바로 데이터의 질과 이를 분석하는 장비의 민감도이다. 세계 어디에서든, 빅 데이터 프로젝트는 어떻게 부정확한 정보가 시스템을 기만하지 않게끔 하느냐는 문제에 직면하였다.(쑤이닝 현의 실험사례도 마찬가지다) 이런 악성 데이터 문제는 13억 인구를 가진 중국에선 훨씬 심각할 수 있다. 사이버 범죄자들이 정보를 훔치거나 바꾸는 것도 문제다.

정보를 어떻게 분석하느냐도 마찬가지로 쉽지 않다. 사회 신용도 시스템이 우려되는 건 사회적, 정치적 활동을 기반으로 신용 점수를 산출할 수도 있기 때문이다. 여기서 그 모델은 미국의 마케팅 산업인 것 같다. 이 기업들은 직업 안정성, 건강 위험도, 청소년 비행을 기반으로 신용 점수를 산출하여 사람들의 소비 패턴을 예측한다. 하지만 에러를 피하기 어렵다. 비영리조직 월드 프라이버시의 보고서에 따르면, 신용 점수는 정확성, 투명성, 완전성의 기준도 없는 수백의 데이터에 기반한다. 보고서의 결론이 말하듯, "에러 비율과 잘못된 해석이 심각한 문제"이다. 쓰레기가 들어오면 쓰레기가 나가는 법이다.

무엇이 잘못될 수 있을까?
정부도 이런 문제점을 잘 알고 있다. 정부는 이례적일 정도로 많은 논의가 국영 방송에서 진행되도록 허락하였는데, 이는 물에 얼마나 깊이 들어갈지 결정하기 전에 물을 미리 검사 해보는 격이라 할 수 있다. 예컨대, 최근 상하이에서 있었던 고위급 "사회 신용도 수뇌회담"에선 점수를 어떻게 체크할지, 실수는 어떻게 바로잡을지 등이 논의되는데, 많은 이들은 법적 보호가 먼저 갖춰져야 한다고 주장하였다. 베이징대학교 the China Credit Research Centre의 director인 Zhang Zheng은 많은 문제가 해결되지 않은 상태고, 정부는 프로젝트 진행을 늦춰야 했다고 전했다.

경화시보는 사설에서 전기세를 안 낸 사람들의 해외여행이나 은행대출을 제한한다는 계획을 비판했다. "나는 결코 사회 신용도 시스템의 설립과 발전에 반대해본 적이 없다. 나는 다만 강자의 힘을 강화하고, 시민 권리를 더욱 압박하기 위해 신용도가 사용되는 것에 반대할 뿐이다." Yang Gengshen가 사설에 쓴 내용이다.

사회 신용도 시스템의 대부분은 아직 불명확하다. 정부는 시스템을 사기꾼을 엄벌하기 위해 사용할지, 완전한 빅 브라더 체계로 가기 위해 사용할지 아직 결정하지 못했다. 정부가 갖고 있는 정보가 얼마나 시스템에 반영될지도 불확실하다. 감시 기술이 중국만큼 거대한 국가에서 잘 작동할지도 알 수 없다. 또한 중국 정보기관의 파편화도 극복해야할 문제다.

하지만 정부가 사회적 통제의 촉수를 광범위하게 늘어트릴 능력을 갖춰가고 있는 건 사실이다. 데이터베이스, 디지털 감시, 상벌 시스템, 내가 제일 잘 안다는 가부장주의까지, 많은 필요요소들이 이미 준비되어 있다. 부족한 건 이런 조각들을 한 데 모으는 것뿐이다. 만일, 그리고 언젠가 이것이 이뤄진다면, 중국은 유례없는 디지털 전체주의 국가로 거듭날 것이다. Super Sad True Love Story의 다른 캐릭터가 친구에게 썼듯, "당이 하나만 있는 경찰국가에서 살아가면 이렇게 되는 법이야."

-----
원문
Big data, meet Big Brother
China invents the digital totalitarian state
The worrying implications of its social-credit project

GARY SHTEYNGART’S novel of 2010, “Super Sad True Love Story”, is set in a near future when the Chinese yuan is a global currency and people all wear an “apparat” around their neck with RateMe Plus technology. Personal details are displayed in public on ubiquitous Credit Poles, posts on street corners with “little LED counters at eye level that registered your Credit ranking as you walked by.” The protagonist’s are summed up thus:
LENNY ABRAMOV. Income averaged over five-year span, $289,420 yuan-pegged…Current blood pressure: 120 over 70. O-type blood…Thirty-nine years of age, lifespan estimated at eighty-three…Ailments: high cholesterol, depression…Consumer profile: heterosexual, nonathletic, non-automotive, nonreligious…Sexual preferences: low-functioning Asian/Korean…Child abuse indicator: on…Last purchases: bound, printed, nonstreaming Media artifact” [ie, book].

The novel is a fictional dystopia about the destruction of privacy. China’s Communist Party may be on its way to inventing the real thing. It is planning what it calls a “social-credit system”. This aims to score not only the financial creditworthiness of citizens, as happens everywhere, but also their social and possibly political behaviour. It is not yet clear how extensive the system will be, nor whether it will work, nor how far it will withstand the criticism ranged against it in the state-controlled media. But an outline is complete and some of the building blocks are in place. The early signs are that China is starting on the most ambitious experiment in digital social control in the world.  

A pilot scheme in Suining county, in Jiangsu province north of Shanghai, gives clues about what such a system might mean in practice. Starting in 2010, the local government awarded people points for good behaviour (such as winning a national honour of some kind) and deducted points for everything from minor traffic offences to “illegally petitioning higher authorities for help”. Those who scored highest were eligible for rewards such as fast-track promotion at work or jumping the queue for public housing.
The project was a failure. The data on which it was based were patchy. Amid a public backlash, a report in China Youth Daily, a state-owned newspaper, criticised the system. It said “political” data (such as petitions) should not have been included, declaring that “people should have rated government employees and instead the government has [rated] the people.” Another state-run newspaper, Beijing Times, even compared the scheme with the “good citizen” certificates issued by Japan during its wartime occupation of China.

But the party and government seem undaunted, issuing outline plans for the social-credit system in 2014 and more detailed guidelines this year. About 30 local governments are collecting data that would support it. The plan appears hugely ambitious, aiming explicitly to influence the behaviour of a whole society. By 2020, Chinese officials say, it will “allow the trustworthy to roam everywhere under heaven while making it hard for the discredited to take a single step.”
The project is a response to the party’s biggest problems: the collapse of confidence in public institutions, and the need to keep track of the changing views and interests of China’s population (without letting them vote). It seeks to collect information on the honesty of ordinary citizens, public officials and companies alike.

A question of trust
Despite years of economic growth, popular discontent at widespread corruption has grown stronger. A series of scandals about everything from shoddy housing to out-of-date vaccines has led to public cynicism about companies and the government’s ability to enforce rules. Social-credit scoring aims to change that by cracking down on the corrupt officials and companies that plague Chinese life. And it aims to keep a closer track on public opinion. In a society with few outlets for free expression, big data might paradoxically help make institutions more accountable.

But it could also vastly increase snooping and social control. In other countries there have been many scare stories about Big Data leading to Big Brother. Most have proven false. But China is different. It is a one-party state, with few checks on its power, a tradition of social control and, in President Xi Jinping, a leader even more prone to authoritarianism than his immediate predecessors. The extent of social-credit scoring will depend on what the government intends, whether the technology works and how the party responds to public concerns.

Start with intent. The “planning outline” published in 2014 said the government “pays high regard to the construction of a social-credit system”—suggesting the project has the imprimatur of Mr Xi and Li Keqiang, the prime minister. Social credit, it declared, “is an important component …of the social-governance system”: in other words, it is part of governing the country.
The paper did not set out how the system would work but was clear about its aims. They are to strengthen confidence in the government by improving its efficiency through big data; to crack down on companies that cheat and sell unsafe goods; and to “encourage keeping trust and punish breaking trust…throughout the entire society”. Social credit, it concluded, would be “an important basis for…building a harmonious socialist society”.

Getting to know you
Such thinking is in keeping with the party’s long record of using bureaucratic tools to restrict freedom and invade privacy in the name of public order. Almost everyone has a hukou (household registration) document that determines where citizens can get public services. Most people once had a dang’an (personal file) containing school and work reports, and salary details. Both controls have been relaxed, notably the dang’an. But both still exist.
Increasing numbers of people in government, state-owned firms and universities are required to hand over their passports “for safe keeping”. Holders of passports in some parts of the restless regions of Xinjiang and Tibet have also been told to hand them over to the police.

Punishments and rewards for behaviour are woven into the government’s activities. The one- (now two-) child policy remains the extreme example of a supposed greater good trampling over private interests. But it is not the only one. The Elder-care law of 2013 requires all adult children, on penalty of fines or jail, to visit parents over 60 “often” (the courts define what counts as often). A few people have been fined under the law and one official said their offences might be entered onto their dang’an, though there is no sign that this has been done.

China has “an administrative rewards system” in which hundreds of thousands of people a year receive honours and titles, such as “outstanding cadre”, “spiritually advanced individual” and “civilised village”. Winners get money, a higher pension, better health insurance and the right to jump the queue for public housing. The honours system is valued by the leadership. Last year, all seven members of the country’s highest decision-making body, the Standing Committee of the Politburo, attended the awards ceremony of the National Model Worker programme.

Wholesale surveillance, increasingly of the digital sort, is a central pillar of Chinese communist rule. A system of block-by-block surveillance called “grid management” is being set up in several parts of the country: police and volunteers keep tabs on groups of a few hundred people, supposedly to ensure the rubbish is collected and disputes resolved. It is part of a tradition of self-policing that stretches back to the Song dynasty in the 11th century.

Newer forms of monitoring involve the ubiquitous use of closed-circuit television cameras. In 2009 China had 2.7m of them; now it may have overtaken America as the country with the largest number of CCTV devices. According to Jack Ma, head of Alibaba, China’s largest internet firm, the company’s home town of Hangzhou has more surveillance cameras than New York, a somewhat larger city.
As internet use has grown (see chart), so have China’s comprehensive controls in cyberspace—from the Great Firewall, the system that blocks access to tens of thousands of websites (Economist.com among them); to the Golden Shield, an extensive online surveillance system; and the Great Cannon, a tool to attack hostile websites. China’s cyber-censors can suspend internet or social-media accounts if their users send messages containing sensitive terms such as “Tibetan independence” or “Tiananmen Square incident”.

The scale of the data-collection effort suggests that the long-term aim is to keep track of the transactions made, websites visited and messages sent by all of China’s 700m internet users. That would be enormously ambitious but probably not impossible. According to leaked documents, America’s National Security Agency can collect 42bn internet records a month and 5bn mobile-phone location records a day.

To make such surveillance work, the government has to match the owners of devices with the digital footprints they leave. So laws passed in 2012 and 2016 require internet firms to keep their customers’ real names and other personal information. But there are lots of fake registrations. And it is unclear how censors plan to tackle virtual private networks, which mask a user’s IP address.

Who’s naughty and nice
The emerging social-credit system builds on this history of monitoring and control of people’s private lives. Lists are central to the project: you need lists of identities to order the data you gather. And lists are a Chinese speciality. China’s tourist authority keeps a no-fly list for ill-mannered travellers, who can be banned from going abroad for up to ten years. The Cyberspace administration keeps a “white list” of favoured media firms that may sell their articles to other outlets. And so on.

The list at the heart of the social-credit system is called the “judgment defaulter’s list”, composed of those who have defied a court order. If two people or companies have a contract dispute, or if couples are fighting over a divorce or child support, the parties can go to a civil court for judgment. If the losing party then defaults on payment, he, she or it is put on the list. Names of offenders are displayed on an electronic crawl outside court houses. According to the supreme court, there were 3.1m defaulters on the list at the end of 2015.

All countries have problems enforcing civil judgments in financial cases, so the list may not look unusual. But it is. It is exceptionally long, and made available to dozens of government departments and party organisations, all of which can apply their own sanctions to defaulters. People on the list can be prevented from buying aeroplane, bullet-train or first- or business-class rail tickets; selling, buying or building a house; or enrolling their children in expensive fee-paying schools. There are restrictions on offenders joining or being promoted in the party and army, and on receiving honours and titles. If the defaulter is a company, it may not issue shares or bonds, accept foreign investment or work on government projects. By August 2016 defaulters had been stopped from buying airline tickets about 5m times. This goes far beyond normal legal enforcements.

Sins with Chinese characteristics
From blacklisting debt-defaulters the system could be expanded a bit, say, to keep track of companies that sell poisoned milk or build shoddy houses. Yet guidelines issued in May and September suggest it could go much further. They call the defaulters list “an important component of social-credit information”, implying that it is part of a larger system, and that financial offences are only one category of wrongdoing. Other sorts of “untrustworthy behaviour” meriting attention include: “conduct that seriously undermines…the normal social order…seriously undermines the order of cyberspace transmissions”, as well as “assembling to disrupt social order [and] endangering national defence interests”. Such broad categories imply the system could be used to rate and punish dissent, expressions of opinion and perceived threats to security.

Although not spelled out clearly, the guidelines could, on the face of it, allow the state to integrate its many databases: everyone’s hukou and dang’an, information from electronic surveillance, the tourist blacklist, the national model-worker programme and more. Even regulations on video games published in December say that firms and gamers that violate the rules could be blacklisted and inscribed in the social-credit database. At worst, the social-credit project could become a 360-degree digital-surveillance panopticon.
That may sound like scaremongering. After all, Google, Facebook, data-brokers and marketing companies in Western countries—even American presidential-election campaigns—all hold vast quantities of personal information without causing serious harm to civil liberties, at least not so far.

But China treats personal information differently from the West. In democracies, laws limit what companies may do with it and the extent to which governments can get their hands on it. Such protections are imperfect everywhere. But in China they do not exist. The national-security law and the new cyber-security law give the government unrestricted access to almost all personal data. Civil-liberty advocates who might protest are increasingly in jail. And, according to America’s Congressional Research Service, companies that hold data, such as Alibaba, Baidu (China’s largest search engine) and Tencent (which runs a popular social-messaging app) routinely obey government demands for data.

Big-data systems in democracies are not designed for social control. China’s explicitly would be. And because its leaders consider the interest of the party and society to be the same, instruments of social control can be used for political purposes. Earlier this year, for instance, the party asked China Electronics Technology Group, one of the country’s largest defence contractors, to develop software to predict terrorist risks on the basis of people’s job records, financial background, consumption habits, hobbies and data from surveillance cameras. Sifting data to seek terrorists can easily morph into looking for dissidents. It is telling that Western intelligence agencies have tried to use data-mining schemes to identify individual terrorists, but failed because of an excess of “false positives”.

So can a vast social-credit system work? The Chinese face two big technical hurdles: the quality of the data and the sensitivity of the instruments to analyse it. Big-data projects everywhere—such as the attempt by Britain’s National Health Service to create a nationwide medical database—have stumbled over the problem of how to prevent incorrect information from fouling the system (this undermined the Suining experiment, too). Problems of bad data would be even more onerous in a country of 1.3bn people. Vast treasuries of data would also give big incentives for cyber-criminals to steal or change information.

How to analyse the data would be equally problematic. The feature of the social-credit system that has attracted the most attention and alarm is the notion of ascribing “credit scores” (points) to social and political activity. Here, the model seems to be America’s marketing industry. Companies work out credit scores that predict people’s patterns of consumption based on things such as job security, health risks and youth delinquency. But errors abound. The World Privacy Forum, a non-profit organisation, says credit scores are based on hundreds of data points with no standards of accuracy, transparency or completeness. As the report concluded, “error rates and false readings become a big issue.” Garbage in, garbage out.

What could go wrong?
The government is well aware of these difficulties. It has allowed an unusual amount of discussion on them in state-run media, suggesting it may be testing the waters before deciding how far to plunge in. A recent high-level “social-credit summit” in Shanghai, for example, talked about how scores can be checked, and mistakes rectified; many argued that legal protections needed to be improved. Zhang Zheng, director of the China Credit Research Centre at Peking University, said multiple problems remain unsolved, and that the administration needed to be reined in.

A commentary in Beijing Times complained about plans to punish people who do not pay their electricity bills by limiting foreign travel and bank borrowing. “I have never opposed the establishment and improvement of a credit-information system,” wrote the author, Yang Gengshen. “I am only against using credit to expand the power of the strong and further compress the space for civil rights.”
Much about the social-credit system remains unclear. The government has not yet determined whether it wants the system mainly for cracking down on crooks or to go the full Big Brother. It is uncertain about how much of the information it holds should be incorporated into the system. The surveillance technology is largely untested at the vast scale of China. And the fragmentation of China’s intelligence agencies would have to be overcome.

But the government is creating the capacity for a long-tentacled regime of social control. Many of the elements are ready: the databases; the digital surveillance; the system of reward and punishment; and the we-know-best paternalism. What remains is to join the pieces together. If and when that is done, China would have the world’s first digital totalitarian state. As another character in “Super Sad True Love Story” writes to a friend: “This is what happens when there’s only one party and we live in a police state.”

-----
출처: http://www.economist.com/news/briefing/21711902-worrying-implications-its-social-credit-project-china-invents-digital-totalitarian
직접 번역

중국이 국민(을) 평가(하는) 시스템을 만들어 가고 있다는 말이 있었는데, 설마설마 했지만 영국의 저명한 주간지 이코노미스트에서 아예 커버스토리로 본격적으로 다뤘더군요. 실제로 책에서나 보던 기술독재 국가가 실현될 가능성이 존재하는 것 같습니다. 그것도 바로 우리 옆에서요.

원래는 번역글이랑 본문이랑 같이 있었는데 너무 심각하게 길어지는 것 같아서, 본문은 아래 따로 뺐습니다. 의역도 꽤 많고 오역도 있을 수 있습니다. 특히 고유명사 같은 건 번역하다보니 답도 없는 게 좀 있었는데(..) 이제 와서 보니 어거지로 하지 말고 그냥 원문으로 놔뒀을 걸 그랬네요.