범인 잡는 흥미진진한 수학 프로파일링의 세계
경찰, FBI, CIA가 실제 사용하는 첨단 수학 수사기법
LA에서 연쇄살인이 일어난다. 범인은 젊은 여성을 대상으로 폭행과 강간을 저지른 뒤 살해한 흉악범이다. FBI 특수요원 돈 엡스가 사건을 맡는다. 그러나 수사는 이렇다 할 단서 없이 정체 상태다. 돈은 LA 시가의 대형 지도를 펼쳐놓고 가위표로 표시해놓은 범행 장소를 지켜본다. 고민하는 그를 보고 동생 찰리가 도와주겠다고 제안한다. 어린 나이에 수학과 교수가 된 동생의 천재성을 인정하면서도 돈은 딱 잘라 거절한다. “수와 관련 있는 사건이 아니야.” 그러나 찰리는 고집스레 말한다. “모든 건 수야.”
돈은 납득하지 못한다. 지도에 마구잡이로 흩어져 있는 범행 장소를 보고 다음번 범행 장소를 예측하는 건 아무리 수학 천재라도 불가능한 일이 아닌가. 하지만 찰리는 역발상의 해법을 제시하며, 마침 마당에서 돌아가고 있던 스프링클러를 예로 든다. 스프링클러가 흩뿌리는 물방울의 패턴을 이용해서 다음번 물방울이 떨어질 곳을 예측할 수는 없지만, 그 출발점 즉 스프링클러가 어디에 있는지는 역추적할 수 있다. 마찬가지로 범행 장소의 패턴을 이용해서 다음번 범행이 일어날 장소를 예측할 수는 없지만 살인자가 사는 곳, 곧 ‘핫존’은 알아낼 수 있다.
연구실에 돌아간 찰리는 수학 공식과 방정식으로 칠판을 뒤덮으며 작업하기 시작한다. 마침내 하나의 방정식을 도출해낸다. 연쇄살인범은 범행 장소를 고를 때 특정한 경향을 보인다. 항상 자신의 집과 멀지 않은 곳에서 주로 범행을 저지르지만, 너무 가까우면 불안하기에 자신의 거주지 주변에는 범행을 저지르지 않는 일종의 안전지대, 완충지대를 둔다. 찰리의 공식은 이러한 범행 패턴을 반영한다. 이 공식은 범죄자의 거주지에서 완충지대를 지나 멀어질수록 범죄 확률이 증가하다가 나중에는 감소하는 모양을 지도 위에 그리게 도와준다. 연쇄살인범은 정체를 드러내지 않으려고 자기 딴에는 무작위로 희생자를 고르지만 공식은 범인이 사는 핫존을 매우 높은 확률로 말해준다. 찰리의 수학 덕택에 수색해야 할 범위가 좁아졌다. 돈과 팀원들은 감시와 미행을 통해 드디어 범인을 붙잡는다. 이것이 바로 미드 〈넘버스〉 시즌 1의 첫 번째 에피소드다.
이 에피소드는 실화에 바탕을 둔다. 실화의 주인공은 캐나다 경찰 출신의 수학자 킴 로스모다. 1991년 그가 열차를 타고 가다 아이디어를 떠올리고 급히 냅킨에 끼적인 것이 바로 ‘로스모 공식’으로 알려진 공식이며 수사관들이 범인의 심리적 특성을 분석해 특정해내는 ‘심리적 프로파일링’ 기법과 대비해, 연쇄범죄자가 사는 곳을 수학을 이용해 예측하는 로스모의 기법을 ‘지리적 프로파일링’이라 부른다. 그렇다. 수학은 ‘실제로’ 범인을 잡는다.

사진 속 숨은 진실을 드러내는 수학
이미지 화질을 개선하는 공식
1992년 LA 폭동은 수많은 인명과 재산 피해를 낸 불행한 사건이었다. 사건이 발발하고 불과 몇 시간 되지 않아 TV 시청자들은 앞으로 5일간 벌어질 끔찍한 사태를 상징하는 폭행사건을 목격했다. 일군의 폭도들이 트럭을 세우고 운전사를 끌어내려 집단린치를 가하는 장면을 하늘에서 방송국의 헬기가 여과 없이 생중계한 것이다. 피해자는 두개골이 함몰되고 안구가 튀어나오는 중상을 입었고, 사태가 진정된 후 경찰은 TV 뉴스 비디오를 근거로 용의자들을 체포했다.
문제는 가장 중요한 증거인 그 영상이 소형 카메라로 찍은 탓에 너무 거칠고 흐릿해서 폭행범의 얼굴을 제대로 알아볼 수 없었다는 것이다. 전체적인 체격과 외모는 비슷했지만 다른 폭도들이 아닌 바로 그들이 범인이라고 특정하기에는 부족했다. 이때 검찰 측 증인으로 레오니드 루딘 박사가 나섰다. 그가 설립한 ‘코그니테크’ 사는 군사위성에서 찍은 감시 사진의 화질을 개선하는 수학적 기법의 개발로 명성 높았다. 코그니테크 팀은 문제의 영상에서 폭행자 중 한 명의 팔뚝에 있던 흐릿한 자국을 수학적으로 처리하여 식별 가능할 정도로 선명화하는 데 성공했고, 그 자국이 용의자 중 한 명의 팔에 있는 장미 문신과 동일함을 보여주었다.
CCTV 화면의 흐릿한 부분을 컴퓨터로 확대해 선명하게 만드는 ‘이미지 화질 개선image enhancement’ 기술은 CSI 유의 드라마를 통해 우리에게도 친숙한 기술이지만, 포토샵과 같은 프로그램으로 명암과 콘트라스트를 조절하는 식의 단순한 방법이 아니다. 픽셀 하나하나의 색상값을 찾고 경계를 인식하기 위해서는 여러 다항식과 함수, 미적분법을 이용하는 ‘전변동total variation’ 방법이라는, 수치로 이미지를 재구성하는 대단히 복잡한 수학적 과정을 거쳐야 한다.
코그니테크 팀의 화질 개선 기술은 여러 형사재판에서 결정적인 증거를 제공해 유무죄를 가리는 데 도움을 주었을 뿐 아니라, 기름 유출 탐지, MRI 영상을 통한 조직 이상 식별 등에도 기여하고 있다. 또한 최근에는 역사적 논란의 사진들을 분석해 애리조나 주의 유명한 UFO 영상이 사실은 미 공군이 사용한 조명탄이라는 사실과, 케네디 대통령 암살사건에서 수수께끼의 ‘두 번째 총격범’의 정체가 사실은 사진 속 잡티에 불과함을 밝히기도 했다. 오늘날 누구나 손쉽게 할 수 있는 사진 위조뿐 아니라, 우리 눈에 보이지 않는 사진 속 숨은 진실을 되살려내는 작업도 모두 수학에 의해 가능해지고 있다.


수학으로 범행을 사전에 막을 수 있을까?
베이즈 추론에 의한 미래 예측
영화 〈마이너리티 리포트〉는 예지력을 이용해 범죄가 일어나기 전에 미리 예방하는 가상사회를 그리고 있다. 모든 사법기관이 꿈꾸는 미래겠지만, 수학을 이용하면 현재에도 어떤 사건이 일어날 가능성을 수치로 추정해볼 수 있다. 실제로 수학은 9/11 테러가 있기 1년 전 펜타곤이 테러리스트들의 공격 대상이 될 가능성이 크다고 예측했다. 수학자들은 테러 위험을 가늠해주는 ‘위치 프로파일러Site Profiler’라는 소프트웨어 시스템을 개발해 모의실험을 하던 중 이러한 결론에 이르렀는데, 불행히도 미 정부는 이 경고를 심각하게 받아들이지 않았고 아무런 조치도 취하지 않았다.
위치 프로파일러는 분석모형, 시뮬레이션, 역사적 자료, 사용자의 판단 등 다양한 정보를 수집해서 베이즈 추론을 통해 수치화한 거대한 위험 포트폴리오다. 여기서 핵심인 ‘베이즈 추론’이란 새로운 정보를 얻을 때마다 가능성(확률)에 대한 신뢰도를 바꾸는 계산법을 말하는데, 18세기 영국의 성직자이자 아마추어 수학자였던 토머스 베이즈가 생각해냈다. 베이즈 분석의 원리를 간단한 예를 들어 살펴보자.
어떤 도시에 파란 택시회사(15대)와 검은 택시회사(75대)가 있다. 어느 날 밤, 택시 뺑소니 사건이 일어난다. 택시 90대는 그 시각에 모두 거리에 있었으며, 목격자는 파란 택시였다고 증언한다. 경찰이 그날 밤과 비슷한 조건에서 파란 택시와 검은 택시를 무작위로 보여주자 목격자는 택시 색깔을 5번 중 4번꼴로 맞춘다(나머지 한 번은 파란 택시를 검은 택시로, 검은 택시를 파란 택시로 오인한다). 과연 뺑소니 사건을 낸 것은 어느 회사일까?
우리는 목격자가 5번 중 4번이 정확했으니 파란 택시였을 확률도 5분의 4 즉 0.8이라고 보통 생각한다. 그러나 베이즈 추론은 상당히 다른 진실을 들려준다. 결론부터 말하면, 파란 택시가 뺑소니차일 확률은 9분의 4 즉 0.44에 불과하다. 검은 택시였을 가능성이 더 큰 것이다. 이는 이 도시의 택시가 검은색일 가능성이 파란색에 비해 5배 많다는 ‘사전 확률’을 감안한 결과다. 검증을 위해, 90대의 택시를 차례로 내보내서 목격자에게 색깔을 맞춰보게 해보자. 15대의 파란 택시를 보았을 때 그가 맞출 확률은 80퍼센트이므로, 12대는 ‘파란색’으로 보이고 3대는 ‘검은색’으로 보인다고 말할 것이다. 75대의 검은 택시를 내보내면 그중 20퍼센트를 잘못 볼 것이므로, 15대는 ‘파란색’으로 보이고 60대는 ‘검은색’으로 보인다고 말할 것이다. 목격자가 ‘파란색’이라고 말하는 택시는 총 27대인데, 그중 실제로 파란색인 것은 12대에 불과하다. 즉 뺑소니차가 실제로 파란 택시일 확률은 27대 중 12대, 9분의 4(44퍼센트 정도)인 것이다.
〈넘버스〉 1시즌 13화 ‘범인 추적’에서 찰리가 탈출한 죄수들을 검거하도록 도울 때 이용하는 것이 이러한 베이즈 통계분석이다. 찰리는 무수한 목격자들의 신고 중 어느 것이 정확한 정보이고 어느 것이 잘못된 정보인지 어떻게 판별했을까? 먼저 그는 확실한 정보들로부터(탈출한 죄수 중 붙잡힌 이들의 자백이 있었다) 사전 확률을 할당하고, 물리적 이동거리와 신고자의 신뢰도 등도 고려했을 것이다. 물론 이것은 인간의 판단과 평가에 좌우되는 부정확한 부분이다. 그러나 여기에 베이즈 추론을 수차례 반복 적용하면 수많은 목격담에 확률이 부여되고, 확률이 높을수록 그 목격담이 정확할 가능성도 높아져 점차 인간적 평가의 모호함을 극복하게 된다. 베이즈 분석은 모든 시간, 모든 장소를 동시에 고려할 수 있는 합리적이고 정량적인 방법을 제공하며, 그리하여 찰리는 형에게 자신 있게 이렇게 말할 수 있게 된다. “당장 그곳으로 요원을 보내!”

범인에 맞서 어떻게 보안을 강화할 것인가
리만 가설과 암호 해독
어느 수학자의 다섯 살 난 딸이 납치된다. 그의 연구실 화이트보드에 쓰여 있는 공식들을 보자마자 찰리는 즉각 그 수학자가 연구하는 것이 ‘리만 가설Riemann hypothesis’임을 알아챈다. 찰리의 설명을 듣고, 납치범 중 한 명의 신원을 알아내자 돈의 머릿속에 사건의 전모가 그려진다. 납치범들은 수학자의 딸을 납치해 그가 발견한 리만 가설의 해법을 털어놓도록 협박한 뒤 은행 컴퓨터에 침투해 수백만 달러를 훔치려는 계획인 것이다.
〈넘버스〉 첫 시즌의 다섯 번째 에피소드인 ‘주요 용의자’는 150년이 넘도록 풀리지 않은 유명한 수학 문제를 다룬다. 리만 가설은 2000년 국제 전문가들이 뽑은 7가지 미해결 수학 문제인 ‘새천년 문제’의 하나로, 문제를 푸는 사람에게는 100만 달러의 상금이 수여된다. 하지만 정말로 리만 가설을 푼다면 인터넷 보안 시스템을 무너뜨릴 만능키를 얻어 전 세계 인터넷 거래를 붕괴시킬 수 있을지도 모른다. 그 위험을 이해하기 위해서는 먼저 현재의 암호체계가 어떤 원리로 작동하는지 살펴보아야 한다.
제2차 세계대전 이후 안전한 암호체계를 설계하는 일은 수학자들의 몫이었다. 암호를 깨기 위해 강력한 컴퓨터로 무장하고 있는 해커들의 공격을 이겨내기 위해서는 암호체계 자체가 대단히 복잡해야 한다. 현대의 암호체계는 대개 암호화 프로그램과 ‘키’(비밀번호)라는 두 가지 요소로 구성돼 있는데, 메시지의 발신자와 수신자가 사용할 키를 미리 합의하여 공유하고 비밀로 유지하는 한 안전하다. 하지만 이 시스템에는 명백한 결점이 있는데, 발신자와 수신자가 최소한 한 번은 만나서 서로 키를 교환해야 한다는 점이다. 인터넷뱅킹이라면 근처 은행을 찾아가서 개인용 키를 받아오면 그만이지만, 지구 반대편의 전혀 만난 적 없는 사람들끼리는 안전하게 전자상거래를 하거나 이메일을 주고받을 길이 없다.
1976년 스탠퍼드 대학의 두 수학자가 ‘공개키 암호화’를 제안하면서 돌파구가 열렸다. 이 시스템에서는 한 개가 아니라 두 개의 키(암호화 키와 해독 키)를 사용한다. A라는 사람이 먼저 두 개의 키를 만든다. 해독 키는 자신이 안전하게 보관하고, 암호화 키는 네트워크 사용자들에게 공개한다. B가 A에게 메시지를 보내고 싶다면, A가 공개한 암호화 키를 찾아서 메시지를 암호화한 다음 A에게 보내면 된다. 다른 사람은 A의 암호화 키를 알더라도 B의 메시지를 해독할 수 없다. 해독용 키는 오직 A만 알고 있기 때문이다(심지어 B조차도 자신의 메시지를 암호화한 뒤에는 해독할 수 없다).
곧 MIT의 세 연구자가 이 아이디어를 실용화할 방법을 찾았다. 컴퓨터를 이용해 150자리의 큰 소수를 찾아내는 것은 어렵지 않다. 또 그런 소수들을 곱해 300자리의 수를 만들어내는 것도 쉽다. 하지만 300자리의 수를 두 개의 소수로 인수분해하는 것은 사실상 거의 불가능하다(현재 가장 빠른 컴퓨터로도 수십 년에서 수백 년이 걸린다). 이에 착안해 그들은 두 개의 큰 소수를 비밀 해독 키로, 두 소수의 곱을 공개 암호화 키로 사용하는 오늘날 가장 널리 쓰이는 RSA 암호체계(세 연구자의 이름에서 땄다)를 만들어냈다. 결국 큰 수를 인수분해하는 효율적 방법을 아직 찾아내지 못한 수학자들의 무능력 때문에 현재 전 세계 인터넷 보안 시스템이 유지되고 있는 셈이다. 어쨌든 RSA 알고리듬이 광범위하게 이용되면서 소수를 찾아내고 큰 수를 인수분해하는 방법에 대한 연구가 활발해졌고, 소수의 분포와 밀접한 연관이 있는 리만 가설이 ‘세상에서 가장 큰 금융 비밀’을 풀 열쇠로 주목받게 되었다.



재판에서는 수학과 통계를 어떻게 이용해야 하는가?
유죄 입증을 둘러싼 수학적 증거 논쟁
어느 야간병동의 간호사가 심장정지 환자들을 조기에 발견하고 제때 응급조치하여 여러 생명을 구함으로써 ‘죽음의 천사’라는 명성을 얻는다. 하지만 동료 간호사들은 그녀가 근무할 때 심장정지 사망자가 유독 많다는 의혹을 제기하고, 병원이 진상조사에 착수하지만 전체 심장발작 비율은 다른 병원과 엇비슷한 정도다. 그럼에도 풀리지 않는 의혹은 급기야 법정으로 향하고, 검찰 측 증인으로 통계학자가 나서게 된다.
이것은 드라마 속 이야기가 아니라 1998년 실제로 있었던 ‘미국 정부 대 크리스틴 길버트 사건’의 개요다. 길버트의 기소 여부를 판단하기 위한 사전재판의 쟁점은 간단했다. 그녀가 근무 중일 때 환자가 유의미하게 더 많이 사망했는가? 한두 명 더 사망했다면 우연일 수도 있다. 길버트의 근무시간에 환자들이 그저 좀 더 불운했을지도 모른다. 길버트를 기소하기에 충분할 정도로 ‘유의미한’ 수준이려면 몇 명이나 더 사망해야 할까? MIT의 통계학 교수 스티븐 겔바흐는 이를 검사하기 위해 ‘가설검정’이라는 기초 통계분석을 이용했다.
먼저 그는 길버트가 근무한 18개월 동안 간호사들의 교대근무 횟수와 사망자 수를 조사했다. 총 1641회의 교대근무 중 사망자는 74명이었다. 만일 사망이 무작위로 일어났다면, 임의의 근무시간 중 사망자가 발생할 확률은 1641분의 74, 즉 0.045 정도다. 그중 길버트가 교대근무한 횟수는 257회였다. 만일 길버트가 환자를 살해하지 않았다면, 그녀의 근무시간 중 사망자 수는 즉 11~12명 정도라고 예상할 수 있다. 하지만 실제 사망자는 40명이나 되었다. 이런 일이 일어날 가능성은 얼마일까? 겔바흐의 계산에 따르면, 전체 사망자 74명 중 40명이 길버트의 근무시간에 사망할 확률은 1억분의 1보다 작았다. 동전을 10번 던져 모두 다 앞면이 나올 확률이 1000분의 1임을 감안한다면, 이러한 사망이 자연적으로 발생할 확률이 얼마나 낮은지 짐작할 수 있다.
이러한 결론에 힘입어 사전재판의 대배심원단은 길버트를 기소하기에 충분하다고 판단했다. 하지만 놀랍게도 본 재판에서 연방판사는 이러한 통계적 증거를 법정에 제시해서는 안 된다고 판시했는데, 이것은 또 다른 통계학자 조지 캅의 의견 때문이었다. 사전재판의 목적은 길버트를 용의자로 볼 근거가 있는지를 가리는 것이었고, 겔바흐의 분석은 길버트의 근무시간 중 사망자 수의 증가가 우연한 변동이 아니라는 의혹을 뒷받침했다. 그러나 본 재판의 목적은 그녀가 정말로 이런 사망 증가를 일으켰는가를 판단하는 것이었고, 조지 캅은 통계적 상관관계가 있다고 해서 인과관계가 있다고 말할 수는 없다고 주장했다. 즉 의심스러운 사망이 우연히 발생했을 확률이 1억분의 1이라는 사실이 곧 길버트가 환자들을 죽이지 않았을 확률이 1억분의 1이라는 의미는 아니라는 것이다. 어떤 다른 원인에 의해서 전자의 확률이 발생했을 수도 있으며, 상관관계 뒤에 숨은 변수가 존재할 가능성은 언제나 있기 때문이다. (이러한 이유로 겔바흐의 통계분석은 비록 채택되지 못했지만, 그럼에도 길버트는 종신형을 받았다.)
길버트 사건에서 보듯, 통계학과 확률론은 용의자를 식별하는 데는 상당히 효과적이지만 유죄를 입증하기에는 부족함을 알 수 있다. 1964년 ‘미국 검찰 대 콜린스 사건’은 법정에서 수학(특히 확률)을 증거로 채택할 때 신중을 기해야 한다는 선례를 남긴 역사적 재판이다. 어느 날 한 노파가 들치기를 당했다. 피해자와 목격자의 증언에 따르면 범인은 말총머리의 금발 백인여성이었으며, 수염이 덥수룩한 흑인남자가 모는 노란색 차를 타고 달아났다고 한다. 경찰은 즉시 용의자 커플을 체포했고, 피해자도 목격자도 그들을 알아보지 못했지만 절도죄로 기소했다. 검찰은 유죄 입증을 위해 이번에도 수학자를 불렀다. 검찰은 무작위로 선택된 커플이 이 사건의 6가지 특징(턱수염을 기른 흑인, 콧수염을 기른 남성, 금발머리 백인여성, 말총머리를 한 여성, 한 차에 탑승한 다인종 커플, 노란색 차)을 모두 갖출 확률을 수학자에게 물었다. 수학자는 각각을 독립사건으로 간주하면 곱셈법칙을 이용해 아주 보수적으로 계산해도 1200만분의 1이라고 답했고, 배심원은 이에 힘입어 유죄 판결을 내렸다.
그러나 대법원은 피고인의 유죄 여부를 확률로 판단해서는 안 된다며 원심을 파기했다. 1200만분의 1이라는 확률의 호소는 통상적 증거보다 신뢰도가 떨어지는 데도, 마치 무죄일 가능성을 방정식을 이용해 수치로(‘과학적으로 정확하게’) 산정하는 양 배심원을 현혹할 수 있기 때문이다. 검찰은 6가지 특징이 ‘독립적’이라는 정당화되지 않은 가정을 했을 뿐 아니라, 무작위 커플이 6가지 특징을 가지고 있을 확률인 ‘P(일치)’와 용의자 커플이 무고할 확률인 ‘P(무고)’를 동일시하는 오류를 범했다. 그래서 대법관들은 직접 P(무고)를 계산해봤다. 목격자들이 진술한 특징을 가진 커플이 LA에 적어도 두 쌍 있을 확률은 얼마일까? 이것은 앞면이 나올 확률이 1200만분의 1인 동전을 N개 던져서 둘 이상 앞면이 나올 확률과 같다. 대법원이 당시 LA 인구수인 N=1200만으로 계산하자 확률은 40퍼센트가 넘었다. 보수적으로 N=300만으로 잡더라도 다른 유죄 후보 쌍이 존재할 확률은 12퍼센트나 된다. 이렇듯 수학은 올바로 이용하면 범죄 해결의 강력한 도구가 될 수 있지만, 부적절하게 이용하면 진실을 오도하는 마법의 주문이 될 수도 있다.

수학 프로파일링으로 음미하는 살아 있는 수학
많은 사람들이 수학에 흥미를 느끼지 못한다. 여기에는 여러 이유가 있겠지만 수학이란 현실과 동떨어져 있는 학문이라는 인식이 큰 역할을 한다. 결국 수학을 배운다고 우리 현실의 문제를 해결할 수 있는 것은 아니지 않는가? 〈넘버스〉는 이런 우리의 통념을 뒤엎는다. 일련의 사례를 통해 수학자인 동생 찰리는 어째서 모든 것이 수일 수 있는지를 보여준다.
책 《넘버스》는 FBI인 형을 도와 범죄사건을 해결하는 천재 수학자의 활약상을 그린 인기 미드 〈넘버스NUMB3RS〉를 바탕으로 DNA 프로파일링에서 디지털 지문 검색, 흐릿한 CCTV 영상의 화질 개선처럼 우리에게 낯익은 기법들은 물론이고, 인공지능 신경망을 이용한 안면 인식 시스템, 통화·구매 내역 같은 자료 더미에서 유용한 정보를 걸러내는 ‘데이터 마이닝’, 생물학적 공격이나 전염병의 발생 징후를 조기에 포착해내는 ‘변화시점 탐지’, 통신 감청을 통해 비밀 범죄조직의 핵심 인물을 특정하는 ‘사회연결망분석’ 등 최신 기법들에 이르기까지 경찰, FBI, CIA가 범죄수사에 실제로 활용하고 있는 주요 수학적 기법에 대한 원리와 방법을 알기 쉽게 설명하며 결코 수학이 우리의 삶과 동떨어져 있지 않다는 사실을 보여준다.
흥미진진한 드라마 속 가상의 사건뿐 아니라 드라마보다 더 드라마 같은 실제 범죄사건과 재판들을 통해, 수학이 여러 범죄의 해결과 예방에서 얼마나 중요한 역할을 하는지 알려주며, 인터넷 상거래에서 카지노 도박에 이르기까지 수학이 우리의 실생활과 얼마나 밀접한 관련이 있는지도 보여주어, ‘패턴을 식별하고 분석하고 예측하는 학문’으로서 수학의 경이로운 세계를 더 탐험해보고 싶도록 자극한다