시선의 흐름

눈은 건너뛰며 읽는다

우리는 그림 앞에서 눈이 부드럽게 미끄러진다고 느끼지만, 실제 눈은 그렇게 움직이지 않는다. 한 점에 잠깐 머물고(고정(Fixation)), 아주 빠르게 다음 점으로 뛰고(도약 안구 운동(Saccade)), 다시 머문다. 고정은 보통 수백 밀리초, 도약은 수십 밀리초 남짓이라 1초에 세 번 안팎 자리를 옮긴다. 도약하는 동안에는 시각 정보가 거의 들어오지 않는다. 그러니 "그림을 본다"는 것은 몇 개의 정지 화면을 이어 붙이는 일에 가깝다. 고정점을 순서대로 이은 선을 주사 경로(Scanpath)라고 부른다.

이렇게 건너뛰는 이유는 선명하게 보는 영역이 아주 좁기 때문이다. 망막 한가운데의 중심와(Fovea)가 맡는 시야는 지름 2° 정도, 팔을 뻗었을 때 엄지손톱 하나만 하다. 그 바깥으로 갈수록 해상도가 빠르게 떨어진다. 주변 시야는 "저기 뭔가 밝은 것, 움직이는 것, 다른 것이 있다"는 정도만 알려 주고, 눈은 그 신호를 따라 중심와를 옮긴다. 구도를 짠다는 것은 결국 이 주변 시야의 신호를 설계하는 일이다.

중심와가 얼마나 좁은지 직접 느껴 본다. 아래는 이 책의 케이스에 나오는 가상의 A2 낭독회 포스터(가로 420 mm)다. 원이 중심와, 그 둘레의 흐린 띠가 중심와 바로 바깥(약 5°까지)이다. 원을 끌어 포스터를 "읽어" 보고, 보는 거리를 바꿔 본다.

가까이 서면 한 번에 보는 것이 너무 적고, 멀리 서면 다 들어오지만 작은 글자가 녹는다. 그래서 포스터는 대개 두 단계로 일한다. 먼 거리에서 주변 시야가 잡아챌 큰 덩어리(그림, 제목)와, 다가온 사람이 몇 번의 고정으로 찾아 읽을 작은 정보(날짜, 장소)다. 둘째 단계의 순서를 운에 맡기지 않는 것이 이 장의 과제다.

초점: 다른 것 하나

화면에서 눈이 가장 먼저, 가장 오래 머무는 곳을 초점(Focal point)이라고 한다. 초점은 대개 "주변과 다른 것 하나"에서 생긴다. 회색 사이의 빨강, 작은 것 사이의 큰 것, 가로선 사이의 사선, 흐린 것 사이의 또렷한 것이다. 심리학자 앤 트리스먼과 개리 겔레이드(Anne Treisman & Garry Gelade, 1980)는 색이나 방향처럼 한 가지 특징만 다른 대상은 방해물이 아무리 많아도 거의 즉시 "튀어나오고"(튀어나옴(Pop-out)), 두 특징의 조합으로만 구별되는 대상은 하나씩 찾아야 한다는 실험 결과를 보고했다. 존 덩컨과 글린 험프리스(John Duncan & Glyn Humphreys, 1989)는 여기에 중요한 조건을 덧붙였다. 대상이 방해물과 덜 닮을수록, 그리고 방해물끼리 서로 닮을수록 찾기가 쉽다.

둘째 조건이 구도에는 더 중요하다. 같은 빨간 점이라도 회색 바탕에서는 초점이 되지만, 온갖 색이 흩어진 바탕에서는 묻힌다. 아래에서 확인한다. 가운데 어딘가에 "다른 것" 하나가 숨어 있다. 다른 정도를 키우고, 방해물들을 서로 다르게 흩어 본다.

"다른 정도"보다 "주변이 얼마나 고른가"가 더 큰 몫을 한다는 것을 봤다. 화가들이 초점 하나를 살리려고 나머지를 일부러 고르게, 흐리게, 탁하게 눌러 두는 이유다(ColorBook 7장의 채도 예산과 같은 생각이다). 초점을 만드는 대비의 종류는 많다. 명도, 색상, 채도, 크기, 방향, 윤곽의 날카로움(선명한 것과 흐린 것), 세부의 밀도, 고립(혼자 떨어져 있음), 그리고 뒤에서 볼 얼굴과 글자다. 여러 대비를 한 곳에 겹치면 초점은 강해지고, 여러 곳에 나누면 초점이 흩어진다.

현저성 지도: 단순한 모델 하나

"주변과 다른 곳에 눈이 간다"는 생각을 계산으로 옮긴 것이 현저성 지도(Saliency map)다. 크리스토프 코흐와 시몬 울만(Christof Koch & Shimon Ullman, 1985)이 개념을 제안했고, 로랑 이티, 코흐, 에른스트 니부르(Laurent Itti, Christof Koch & Ernst Niebur, 1998)가 이미지에 바로 돌릴 수 있는 모델로 만들었다. 이미지를 밝기, 색, 방향의 특징 지도로 나눈 뒤, 각 자리가 그 둘레(주변)와 얼마나 다른지를 여러 크기에서 재어 더한다. 그 값이 가장 높은 곳에 첫 고정이 가고, 한 번 본 곳은 잠시 억제되어 다음으로 높은 곳으로 옮겨 간다고 본다(되돌아감 억제(Inhibition of return)).

이 책은 그 생각을 훨씬 단순하게 줄인 모델을 직접 만들어 쓴다. 명도(L*), 색(OKLab의 a, b), 윤곽(명도가 급하게 바뀌는 정도)의 세 지도에서, 각 자리를 작은 창으로 흐린 값과 큰 창으로 흐린 값의 차이를 잰다.

아래 시뮬레이터에서 지도를 작품과 포스터 위에 겹쳐 본다. 번호는 지도의 봉우리를 되돌아감 억제로 차례로 고른 "예측 고정 순서"다. 세 몫을 바꿔 가며, 이 모델이 무엇을 맞히고 무엇을 놓치는지 본다.

이 모델은 "밝고 다른 곳"은 꽤 잘 찾는다. 그러나 사람의 눈이 실제로 머무는 곳과는 자주 어긋난다. 사람은 얼굴과 눈, 글자, 손, 그리고 장면의 "의미"가 있는 곳에 훨씬 많이 머문다. 모란 세르프와 동료들(Moran Cerf et al., 2008)은 저수준 현저성 모델에 얼굴 검출을 더하면 사람의 고정을 더 잘 맞힌다고 보고했고, 존 헨더슨과 테일러 헤이스(John Henderson & Taylor Hayes, 2017)는 사람들이 매긴 "의미 지도"가 현저성 지도보다 고정 위치를 더 잘 설명한다고 보고했다. 또 벤저민 태틀러(Benjamin Tatler, 2007)는 사람들이 그림의 내용과 상관없이 화면 가운데를 더 많이 보는 경향(가운데 쏠림(Central fixation bias))을 보고했다. 시뮬레이터의 "가운데 쏠림" 선택지가 그것이다.

정리하면, 현저성 모델은 "이 화면에서 어디가 시각적으로 시끄러운가"를 점검하는 도구로는 쓸모가 있지만, "사람들이 어디를 볼 것인가"의 답은 아니다. 디자인 도구가 내놓는 "예측 시선 지도"도 대개 이런 모델이나 그 확장이므로 같은 주의가 필요하다.

방향선: 선이 눈을 데려간다

눈은 선을 따라간다. 길, 강, 고랑, 울타리, 팔, 지팡이, 그림자의 가장자리처럼 화면 안의 긴 선이나 길쭉한 모양은 눈을 그 끝으로 데려가는 경향이 있다. 이런 선을 방향선(Leading line)이라고 한다. 실제로 그려진 선만이 아니다. 줄지어 선 나무, 같은 쪽을 보는 사람들, 점점 작아지는 물건처럼 점들이 늘어서도 눈은 그 사이를 이어 선을 만든다(4장의 연속성). 이런 선을 암시선(Implied line)이라고 부른다.

방향선이 가장 강하게 일하는 것은 여러 선이 한 점으로 모일 때다. 밭고랑이나 길이 지평선의 한 점으로 모이면, 그 점은 화면에서 가장 작은 곳이어도 눈을 끌어당긴다. 화가가 거기에 주인공을 두면 선이 초점을 만들어 주고, 엉뚱한 곳에 두면 선과 주인공이 서로 눈을 빼앗는다. 아래 장면에서 선이 모이는 점과 주인공(작은 집)을 끌어 본다.

선이 모이는 곳에 주인공이 있으면 두 힘이 한 곳을 가리킨다. 떨어져 있으면 두 힘이 서로 겨룬다. 겨루는 것이 늘 나쁜 것은 아니다. 길이 빈 지평선으로 사라지고 인물이 길가에 비켜 서 있는 그림은 "아직 가지 않은 길"이라는 이야기를 만든다. 다만 그 겨룸이 의도인지 실수인지는 화면을 만든 사람이 알고 있어야 한다.

시선과 손짓: 화면 속 사람이 보는 곳

방향선 가운데 가장 힘이 센 것은 화면 속 사람(때로는 동물)의 시선과 손짓이다. 우리는 다른 사람이 보는 쪽을 따라 보는 경향이 있다. 크리스 프리즌과 앨런 킹스톤(Chris Friesen & Alan Kingstone, 1998)은 화면 가운데 그린 얼굴의 눈동자가 한쪽을 향하면, 그 방향이 표적의 위치를 전혀 예측하지 못하는데도 그쪽에 나타난 표적에 사람들이 조금 더 빨리 반응한다는 것을 보였다. 이를 시선 단서 효과(Gaze cueing)라고 한다. 그 뒤의 연구들은 화살표 같은 상징도 비슷한 효과를 낸다고 보고해(예: Tipples, 2002), 이 효과가 얼굴에만 특별한지는 지금도 논의된다. 크기는 수십 밀리초 수준의 작은 효과지만, 그림을 보는 몇 초 동안 수없이 되풀이된다.

그림에서 이 힘은 두 가지로 쓰인다. 하나는 주인공을 가리키는 것이다. 여러 인물이 한 사람을 보면 그 사람이 초점이 된다. 다른 하나는 화면 안의 공간을 나누는 것이다. 인물이 보는 쪽에 공간이 남아 있으면 편안하고, 인물이 화면 가장자리를 코앞에 두고 보면 답답하거나 긴장된다. 사진가들은 이 공간을 보는 쪽 여백(Lead room, Looking room)이라고 부른다.

이제 실제 작품을 본다. 자크 루이 다비드의 「소크라테스의 죽음」은 시선과 손짓으로 짜인 그림의 교과서처럼 자주 인용된다. 어두운 감옥에서 빛은 소크라테스의 상체와 흰 옷에 모이고, 그의 오른손은 독배를 향해 뻗고 왼손 검지는 위를 가리킨다.

이 설명은 미술사에서 흔히 하는 "읽기"이고, 이 그림을 본 사람들의 시선을 실제로 잰 결과가 아니다. 그림 속 화살표는 화가가 의도했을 법한 길이고, 실제 관람자는 그 길을 각자의 순서로, 때로는 거꾸로 걷는다. 그래도 이런 읽기는 쓸모가 있다. 무엇이 시선을 모으고 무엇이 끊는지를 말로 짚어 두면, 내 화면에서 그 장치를 쓸지 말지 고를 수 있다.

읽기 방향은 그림을 어느 쪽으로 미는가

왼쪽에서 오른쪽으로 글을 읽는 사람은 그림도 왼쪽에서 오른쪽으로 읽는다는 말을 자주 듣는다. 그래서 "인물은 오른쪽으로 걸어야 앞으로 가는 느낌이 난다", "왼쪽 위에서 시작해 오른쪽 아래로 빠진다" 같은 조언이 따라온다. 근거는 어느 정도일까.

연구 결과는 "약하지만 있는 편향"에 가깝다. 실비 쇼크롱과 마리아 드 아고스티니(Sylvie Chokron & Maria De Agostini, 2000)는 같은 그림과 그 좌우 반전 그림 중 하나를 고르게 했을 때, 프랑스어(왼쪽→오른쪽)를 읽는 사람들은 움직임이 오른쪽을 향하는 쪽을, 히브리어(오른쪽→왼쪽)를 읽는 사람들은 왼쪽을 향하는 쪽을 더 자주 고른다고 보고했다. 비슷한 방향의 결과가 여러 연구에서 나왔지만, 그 크기는 작고 그림과 과제에 따라 달라진다. 한편 읽기 습관과 별개로, 사람들은 선분의 가운데를 찍으라고 하면 조금 왼쪽을 찍는 등 왼쪽 공간에 약간 더 주의를 주는 경향(유사 무시(Pseudoneglect))도 보고되었다. 두 편향이 섞여 있어 "모든 사람은 왼쪽 위에서 시작한다"처럼 단정하기는 어렵다. 웹 화면의 F자·Z자 읽기 패턴의 근거 수준은 12장에서 따로 본다.

동아시아 그림은 이 질문을 더 흥미롭게 만든다. 전통적으로 세로쓰기를 오른쪽 줄부터 읽었고, 두루마리(Handscroll)는 오른쪽에서 왼쪽으로 한 뼘씩 펼치며 본다. 두루마리에서 시간과 이야기는 오른쪽에서 왼쪽으로 흐르고, 화면의 오른쪽 끝이 "처음"이다. 같은 모양의 배가 오른쪽을 향하면 서양식으로 읽는 사람에게는 "나아감"으로, 두루마리를 펼치는 사람에게는 "되돌아옴"으로 읽힐 수도 있다. 방향은 그림 안의 성질이 아니라 그림과 보는 습관 사이의 관계다.

시선 추적 연구가 실제로 보여 준 것

그림 앞의 시선을 처음 정밀하게 기록한 사람으로 자주 꼽히는 이가 소련의 심리학자 알프레드 야르부스(Alfred L. Yarbus)다. 그는 눈에 작은 거울을 붙인 장치로 시선을 기록했고, 그 결과를 묶은 책이 1965년 러시아어로, 1967년 영어로 『눈의 움직임과 시각』(Eye Movements and Vision)이라는 이름으로 나왔다.

가장 널리 알려진 것은 일리야 레핀의 그림 「뜻밖의 방문객」(Unexpected Visitors)을 쓴 기록이다. 오랜 유배(로 해석되는 부재) 끝에 한 남자가 집에 들어서고, 가족들이 놀라 돌아보는 장면이다. 야르부스는 한 관찰자에게 이 그림을 여러 번, 매번 다른 질문과 함께 보여 주었다. 그냥 자유롭게 보기, 가족의 경제 형편 짐작하기, 인물들의 나이 짐작하기, 방문객이 오기 전 가족이 무엇을 하고 있었는지 짐작하기, 옷 기억하기, 사람과 물건의 위치 기억하기, 방문객이 얼마나 오래 떠나 있었는지 짐작하기 같은 질문이다. 기록된 주사 경로는 질문마다 뚜렷이 달랐다. 나이를 물으면 얼굴에, 형편을 물으면 옷과 가구에 고정이 몰렸다. 같은 그림이라도 "무엇을 찾느냐"가 시선을 크게 바꾼다는 이 결과는, 눈이 화면의 대비만 따라가지 않는다는 가장 유명한 증거가 되었다.

이 결과를 읽을 때 기억할 점이 있다. 원래 기록은 사실상 한 사람의 것이었다. 뒤의 연구자들이 여러 사람으로 다시 해 보았는데 결과가 꽤 흥미롭다. 마리앤 드앤젤루스와 제프 펠즈(Marianne DeAngelus & Jeff Pelz, 2009)는 여러 관찰자로 비슷한 실험을 다시 해, 과제에 따라 시선이 달라진다는 큰 결론은 확인했지만 사람마다 차이가 크다고 보고했다. 미셸 그린과 동료들(Michelle Greene et al., 2012)은 시선 기록만으로 그 사람이 어떤 과제를 받았는지 컴퓨터가 맞힐 수 있는지 시험했는데 잘 맞히지 못했다. 반면 알리 보르지와 이티(Ali Borji & Laurent Itti, 2014)는 같은 자료를 다른 방법으로 분석해 우연보다는 잘 맞힐 수 있다고 반박했다. 과제가 시선에 영향을 준다는 것은 분명하지만, 그 영향이 사람마다 얼마나 일정한지, 시선만 보고 마음을 읽을 수 있을 만큼 큰지는 아직 논쟁 중이라는 뜻이다.

아래 시뮬레이터는 이 상황을 장난감처럼 흉내 낸다. 가상의 책방 앞 장면에서, 가상의 관찰자들이 "화면의 현저성"과 "과제와의 관련성"을 섞어 다음 고정점을 고른다. 과제와 개인차를 바꿔 보며 관찰자 여럿의 고정이 얼마나 겹치는지 본다.

시선의 순서를 설계하기

지금까지 본 장치들을 한데 모은다. 시선의 흐름을 설계한다는 것은 정확한 경로를 강요하는 일이 아니라, 대부분의 사람이 대부분의 경우에 거칠 법한 순서의 가능성을 높이는 일이다. 쓸 수 있는 손잡이는 넷이다. 크기와 대비로 첫 고정을 정하고, 가까움으로 다음 고정을 이어 주고, 시선·손짓·방향선으로 다음 자리를 가리키고, 나머지를 고르게 눌러 경쟁자를 줄인다.

아래 종합 시뮬레이터는 책방 E의 가상 낭독회 포스터다. 제목, 그림(등불과 책 읽는 사람), 날짜, 장소의 네 요소를 끌어 옮기고, 고른 요소의 크기와 명도 대비를 바꾼다. 그림 속 인물의 시선 방향도 바꿀 수 있다. 오른쪽 경로는 요소 단위로 줄인 이 책의 모델이 예측한 순서다.

요소를 키우고 밝히면 순서가 앞당겨지고, 가까이 두거나 인물의 시선이 가리키면 다음 차례가 된다. 그러나 모든 것을 앞당길 수는 없다. 한 요소를 키우는 일은 다른 요소를 상대적으로 뒤로 미는 일이다. 순서를 설계한다는 것은 결국 무엇을 뒤에 둘지 정하는 일이다. 그리고 모델의 예측은 출발점일 뿐, 실제 사람 몇 명에게 보여 주고 확인하는 단계가 남는다.

서윤의 작업 노트