I. 시작하는 말
휴대폰 앱이나 음성 에이전트 혹은 컴퓨터 게임 등에 관심이 있는 분들은 휴먼 컴퓨터 인터랙션 (Human-Computer Interaction, HCI) 이라는 분야에 대해서 들어보셨을 것입니다. 요즘에는 사용자 경험 (User Experience) 이라는 개념이 더 잘 알려져 있는 것 같습니다. 이 글에서는 HCI 분야에 대해서 간략하게 소개해 드리고 버지니아 공대의 제 연구실 (Mind Music Machine Lab) 에서 진행하고 있는 연구들을 예시로 설명 드리려고 합니다.
II. 학제적인 접근
우리 분야의 대표적인 학자인 Don Norman 선생님은 우리가 하는 일을 한 마디로 "Design with Humans in Mind"라고 표현한 바 있습니다. 즉, 인간을 염두에 두고 디자인을 하는 것이라는 말이죠. HCI라는 학문은 인지심리학의 발전과 함께 이론적 토대를 만들어 왔습니다. 인지심리학에서는 인간의 마음에서 일어나는 현상을 일종의 정보처리로 보고 그 처리가 어떤 단계들을 거치고, 각 단계가 어떤 기능을 하는지를 연구합니다. 즉, 사람의 마음을 일종의 컴퓨터처럼 취급하는 것이죠. 이러한 인간에 대한 지식과 자료를 바탕으로 컴퓨터나 시스템을 개발하기 때문에 컴퓨터 과학이나 공학자들도 함께 연구를 합니다. 그리고 이런 인간에 대한 지식과 방법론 및 컴퓨터에 대한 지식과 방법론을 합쳐서 둘 사이를 이어주는 상호작용을 디자인해주는 사람이 필요합니다. 이런 상호작용이 일어나는 곳을 인터페이스(얼굴과 얼굴 사이에서 마주보는 곳)이라고 부릅니다. 따라서, 이 분야에서는 저처럼 심리학을 공부한 사람을 포함해서 컴퓨터 과학, 시스템 공학, 인간 공학, 디자인 등 많은 분야의 전문가들이 함께 일하고 있습니다. 실제로, 제가 공부했던 조지아 공대에서는 이 HCI 분야를 네 가지 트랙에서 공부할 수 있는데요, 공학 심리학, 인터랙티브 컴퓨팅, 산업 디자인, 미디어 아트 등 입니다. 제 커리어도 이런 다양함을 보여줍니다. 저는 지난 번 학교에서는 인지 과학과와 컴퓨터 과학과에 소속되어 있었고, 현재는 산업 공학과 (인간 공학 전공)와 컴퓨터 과학과에서 일하고 있습니다.
이 분야가 우리 삶과 너무나도 밀접한 관련을 가지고 있고, 점점 그 범위가 커져서 광범위한 분야를 포괄하기 때문에 그 전체를 이 짧은 지면에서 설명드리기는 어렵습니다. 한 학기 꼬박 이 과목을 배워도 일부분만 겨우 맛보는 정도 밖에는 되지 않거든요.이 글에서는 제 연구실에서 연구하고 있는 내용들을 몇 가지 소개해 드리겠습니다.
III. Mind Music Machine 연구실의 과제들
저는 크게 두 가지의 연구 주제를 가지고 있습니다. 하나는 사람의 '감정'이고 다른 하나는 '소리'입니다. 앞에서 잠깐 말씀드린 것처럼 HCI는 주로 인간의 인지과정에 중점을 두고 발전해 왔습니다. 하지만, 사람의 인지 처리가 진공 상태에서 일어나는 것이 아니고, 사람의 감정이 인지 처리나 행동에 막대한 영향을 미친다는 연구 결과가 많아지면서 컴퓨터나 기계와의 상호작용에서도 이 부분이 중요한 연구 주제로 떠오르게 되었습니다. 소리는 제 어릴 적부터 관심사였습니다. 저는 노래하는 걸 무척 좋아해서 가수가 되고 싶었거든요. 그래서 연구도 소리에 관한 것을 주로 했고, 박사 과정도 소리 연구를 하는 연구실에서 하게 되었습니다.
이런 연구 주제들을 세 가지 정도의 응용 분야에서 연구하고 있습니다. 첫 번째는 자동차 인터페이스 디자인 연구입니다. 요즘에는 테슬라나 구글처럼 많은 회사들이 자율 주행차에 대해서 연구하고 있죠. 저희 연구실에서도 산업체들과 함께 자율 주행 차량에서의 인터페이스 디자인이나 사용자 경험에 대해서 많은 연구들을 진행하고 있습니다. 그 중에서도 저희 연구실에서는 차량에서의 인공지능 에이전트가 운전자의 감정 상태를 인식해서 그에 맞는 적절한 환경을 제공해줄 수 있는지에 대해서 가장 많은 연구를 진행해 왔습니다. 예를 들면, 다양한 센서의 데이터(음성, 얼굴 표정, 생리 신호, 뇌 신호 등)를 분석해서 운전자의 상태를 추정하고 그에 알맞는 대화를 만들어 나간다거나 적절한 음악을 추천해 준다거나 하는 방식입니다. 혹은 운전자의 이러한 생체 신호나 차량 밖의 풍경들을 실시간으로 음악으로 바꿔주는 연구도 하고 있습니다. 이 자료의 패턴과 소리 신호 간의 대응 함수를 어떻게 디자인 하느냐에 따라 (1)도로 환경에서 어떤 일들이 일어나고 있는지에 대한 정보를 제공해 줄 수도 있고, (2)더 안전한 운전을 할 수 있도록 운전자의 행동에 영향을 줄 수도 있으며, (3)단순히 기분을 바꿔 줄 수도 있을 것입니다.
두 번째 응용 분야는 사람과 로봇의 상호작용(Human-Robot Interaction) 에 대한 연구입니다. 저희 연구실에서 해오고 있는 대표적인 로봇 연구는 자폐가 있는 어린이를 위한 음악 로봇을 디자인하는 프로젝트입니다. 그 정의상 자폐가 있는 사람들은 사회적, 정서적인 의사소통에 어려움을 겪고 있습니다. 그렇다면, 이러한 의사소통에 도움을 주기 위해서 로봇 연구를 하는 것이 과연 효과적일까요? 10년 전만 해도 연구자들은 가능성이 높아 보인다 정도로 말했었는데요, 그 동안 많은 연구 결과들이 이런 가설을 점점 뒷받침해주고 있습니다. 자폐가 있는 분들 중에 많은 수가 사람보다 컴퓨터, 로봇, 혹은 동물과 의사 소통하는 것을 더 선호하는 것으로 알려져 있습니다. 이런 대상들이 더 단순하고, 예측 가능하기 때문이라는 것이 주된 설명입니다. 저희는 공동 연구팀과 함께 여러가지 감각 자극에 대해서 어떻게 반응하는 것이 사회적으로 바람직한 지에 대해서 자폐아들이 로봇을 따라 배울 수 있는 프로그램을 만들었습니다. 또, 자폐 어린이와 자폐가 없는 어린이가 연구자 혹은 로봇과 함께 춤을 추는 게임을 할 때 어떻게 다르게 반응하는지에 대해서도 연구를 했습니다. 저희 연구 결과에서도 자폐아들은 사람보다 로봇에 더 흥미를 느꼈고요(자폐가 없는 어린이들은 로봇보다 연구자와 함께 춤을 출 때 더 많은 상호작용을 보였습니다), 상호작용의 패턴에 있어서도 확연한 차이를 나타냈습니다. 물론, 정서적인 로봇 디자인을 위한 많은 기초적인 연구들을 동시에 진행하고 있습니다. 예를 들어서, 로봇의 생김새나 모양, 정서적인 음성, 비음성적인 소리, 표정, 몸짓 등이 사람들의 로봇에 대한 인식 및 감정에 어떤 영향을 미치는가에 대해서 지속적으로 연구를 진행하고 있습니다. 이러한 각각의 프로젝트에서 자료가 많이 쌓이면 비로소, 어떻게 하면 사람과 정서적인 교감을 잘 할 수 있는 로봇을 만들 수 있을지에 대한 가이드라인을 만들 수 있겠죠. 물론, 로봇이나 인공지능이 꼭 감정을 인식하거나 표현해야만 하는가에 대해 질문해 볼 수 있습니다. 어떤 환경에서 어떤 작업을 할 때 정서적인 교감을 하는 것이 효과적인가에 대해서도 계속 연구를 해야겠죠.
자동차 인터페이스나 로봇 디자인은 연구자들이 많이 연구를 하고 있는 분야인데 반해, 마지막으로 소개해드릴 연구분야는 저희 연구실만의 특색을 잘 보여주는 분야인데요, 바로 예술과 기술의 통합을 추구하는 프로젝트들입니다. 예를 들어, 꼭 누구를 돕거나 특정 기능을 위한 로봇을 디자인하는 것이 아니라, 예술을 하는 도구, 혹은 예술 작품을 함께 만들어가는 동반자로 로봇을 인식하는 것이죠. 이런 프로젝트의 일환으로 저희 연구실에서는 로봇 연극 프로젝트를 몇 년 째 진행하고 있습니다. 로봇과 사람이 함께 연극을 만들어가는 것이죠. 그 중에는 초등학생들이나 중고등생들을 대상으로 과학과 엔지니어링에 대한 관심을 높이기 위한 일환으로 로봇과 예술을 융합한 방과 후 프로그램도 있습니다. 최근에는 버지니아 공대 예술 극장에서 로봇과 최첨단 기술(모션 캡쳐, 140 개의 스피커, 360도 디스플레이 등)을 접목해서 뮤지컬을 만들려고 계획하고 있습니다. 현재는 로봇이 프로그램 된 대로 연기를 할 수도 있고, 리모컨을 이용해서 실시간으로 로봇을 조종할 수도 있습니다. 하지만, 연구를 좀 더 하면 로봇이 상대 배우의 반응에 따라 자율적으로 행동하게 할 수도 있을 것입니다. 물론, 현재 나와 있는 연구 로봇들은 춤을 아주 잘 춥니다. 뮤지컬에 어울리는 캐스팅이죠! 그리고 극장에서 배우들이 제스쳐 인터페이스를 통해서 드론도 함께 춤을 추게 할 수 있고요. 로봇과 드론, 다른 배우들의 동선을 추적해서 실시간으로 음악도 만들어낼 수 있고, 그에 적절한 화면 디자인도 할 수 있습니다. 아주 멋질 것 같죠? 왜 공대에서 연극을 만들고 있는지 궁금해 하실 수도 있을 것 같네요. 공학의 기본적인 목적은 문제 해결일 것입니다. 그리고 이 문제 해결에서의 목표는 (특히 제가 속해 있는 산업공학에서는) 효율적인 답을 찾는 것입니다. 그런데 예술의 목표는 이러한 문제 해결이나 최적화가 아니죠. 오히려 새로운 문제를 만들어 내는 것이 목적입니다. 그래서 더 어렵고 재미나고, 도전해보고 싶은 분야인 것 같습니다. 한 편으로는 예술가들에게 더 재미난 실험을 해볼 수 있도록 새로운 플랫폼을 만들어 준다는 의미도 있습니다.
IV. 마치는 말
이 글에서 제가 강조하고 싶었던 것은 '융합'입니다. 이를 위해서 제가 현재 일하고 있는 분야인 HCI라는 학문을 예시로 소개한 것이고요. 물론, 한 사람이 모든 일을 다 잘 할 필요는 없습니다. 시간과 에너지는 한정 되어 있고, 타고난 능력도 어느 정도는 정해져 있죠. 그리고 아직도 세상에서는 전문성을 강조 합니다. 저도 동의합니다. 본인이 가장 잘 할 수 있는 분야를 선택해서 깊게 공부하고 전문성을 키우는 것이 기본입니다. 위에 말씀드린 모든 프로젝트들은 다 협업 프로젝트입니다. 즉, 자기만의 전문성을 갖춘 후에 다른 분야에 관심을 갖고 누구와 무엇을 함께 할 것인가 고민하면 된다는 것이죠. 융합을 할 수 있는 창의성은 태도에서 나오는 것 같습니다. 가능성에 대한 태도이죠. 어디에서 시작하는가는 그다지 크게 중요하지 않은 것 같습니다. 본인이 설정한 방향을 위해 열린 마음으로 꾸준히 일해 나간다면, 언젠가는 꿈꾸는 일을 이루어 나가실 수 있을 것이라 믿습니다.
소개해 드린 연구에 대해서 더 알고 싶은 분들은 연구실 웹사이트(https://trim.ise.vt.edu) 를 방문해 보시길 권합니다. 그리고 HCI 분야에 대해 질문이 있으신 분들은 이메일(myounghoonjeon@vt.edu) 주세요.