나는 세상에 '실험 설계' 전문가들이 이렇게 많은 줄은 최근에 처음 알았다. 최근 종편 JTBC 프로그램 ＜미각 스캔들＞의 햄버거 관련 방영으로 벌어진 논란에서 너도나도 실험 설계 실험 설계 대조군 대조군 해서 알게 된 사실이다. 그런데 그런 말을 제대로 알고들 하는 것 같지 않아서, 딱하다는 생각을 지울 수가 없다.
이른바 '실험 설계'는 실험 방식으로 이루어지는 연구(experimental design)를 구체적으로 어떻게 구상하고 수행하는가 하는 문제다. 이것은 1) 연구 목적이나 연구 문제로부터 변수들을 설정하고, 2) 이 변수들 간의 관계가 증명될 수 있도록 통제된 상황에서 일정한 처치(treatment)를 가하는 과정으로 집약할 수 있다. 여기에는 시료의 선정과 준비, 다른 요인의 통제 방법, 처치를 가하는 방법 같은 구체적인 내용들이 모두 포함된다.
실험을 수행하는 구체적인 방식에서 모든 연구에 다 적용될 수 있는 왕도와 같은 디자인이 있는 것은 아니다. 실험을 어떻게 설계할 것인가는 전적으로 연구 목적에 달려 있으며, 그에 따라 얼마든지 다른 설계가 가능하다. 이를테면 햄버거 재료에서 채취한 시료의 안전성을 조사하기 위한 실험 디자인에는 연구자에 따라, 또 검증하고자 하는 변수들에 따라 다양한 방법이 사용될 수 있다는 말이다.
그러나 그것이 실험인 한, 공통적으로 충족해야 할 조건들이 몇 가지 있다. 이를테면 1) 독립 변수와 종속 변수가 확정되어야 한다, 2) 처치 전과 후의 값이 측정되어야 한다, 3) 실험 그룹과 통제 그룹(이른바 대조군)이 존재해야 한다 등이다. 이런 조건들이 충족되지 않으면 연구를 위한 실험으로는 결격 사유가 된다.
여기까지는 좋다.
그런데 좀더 기초적이고 초보적인 이슈가 있다. 과학적 진실을 추구하는 연구 방법에는 실험만 있는 것이 아니라는 너무나 당연한 사실이다. 실험은 연구 문제에 답하기 위한 여러 연구 방법 중 하나일 뿐이다. 관찰, 측정이나 계측 같은 것도 상황에 따라 모두 주요한 연구 방법으로 사용된다. NASA에서 허블 망원경을 통해 행성의 지표를 탐구하는 연구를 수행한다고 치자. 이를 보고 실험이라고 하는 사람은 없고, 실험이 아니기 때문에 이 과학자들이 과학은 안 하고 오락이나 하고 있다고 보는 사람도 없다. 동물학자가 아프리카에서 침팬지의 행태를 관찰하며 연구를 진행한다고 치자. 이걸 보고 실험이라고 하는 사람도 없다. 그래도 이들은 여전히 과학 연구 작업에 종사하고 있는 것이다. 입자 가속기 안에서 벌어지는 현상을 관찰하는 물리학자가 하는 일도 분명한 과학이고 연구다. 관찰이나 측정은 실험 방식으로 진행하는 연구의 한 부분이기도 하지만, 그 자체로 독립적인 연구 방법이기도 하다는 말이다.
동물 실험을 끔찍히 싫어하는 제인 구달은 과학 안 하고 놀고 있나
뿐만 아니라 사회과학이라면 여기에 설문 조사 연구(survey), 내용 연구(content analysis) 같은 양적 연구는 물론이고 참여 관찰(participatory observation), 집중 면접(in-depth interview), 포커스 그룹(focus group) 같은 질적 연구들이 모두 포함된다. (남들 다 아는 영어를 구태여 함께 쓰는 것은 잘난 척 하기 위해서가 아니라, 뜻을 명확하게 하고 더 나아가 의문이 드는 분들은 찾아보라고 하는 뜻이다.)
이렇게 많은 연구 방법 중에서 무엇을 선택할 것인가는 다시 전적으로 연구 목적과 문제의 성격에 달려 있다.
그럼 실험 방식은 언제 쓰이는가. 대개 인과 관계를 증명해야 할 때 실험 방법이 사용된다. 그 이유는 통제된 형태로 연구가 수행되기 때문에 다른 요인(변수)들의 개입을 차단할 수 있기 때문이다. 더 나아가, 사회과학이든 자연과학이든 중요한 임무 중 하나가 '왜?'에 대한 대답을 찾아 내는 것이기 때문에, 인과성을 증명할 수 있는 실험 방식이 널리 사용되는 대표적인 연구 방법인 것은 분명하다.
지금까지 한 이야기를 정리하면 다음과 같다:
1. 연구 방법은 연구 목적에 따라 결정된다.
2. 실험은 많은 연구 방법 중 하나다.
3. 실험은 인과성을 증명할 수 있는 방법이다.
4. 실험에서는 변수 확정, 처치 전후의 측정, 통제 그룹 같은 조건이 충족되어야 한다.
통제 그룹, 이른바 대조군은 이처럼 일정한 처치를 하며 인과 관계를 검증하는 방식의 연구, 즉 실험 연구에서 관심 독립 변수만의 영향을 분리해 알아보기 위해, 모든 조건은 같고 아무런 처치를 하지 않았다는 점만 다른 비교 그룹을 설정한 것이다.
5. 대조군은 실험 연구에서 독립 변수의 영향을 측정하기 위해 설정한 비교 그룹이다.
이상에서 이야기한 '실험'이라는 말은 엄밀한 연구 방법 중 하나로서의 실험이다. 그러나 우리는 일상적으로 흔히 실험이라는 말을 쓸 뿐 아니라, 과학 연구를 하는 공간 안에서 벌어지는 연구 활동을 통틀어 실험이라고 부르기도 한다. 말하자면, 실험이 아닌 것도 흔히 실험이라고 통칭한다는 뜻이다. 예컨대 특정한 한 액체에 열을 가하며 어떠한 반응이 벌어지는가를 살피며 관찰하는 일(observation)도 '실험을 한다'라고 말한다. 이 때 '실험'은 위에서 말한 2~4의 의미, 즉 연구 방법으로서의 experiment가 아니라, 연구(research)나 조사(investigation), 검사나 시험(test) 같은 넓은 의미로 쓰이는 말이다.
우리말 '실험'을 이런 의미로 쓰는 경우는 아주 흔하게 찾아볼 수 있는데, 이러한 혼동은 한자어 실험(實驗), 즉 뭔가를 실제로 해본다는 뜻에서 비롯된 게 아닐까 싶다. 영어권에서도 일반인들이 뭔가 실제로 시도해 보았다는 의미로 experiment를 했다고 하는 경우가 없지 않지만, 연구자들이 이런 뜻으로 이 말을 쓰는 경우는 드물다. 그런 경우는 '테스트를 했다' '리서치를 한다'라는 말을 쓴다. (물론 과학 영역에서 '실제로 해 보고 관찰했다'는 뜻으로 실험이라는 말을 쓰는 경우가 아주 없지는 않다. 러더퍼드의 산란 실험 같은 것이 대표적인 경우일 것이다.)
뿐만 아니라, 우리는 연구 공간, 특히 자연과학에서 사용되는 연구 공간을 통칭 '실험실(laboratory)'이라고 부른다. 그러나 실험실 안에서는 실험만 이루어지는 것은 아니다. 원래 laboratory는 실험을 포함한 모든 과학 연구 작업이 이루어지는 공간을 통칭하는 말이다. 정확히 말하자면 실험실이 아니라 연구실, 혹은 실습실이라고 해야 옳을 것이다. 컴퓨터를 늘어놓고 누구나 와서 쓸 수 있는 공간도 laboratory이라고 하고, 대학 수업에서 정규 수업에 추가로 붙는 실습 시간도 laboratory이라고 한다. 모두 실험과는 거리가 있다. 그런데 한국어는 연구실 하면 교수 방(office)이나 서재(library)를 의미하는 것으로 인식하고, 실습실 하면 요리 학원에서 빵이나 구워보는 곳으로 폄하하는 의식이 있어서 그런지 몰라도, laboratory를 무조건 '실험실'이라고 번역하고 그렇게 부른다.
6. 실험이라는 말은 연구/조사를 통칭하는 넓은 의미로도 널리 쓰인다.
이렇게 '실험'이라는 말이 뭔가 과학스러운 것을 통틀어 표현하는 것으로 인식되다보니, 과학스러운 각종 장치들이 들어찬 공간에서 벌어지는 과학스러운 일은 모두 실험이라고 착각하고, 따라서 실험이라는 특정한 연구 방법에 적용되어야 하는 기준을 언제나 만족시켜야 하는 것으로 오해하는 게 아닌가 하는 어이없는 추정을 하게 된다. 그러지 않고서야, 연구 목적상 전혀 필요하지도 않은 '대조군'을 내놓으라고 하는 주장을 이해할 수가 없다. 위에서 말한 러더퍼드의 산란 실험도 '실험'이라는 말을 쓰지만, 대조군 따위는 전혀 없다. 확률 이론에서도 실험이라는 말을 흔히 쓰지만, 대조군은 없다. 서베이 데이터로 쓴 논문보고 대조군이 없다고 비판할 텐가.
7. 넓은 의미로 실험이라는 말을 쓰는 연구에서는 대조군이 필요하지 않는 경우도 흔하다.
대조군을 내놓아라 그렇지 않으면 구워서 먹으리
＜미각 스캔들＞이 수행한 햄버거 조사는 몇 단계의 과정으로 이루어져 있다. 그 중 가장 핵심이 되는 것은 연구 방법으로서의 실험이 아니라, 단일 성격의 시료(패스트푸드 햄버거)에 대해 세균 배양 검사를 실시하고 그 결과를 관찰해 리포팅한 것이다. 이것은 흔히 말하는 넓은 의미로서의 실험으로 볼 수 있고, 방송 진행자들도 상투적으로 그렇게 말하고 있다. (이 프로그램의 내용을 보도한 ＜중앙일보＞ 기사는 '세균 배양 검사'라고 정확히 표현하고 있다). 그러나 이것은 인과 관계를 검증해 내려는 실험이 아니며, 더구나 그런 관계를 다른 집단에 비추어 찾아내는 목적을 갖고 있지 않기 때문에 통제 집단, 이른바 대조군이 필요할 이유가 전혀 없다. 이것은 식약청에서, 시판되는 제과업체 빙과류의 안전성을 조사하기 위해 샘플링을 하여 세균 측정을 하고 과다하게 나온 제품에 대해 관계 당국에 고발하는 방식과 비슷하다고 볼 수 있다. 베스킨라빈스 아이스크림을 대조군으로 하여 함께 조사하지 않았다고 해서 빙과류 조사 결과가 무의미한 것이 되지는 않는다.
만일 ＜미각 스캔들＞이 패스트푸드 햄버거에 든 방부제 X의 영향은 무엇인가(=연구 문제)에 대한 대답을 추구하면서 '패스트푸드 햄버거에 든 방부제 X가 비정상적인 세균 억제를 초래한다'라는 가설을 세웠다면, 이것은 인과 관계를 검증해 내려는 시도이기 때문에 당연히 특정한 연구 방법으로서의 실험 방식을 써야 하고 통제 그룹도 필요하다. 위의 검사와 그 접근법에서 얼마나 차이가 나는지 쉽게 알 수 있을 것이다.
8. ＜미각 스캔들＞이 수행한 '실험'은 통칭으로서의 실험일 뿐 연구 방법 중 하나로서의 실험이 아니며, 대조군이 무의미하다.
그런데도 이 방영분을 비판하는 사람들은 계속 실험 설계와 대조군을 읊고 있으며, 그것을 들어 해당 프로그램 내용을 (아마 대부분 보지도 않고) 폄하하고 있다. 이 프로그램이 비판을 받아야 할 부분이 분명히 있지만, 그게 '실험 설계'와 '대조군' 때문은 아니라는 게 내 생각이다. 사실 이런 억지 주장 대부분은 프로그램을 보지 않은 데서 나왔다고 생각한다. 즉 ＜미각 스캔들＞의 '실험'이 다단계로 구성되어 있고 개개 테스트에서 연구 문제가 각기 다르게 설정되어 있다는 점을 제대로 이해하지 못한 채, 그저 '햄버거는 썩지 않는다'라는 낡은 주장을 다시 입증하려 한 것으로 뭉뚱그려 본 데서 나왔다는 말이다.
비슷한 다른 예를 들어 보자. ＜미각 스캔들＞은 몇 주 전에 방영된 '양-대창의 진실' 편에서, 시판하는 소의 대창에 기름이 얼마나 들어있나(=연구 문제)를 알아보기 위해 요리하기 전의 무게를 재고, 요리해서 기름을 빼고 난 뒤의 무게를 재는 '실험'을 해 본다. 그렇게 해서 데이터가 나왔다. 이런 조사에 대해 대조군이 없다고 아무런 가치가 없다고 할 것인가. 대조군은 전혀 필요하지도 않은 '실험'인 것이다. 만일 대창을 구울 때 온도가 기름양에 어떤 영향을 미치는가(=연구 문제)를 규명할 경우(독립 변수=온도, 종속 변수=기름양)라면 온도 차이를 둔 대조군이 필요할 것이다(이 경우에도 정확히 말하면 대조군이 아니다. 같은 대상을 처치 수준을 다르게 하여(varying treatment level) 진행하는 실험일 뿐이다). 연구 목적은 고려하지도 않은 채 그저 '실험'이라는 말에만 매달려서, 있을 수도 없고 필요하지도 않은 대조군을 내놓으라고 하는 것은 무리라고밖에 표현하기가 어렵다. (한편 ＜미각 스캔들＞은 이 대창 기름 조사에서 처음 무게가 200g, 구워서 기름을 빼고 난 뒤의 무게가 44g이 나오자, 기름이 4분의 3이나 차지한다고 말했다. 그러나 여기에는 당연히 수분 증발분이 포함되어 있다. 이런 점은 얼마든지 비판할 수 있다.)
물론 ＜미각 스캔들＞이 햄버거 세균 조사에서 이를테면 '수제 햄버거'를 포함시켜서 함께 조사하고 그 결과 패스트푸드 햄버거와 다른 결과가 나왔다면 ＜미각 스캔들＞의 시험은 또다른 발견을 획득하였을 것이다. ＜미각 스캔들＞의 조사 진행 과정을 보면, 이것은 필요하지 않아서, 즉 연구 목적이 아니라서 제외한 것임을 쉽게 알 수 있다. 만일 다른 연구자가 이 점을 선행 연구의 한계로 보고(모든 연구는 나름의 한계를 갖는다) 이에 문제의식을 갖는다면, 이를 보완한 시험을 스스로 해 보고 그 결과로써 원래의 결론을 반박하든가 아니면 새로운 사실을 추가하면 된다. 이게 앎의 세계를 넓혀가는 과학의 게임 과정이다. 해 보지도 않고 엉뚱하게도 필요하지도 않은 조건을 요구하며 조사 결과를 무의미하다고 일축하는 것은 과학도 아니고 상식도 아니다.
대중 시청자를 대상으로 한 몇십 분짜리 방송에서 여러 가지 방식으로 수행해 본 내용을 두고 실험 조건을 다 내놓으라고 하는 사람들도 있더만. 이게 상식적인 이야기인지 진정 궁금하다. 입만 열면 고등학교에서 다 배우는 것이라고 하던데, 요즘 고등학교는 과학만 가르치고 상식은 가르치지 않는가 하는 강한 의심이 들지 않을 수 없다.
다시 말하지만, 나는 ＜미각 스캔들＞의 시도와 결론이 모두 옳다고 말하는 것이 아니며, 햄버거가 방부제 덩어리라고 말하는 것도 아니다. 그에 대한 비판이 초점을 잘못 잡았음을 지적하는 것이다.
※ 제인 구달 이미지: 이곳, 인간-개 텔레파시 이미지: 이곳
이른바 '실험 설계'는 실험 방식으로 이루어지는 연구(experimental design)를 구체적으로 어떻게 구상하고 수행하는가 하는 문제다. 이것은 1) 연구 목적이나 연구 문제로부터 변수들을 설정하고, 2) 이 변수들 간의 관계가 증명될 수 있도록 통제된 상황에서 일정한 처치(treatment)를 가하는 과정으로 집약할 수 있다. 여기에는 시료의 선정과 준비, 다른 요인의 통제 방법, 처치를 가하는 방법 같은 구체적인 내용들이 모두 포함된다.
실험을 수행하는 구체적인 방식에서 모든 연구에 다 적용될 수 있는 왕도와 같은 디자인이 있는 것은 아니다. 실험을 어떻게 설계할 것인가는 전적으로 연구 목적에 달려 있으며, 그에 따라 얼마든지 다른 설계가 가능하다. 이를테면 햄버거 재료에서 채취한 시료의 안전성을 조사하기 위한 실험 디자인에는 연구자에 따라, 또 검증하고자 하는 변수들에 따라 다양한 방법이 사용될 수 있다는 말이다.
그러나 그것이 실험인 한, 공통적으로 충족해야 할 조건들이 몇 가지 있다. 이를테면 1) 독립 변수와 종속 변수가 확정되어야 한다, 2) 처치 전과 후의 값이 측정되어야 한다, 3) 실험 그룹과 통제 그룹(이른바 대조군)이 존재해야 한다 등이다. 이런 조건들이 충족되지 않으면 연구를 위한 실험으로는 결격 사유가 된다.
여기까지는 좋다.
그런데 좀더 기초적이고 초보적인 이슈가 있다. 과학적 진실을 추구하는 연구 방법에는 실험만 있는 것이 아니라는 너무나 당연한 사실이다. 실험은 연구 문제에 답하기 위한 여러 연구 방법 중 하나일 뿐이다. 관찰, 측정이나 계측 같은 것도 상황에 따라 모두 주요한 연구 방법으로 사용된다. NASA에서 허블 망원경을 통해 행성의 지표를 탐구하는 연구를 수행한다고 치자. 이를 보고 실험이라고 하는 사람은 없고, 실험이 아니기 때문에 이 과학자들이 과학은 안 하고 오락이나 하고 있다고 보는 사람도 없다. 동물학자가 아프리카에서 침팬지의 행태를 관찰하며 연구를 진행한다고 치자. 이걸 보고 실험이라고 하는 사람도 없다. 그래도 이들은 여전히 과학 연구 작업에 종사하고 있는 것이다. 입자 가속기 안에서 벌어지는 현상을 관찰하는 물리학자가 하는 일도 분명한 과학이고 연구다. 관찰이나 측정은 실험 방식으로 진행하는 연구의 한 부분이기도 하지만, 그 자체로 독립적인 연구 방법이기도 하다는 말이다.
뿐만 아니라 사회과학이라면 여기에 설문 조사 연구(survey), 내용 연구(content analysis) 같은 양적 연구는 물론이고 참여 관찰(participatory observation), 집중 면접(in-depth interview), 포커스 그룹(focus group) 같은 질적 연구들이 모두 포함된다. (남들 다 아는 영어를 구태여 함께 쓰는 것은 잘난 척 하기 위해서가 아니라, 뜻을 명확하게 하고 더 나아가 의문이 드는 분들은 찾아보라고 하는 뜻이다.)
이렇게 많은 연구 방법 중에서 무엇을 선택할 것인가는 다시 전적으로 연구 목적과 문제의 성격에 달려 있다.
그럼 실험 방식은 언제 쓰이는가. 대개 인과 관계를 증명해야 할 때 실험 방법이 사용된다. 그 이유는 통제된 형태로 연구가 수행되기 때문에 다른 요인(변수)들의 개입을 차단할 수 있기 때문이다. 더 나아가, 사회과학이든 자연과학이든 중요한 임무 중 하나가 '왜?'에 대한 대답을 찾아 내는 것이기 때문에, 인과성을 증명할 수 있는 실험 방식이 널리 사용되는 대표적인 연구 방법인 것은 분명하다.
지금까지 한 이야기를 정리하면 다음과 같다:
1. 연구 방법은 연구 목적에 따라 결정된다.
2. 실험은 많은 연구 방법 중 하나다.
3. 실험은 인과성을 증명할 수 있는 방법이다.
4. 실험에서는 변수 확정, 처치 전후의 측정, 통제 그룹 같은 조건이 충족되어야 한다.
통제 그룹, 이른바 대조군은 이처럼 일정한 처치를 하며 인과 관계를 검증하는 방식의 연구, 즉 실험 연구에서 관심 독립 변수만의 영향을 분리해 알아보기 위해, 모든 조건은 같고 아무런 처치를 하지 않았다는 점만 다른 비교 그룹을 설정한 것이다.
5. 대조군은 실험 연구에서 독립 변수의 영향을 측정하기 위해 설정한 비교 그룹이다.
이상에서 이야기한 '실험'이라는 말은 엄밀한 연구 방법 중 하나로서의 실험이다. 그러나 우리는 일상적으로 흔히 실험이라는 말을 쓸 뿐 아니라, 과학 연구를 하는 공간 안에서 벌어지는 연구 활동을 통틀어 실험이라고 부르기도 한다. 말하자면, 실험이 아닌 것도 흔히 실험이라고 통칭한다는 뜻이다. 예컨대 특정한 한 액체에 열을 가하며 어떠한 반응이 벌어지는가를 살피며 관찰하는 일(observation)도 '실험을 한다'라고 말한다. 이 때 '실험'은 위에서 말한 2~4의 의미, 즉 연구 방법으로서의 experiment가 아니라, 연구(research)나 조사(investigation), 검사나 시험(test) 같은 넓은 의미로 쓰이는 말이다.
우리말 '실험'을 이런 의미로 쓰는 경우는 아주 흔하게 찾아볼 수 있는데, 이러한 혼동은 한자어 실험(實驗), 즉 뭔가를 실제로 해본다는 뜻에서 비롯된 게 아닐까 싶다. 영어권에서도 일반인들이 뭔가 실제로 시도해 보았다는 의미로 experiment를 했다고 하는 경우가 없지 않지만, 연구자들이 이런 뜻으로 이 말을 쓰는 경우는 드물다. 그런 경우는 '테스트를 했다' '리서치를 한다'라는 말을 쓴다. (물론 과학 영역에서 '실제로 해 보고 관찰했다'는 뜻으로 실험이라는 말을 쓰는 경우가 아주 없지는 않다. 러더퍼드의 산란 실험 같은 것이 대표적인 경우일 것이다.)
뿐만 아니라, 우리는 연구 공간, 특히 자연과학에서 사용되는 연구 공간을 통칭 '실험실(laboratory)'이라고 부른다. 그러나 실험실 안에서는 실험만 이루어지는 것은 아니다. 원래 laboratory는 실험을 포함한 모든 과학 연구 작업이 이루어지는 공간을 통칭하는 말이다. 정확히 말하자면 실험실이 아니라 연구실, 혹은 실습실이라고 해야 옳을 것이다. 컴퓨터를 늘어놓고 누구나 와서 쓸 수 있는 공간도 laboratory이라고 하고, 대학 수업에서 정규 수업에 추가로 붙는 실습 시간도 laboratory이라고 한다. 모두 실험과는 거리가 있다. 그런데 한국어는 연구실 하면 교수 방(office)이나 서재(library)를 의미하는 것으로 인식하고, 실습실 하면 요리 학원에서 빵이나 구워보는 곳으로 폄하하는 의식이 있어서 그런지 몰라도, laboratory를 무조건 '실험실'이라고 번역하고 그렇게 부른다.
6. 실험이라는 말은 연구/조사를 통칭하는 넓은 의미로도 널리 쓰인다.
이렇게 '실험'이라는 말이 뭔가 과학스러운 것을 통틀어 표현하는 것으로 인식되다보니, 과학스러운 각종 장치들이 들어찬 공간에서 벌어지는 과학스러운 일은 모두 실험이라고 착각하고, 따라서 실험이라는 특정한 연구 방법에 적용되어야 하는 기준을 언제나 만족시켜야 하는 것으로 오해하는 게 아닌가 하는 어이없는 추정을 하게 된다. 그러지 않고서야, 연구 목적상 전혀 필요하지도 않은 '대조군'을 내놓으라고 하는 주장을 이해할 수가 없다. 위에서 말한 러더퍼드의 산란 실험도 '실험'이라는 말을 쓰지만, 대조군 따위는 전혀 없다. 확률 이론에서도 실험이라는 말을 흔히 쓰지만, 대조군은 없다. 서베이 데이터로 쓴 논문보고 대조군이 없다고 비판할 텐가.
7. 넓은 의미로 실험이라는 말을 쓰는 연구에서는 대조군이 필요하지 않는 경우도 흔하다.
＜미각 스캔들＞이 수행한 햄버거 조사는 몇 단계의 과정으로 이루어져 있다. 그 중 가장 핵심이 되는 것은 연구 방법으로서의 실험이 아니라, 단일 성격의 시료(패스트푸드 햄버거)에 대해 세균 배양 검사를 실시하고 그 결과를 관찰해 리포팅한 것이다. 이것은 흔히 말하는 넓은 의미로서의 실험으로 볼 수 있고, 방송 진행자들도 상투적으로 그렇게 말하고 있다. (이 프로그램의 내용을 보도한 ＜중앙일보＞ 기사는 '세균 배양 검사'라고 정확히 표현하고 있다). 그러나 이것은 인과 관계를 검증해 내려는 실험이 아니며, 더구나 그런 관계를 다른 집단에 비추어 찾아내는 목적을 갖고 있지 않기 때문에 통제 집단, 이른바 대조군이 필요할 이유가 전혀 없다. 이것은 식약청에서, 시판되는 제과업체 빙과류의 안전성을 조사하기 위해 샘플링을 하여 세균 측정을 하고 과다하게 나온 제품에 대해 관계 당국에 고발하는 방식과 비슷하다고 볼 수 있다. 베스킨라빈스 아이스크림을 대조군으로 하여 함께 조사하지 않았다고 해서 빙과류 조사 결과가 무의미한 것이 되지는 않는다.
만일 ＜미각 스캔들＞이 패스트푸드 햄버거에 든 방부제 X의 영향은 무엇인가(=연구 문제)에 대한 대답을 추구하면서 '패스트푸드 햄버거에 든 방부제 X가 비정상적인 세균 억제를 초래한다'라는 가설을 세웠다면, 이것은 인과 관계를 검증해 내려는 시도이기 때문에 당연히 특정한 연구 방법으로서의 실험 방식을 써야 하고 통제 그룹도 필요하다. 위의 검사와 그 접근법에서 얼마나 차이가 나는지 쉽게 알 수 있을 것이다.
8. ＜미각 스캔들＞이 수행한 '실험'은 통칭으로서의 실험일 뿐 연구 방법 중 하나로서의 실험이 아니며, 대조군이 무의미하다.
그런데도 이 방영분을 비판하는 사람들은 계속 실험 설계와 대조군을 읊고 있으며, 그것을 들어 해당 프로그램 내용을 (아마 대부분 보지도 않고) 폄하하고 있다. 이 프로그램이 비판을 받아야 할 부분이 분명히 있지만, 그게 '실험 설계'와 '대조군' 때문은 아니라는 게 내 생각이다. 사실 이런 억지 주장 대부분은 프로그램을 보지 않은 데서 나왔다고 생각한다. 즉 ＜미각 스캔들＞의 '실험'이 다단계로 구성되어 있고 개개 테스트에서 연구 문제가 각기 다르게 설정되어 있다는 점을 제대로 이해하지 못한 채, 그저 '햄버거는 썩지 않는다'라는 낡은 주장을 다시 입증하려 한 것으로 뭉뚱그려 본 데서 나왔다는 말이다.
비슷한 다른 예를 들어 보자. ＜미각 스캔들＞은 몇 주 전에 방영된 '양-대창의 진실' 편에서, 시판하는 소의 대창에 기름이 얼마나 들어있나(=연구 문제)를 알아보기 위해 요리하기 전의 무게를 재고, 요리해서 기름을 빼고 난 뒤의 무게를 재는 '실험'을 해 본다. 그렇게 해서 데이터가 나왔다. 이런 조사에 대해 대조군이 없다고 아무런 가치가 없다고 할 것인가. 대조군은 전혀 필요하지도 않은 '실험'인 것이다. 만일 대창을 구울 때 온도가 기름양에 어떤 영향을 미치는가(=연구 문제)를 규명할 경우(독립 변수=온도, 종속 변수=기름양)라면 온도 차이를 둔 대조군이 필요할 것이다(이 경우에도 정확히 말하면 대조군이 아니다. 같은 대상을 처치 수준을 다르게 하여(varying treatment level) 진행하는 실험일 뿐이다). 연구 목적은 고려하지도 않은 채 그저 '실험'이라는 말에만 매달려서, 있을 수도 없고 필요하지도 않은 대조군을 내놓으라고 하는 것은 무리라고밖에 표현하기가 어렵다. (한편 ＜미각 스캔들＞은 이 대창 기름 조사에서 처음 무게가 200g, 구워서 기름을 빼고 난 뒤의 무게가 44g이 나오자, 기름이 4분의 3이나 차지한다고 말했다. 그러나 여기에는 당연히 수분 증발분이 포함되어 있다. 이런 점은 얼마든지 비판할 수 있다.)
물론 ＜미각 스캔들＞이 햄버거 세균 조사에서 이를테면 '수제 햄버거'를 포함시켜서 함께 조사하고 그 결과 패스트푸드 햄버거와 다른 결과가 나왔다면 ＜미각 스캔들＞의 시험은 또다른 발견을 획득하였을 것이다. ＜미각 스캔들＞의 조사 진행 과정을 보면, 이것은 필요하지 않아서, 즉 연구 목적이 아니라서 제외한 것임을 쉽게 알 수 있다. 만일 다른 연구자가 이 점을 선행 연구의 한계로 보고(모든 연구는 나름의 한계를 갖는다) 이에 문제의식을 갖는다면, 이를 보완한 시험을 스스로 해 보고 그 결과로써 원래의 결론을 반박하든가 아니면 새로운 사실을 추가하면 된다. 이게 앎의 세계를 넓혀가는 과학의 게임 과정이다. 해 보지도 않고 엉뚱하게도 필요하지도 않은 조건을 요구하며 조사 결과를 무의미하다고 일축하는 것은 과학도 아니고 상식도 아니다.
대중 시청자를 대상으로 한 몇십 분짜리 방송에서 여러 가지 방식으로 수행해 본 내용을 두고 실험 조건을 다 내놓으라고 하는 사람들도 있더만. 이게 상식적인 이야기인지 진정 궁금하다. 입만 열면 고등학교에서 다 배우는 것이라고 하던데, 요즘 고등학교는 과학만 가르치고 상식은 가르치지 않는가 하는 강한 의심이 들지 않을 수 없다.
다시 말하지만, 나는 ＜미각 스캔들＞의 시도와 결론이 모두 옳다고 말하는 것이 아니며, 햄버거가 방부제 덩어리라고 말하는 것도 아니다. 그에 대한 비판이 초점을 잘못 잡았음을 지적하는 것이다.
※ 제인 구달 이미지: 이곳, 인간-개 텔레파시 이미지: 이곳
덧글
2012/05/28 18:56 # 답글
비공개 덧글입니다.deulpul 2012/06/01 14:41 #
2012/05/29 04:51 # 삭제 답글
비공개 덧글입니다.deulpul 2012/06/01 14:41 #
흐린날 2012/05/29 09:40 # 삭제 답글
화.. 감동감동입니다. 속이 후련한 글,
팬을 떼로 부르는 글입니다요.
2012/05/29 12:51 # 삭제 답글
비공개 덧글입니다.mesafalcon 2012/05/29 14:43 # 삭제 답글
내용과는 별도이지만 자연과학은 왜?라는 질문에 대답하는것이 중요한 임무는 아닙니다. 왜라는 질문에 답을 안해도 상관없는것이지요. 오히려 과학은 어떻게? 라는 질문에 답을 추구합니다. 물체는 왜 떨어지는가? 생명체는 어떻게 진화하는가? 등등 말이죠. 심층적으로 들어가면 왜?와 어떻게?의 구분이 모호해지기는 하지만 대부분의 자연과학은 어떻게? 라는 질문에 초점을 맞추고 있습니다.
이런 말씀드리는것은 자연과학에서는 왜라는 질문에 답을 요구하지 않는다라는 것을 말씀드리고 싶어서 입니다.
deulpul 2012/06/01 15:02 #
말씀하신 내용을 간명하게 표현한 것으로 다음과 같은 내용을 참고하면 좋겠습니다. Merrilee H. Salmon이 쓴 과학철학 개론서의 일부입니다. "많은 과학적 설명은 why question이라는 형식으로 통해 요구된다. 딱 부러지게 그런 말을 쓰지 않더라도 이 같은 why question으로 해석되는 경우가 있다. 예를 들어 "무엇이 체르노빌 사건을 일으켰는가?" 혹은 "무슨 이유로 체르노빌 사건이 벌어졌는가?"라는 질문은 "왜 체르노빌 사건이 벌어졌는가?"와 마찬가지 의미다. ... 모든 과학적 설명은 why question에 대한 대답인가? 어떤 학자들은 그렇다고 보고 어떤 학자들은 아니라고 본다. 예를 들면 어떤 과학적 설명은 how possibly question (어떻게 그런 일이 가능한가)에 대한 대답이라는 주장이 있다. 고양이는 어떤 자세로 뛰어내리든 언제나 발을 아래로 하여 땅을 디딘다는 오래 된 주장을 보자. ... 우리는 "고양이가 ... 땅에 떨어질 때 발을 아래로 디디는 일이 어떻게 가능한가?"라고 질문할 수 있다. ... 또 어떤 설명은 how actually question (어떻게 그런 일이 벌어졌는가)의 대답일 수도 있다. ... "거대 포유류는 어떻게 뉴질랜드에 도달하게 되었는가?"와 같은 질문, 혹은 "유전 정보는 어떻게 부모로부터 자식으로 이전되는가?" 같은 질문의 경우다." (<Introduction to the Philosophy of Science>, 1992.)
조금 더 살펴보면, 이것은 아주 간단한 이슈지만 사실 과학철학의 핵심이 되는 문제들 중 하나이며, 그 근원을 돌이켜 보면 시기적으로는 아리스토텔레스에게까지 올라가고, 범주로는 과학철학에서 형이상학, 언어학과 신학으로까지 확대되는 문제임을 알 수 있습니다. 또 학자들도 시기에 따라, 또 자신이 속한 학문적 전통에 따라 다른 대답을 내고 있음을 볼 수 있습니다. 예컨대 연역적이고 법칙론적인 전통(D-N)과 귀납적이고 통계론적인 전통(I-S)은 이 문제와 그 배경이 되는 과학철학의 이슈들에 대해 서로 다르게 보고 있죠. 다른 차원으로 보자면, 과학적 실재론(scientific realism)과 구성적 경험론(constructive empiricism)의 시각 차이라고 볼 수도 있겠습니다. 전자는 세계의 현상에 대한 글자 그대로의 사실적 서술만에 근거한 이론을 제공하는 것이 과학의 목적이라고 보는 데 비해, 후자는 실증적으로 입증할 수 있는 이론을 제공하는 것이 과학의 목적이라고 보지 않습니까.
Why를 강조하는 전통을 잠깐 보면, 현대 과학철학자 중 구성적 경험론의 대표적 학자인 Bas van Fraassen은 '왜'의 문제를 과학의 중심에 올려두는 태도를 갖고 있으며, '과학적 설명에 대한 요구는 'why-question'으로 분석될 수 있으며, 모든 과학적 설명은 이러한 why-question에 대한 대답으로 분석될 수 있다'라고 주장합니다. (<The Scientific Image>, 1980.) Brain Ellis 같은 사람도 비슷한 맥락에서 보고 있고요. ('What science aims to do', in <Images of Science>, 1985.)
또 W. C. Salmon은 "어떠한 사실을 설명한다는 것은 그것의 원인을 규명한다는 말이다"라고 하고, 또 과학적 설명의 범주에 의미(meaning)나 어떻게(how to perform)에 대한 것이 포함되기는 하지만 중심이 되는 것은 왜(why certain phenomena occur)에 대한 대답이라고 합니다. 그는 케플러가 '왜 행성은 항성의 주위를 타원형으로 도는가?'라는 질문에 답하기 위해 노력한 것을 예로 듭니다. 그는 모든 과학적 설명이 인과 관계에 대한 설명을 목표로 하지는 않음을 인정하면서도, 인과 관계에 대한 지식을 넓히는 것이 자연 현상을 설명하고 세계를 이해하기 위한 과학의 중심적 기능이라고 보았습니다. (<Causality and Explanation>, 1998.)
조금 더 위로 올라가면, 수학자 E. W. Hobson은 예측(expectation)의 확실성과 결정론에 대해 검토하면서 "자연과학의 역할이 물리적 현상을 설명하는 것이라는 보편적인 생각은, '설명하다'라는 말이 매우 제한적인 의미로 쓰이지 않는 한 잘못된 것이다. 충분한 인과성과 논리적 필연성이 물리 현상의 세계에 적용되지 않을 경우, 자연과학의 기능은 자연에서 관찰되는 일련의 현상들을 개념적으로 기술하는 것일 뿐이다. 자연과학은 그러한 일련의 현상이 왜 존재하는지에 대해서는 설명(account for)하지 못하며, 따라서 '설명(explanation)'이라는 말을 가장 엄밀하게 사용하자면 자연과학은 물리적 세계에서 벌어지는 현상들을 설명할 수 없다. 그러므로 자연과학은 어떻게(how), 혹은 어떤 법칙에 따라 현상들이 일어나는가를 기술하며, 왜(why) 그런 일이 일어나는가라는 질문에 대답하기는 전적으로 무력(incompetent)하다"라고 합니다. (<Domain of Natural Science>, 1923.)
이에 대해 과학철학자 Ernest Nagel은 "(이와 같은 주장에 따르면) ... 과학이 대답해야 하는 질문은 어떻게(how), 즉 '어떤 형태로(in what manner)'나 '어떤 상황에서(under what circumstances)' 현상들이 일어나고 사물들이 관련되는가이다. 따라서 과학은 기껏해야 종합적이고 정밀한 기술(description)의 체계를 성취할 수 있을 뿐, 설명은 얻을 수 없다고 본다. ... 그러나 (이러한 주장은) '왜'의 질문이 제기할 수 있는 내용이란 오로지 하나라고 가정하는데, 이것은 잘못된 가정이다. ... 이러한 잘못을 입증하는 것은, 실제로 '왜'와 '설명'이라는 단어에 대해 사려깊은 용법이 숱하게 존재하고 있으며 따라서 '왜'라는 질문에 대한 대답을 설명으로 보는 게 전적으로 옳은 수많은 경우가 있다는 점을 제시하는 것으로 충분하다"라고 말합니다. (<The Structure of Sciecne>, 1961.) 여기서 보듯, 이러한 논의의 앞에는 용어의 모호성이라는 문제, 그리고 이러한 모호성을 극복할 필요성을 시사하기도 합니다. '설명'과 '인과 관계'는 물론이고 '왜'와 '어떻게'도 모두 모호하고 중복된 의미를 담고 있기 때문에, 과학철학자들은 이 부분에 대한 개념화에 공력을 쏟기도 하죠(예컨대 Clark Glymour). 이 점은 위에서 말씀하신 "심층적으로 들어가면 왜?와 어떻게?의 구분이 모호해진다"는 것과 관련되는 이야기라고 하겠습니다.
이러한 내용들을 적은 것은, 이 문제가 과학철학의 전통에 따라 다양한 시각으로 볼 수 있는 고전적인 이슈라는 점을 말씀드리기 위해서입니다. 과학철학에 대한 지식이 얕기 때문에 사실은 저도 흐름을 잘 쫓지는 못했습니다.
mesafalcon 2012/06/01 15:14 # 삭제
올려주신 글은 과학을 전공하는 사람인 저에게 매우 많은 도움이 되었습니다.
deulpul 2012/06/03 11:57 #
2012/05/30 10:46 # 삭제 답글
비공개 덧글입니다.deulpul 2012/06/01 15:06 #
재밌네요 2012/05/31 14:37 # 삭제 답글
'＜미각 스캔들＞의 시도와 결론이 모두 옳다고 말하는 것이 아니며, 햄버거가 방부제 덩어리라고 말하는 것도 아니다'라고 쓰고 계시니 이 글의 말하려는 바를 더더욱 모르겠습니다. 그 허접한 실험을 보고 실험 자체의 무용성을 비판하지 않으면 도대체 어떤 것을 초점으로 두고 비판해야 하는지요?
dirtyone 2012/05/31 20:16 # 삭제
처음부터 끝까지 뭐가 허접한 방송인지 설명은 못하는 주제에 건방만 떠는구랴.
제대로 알지도 못하면서 오지랍은 넓어 끼고 싶다면 잘 알고 덤비시오.
그나저나 댁은 뭐하는 사람이오? 자랑질 해 봐요. 디따 부러워 해 주리라. 바라는 게 그거 같은데.
백년 동안 못 푼 수학문제라도 풀었소?
과학천재로 인류의 난제를 해결이라도 했나?
도대체 난 우리나라에 이렇게 건방을 떨만한 인간군상들이 존재하는지도 몰랐네.
겸손이라고는 찾아볼 수 없는 복제품같은 애들이 스멀스멀 기어나와
자신과 다른 생각의 말은 한마디도 못 알아들으면서
똑같은 말을 여러명이 번갈아 복사본처럼 떠들면서
지성인인 척 깝치는 상황이 어이가 없어서 말이야.
이 글의 양대창 부분이 얼마나 차지한다고 산수도 못하는 주제에 과학을 떠벌이고 말야.
됐고.
들풀님의 이 글은 원글만 가지고 하는 말도 아니오, 논쟁에 끼어든 사람들의
억지를 보다보다 쓴 글로 보이오만.
미각스캔들 방송이 어째서 허접하다는 건지, 그 실험방식이 또 어찌하여 허접한 건지
설명하고 그 증명은 실험으로 가져 오시오. 백 날 잘난 이바구는 말고.
deulpul 2012/06/01 15:09 #
Clockoon 2012/05/31 23:56 # 답글
물론 미디어오늘의 비판이 과도함은 사실입니다. 하지만 비단 해당 화가 아니더라도 '실험'이란 방법론을 '과학적인 신뢰의 획득'을 위해 사용했다면, '실험설계'나 '대조군'에 대한 비판은 불가피합니다. 예를 들어 미국인이 '한국에 관광을 와보니 표지판 등에 이상한 영어를 사용하고 있다'라고 비판하는 것이 이상한가요? 그리고 그 비판에 대해 '건방지다'느니 '오지랍이 넓다'느니 하고 비난하는 것이 정상적인 행동인가요?
설사 세균배양에 대한 실험 '결과'가 사실이라 하더라도 그 내용 주변에 덧붙여진 엉터리 실험들은 특정 사실에 대한 의도적인 과장 혹은 왜곡을 위한 것임은 부정할 수 없습니다. 이 부분만은 (그간 써오신 글을 봤을 때) 동의하시리라 믿으며, 저도 그 외의 쓰신 논지에 대해서는 동의합니다.
deulpul 2012/06/01 15:14 #
바루 2012/06/11 22:16 # 삭제 답글
deulpul 2012/06/29 03:13 #