효과 크기는 실험적 처치가 종속변수에 얼마나 큰 차이를 미치는지를 재는 잣대라 할 수 있다. 당연히 높은 효과 크기는 연구자들이 바라마지 않는 것이다. 심리학 연구에서 사용되는 효과 크기의 척도로는 cohen`s d, r-square, eta-squared 등이 있는데, 각각에 대한 자세한 설명은 생략하려 한다. R 카테고리를 읽다 보면 아마 이런 개념들과 마주칠 것인데, 계산법과 의미에 대해 설명해 두었으니 필요하면 참조하면 되겠다.

효과 크기는 특히 메타분석(meta-analysis)이라 불리는 통계적 기법에서 주된 분석 대상이 된다. 메타분석은 유사한 주제에 관해 수행된 다양한 연구들의 결론을 종합하여 하나의 결론을 내고자 할 때 쓰는 기법이라 할 수 있는데, 구체적으로는 독립변수의 효과 크기가 얼마나 되는지를 계산하는 기법이다. 당연히 효과 크기가 클수록 독립변수가 종속변수에 행사하는 영향력이 크다는 결론을 내리기 좋다. 이 분석 기법은 게임과 폭력성 연구에 적용되었는데, Ferguson(2007)에서 특히 주된 분석 기법으로 사용되었다.

이 연구는 게임이 공격성에 미치는 효과에 대해 논하였다. 기존의 연구(Anderson 등)에서도 메타분석을 하였는데, 그 연구에서는 효과 크기가 그렇게 크지는 않지만 무시할 수 없는 정도인 것으로 드러났다(r=0.14). 하지만 Ferguson에 따르면 이 수치는 publication bias로 인해 뻥튀기된 수치로, 신뢰할 수 없다. publication bias에 대해서는 다음 링크 참조. 링크

이 bias로 인해 게임이 공격성에 영향을 끼친다는 연구만 많이 출판되고 그렇지 않다는 연구는 거의 출간되지 않는다. 따라서 출간된 연구만을 대상으로 메타분석을 하면 효과크기가 과대추정된다는 것이다. Ferguson은 이를 감안하여 다시 메타분석을 하였는데, 이러한 방식으로 계산된 r값은 0.04 까지 떨어졌으며 이는 매우 미미한 수치에 불과하다. 따라서 게임이 공격성과 관련이 있다는 주장은 신뢰하기 어렵다. (Ferguson에 의하면 오히려 가정폭력이 중요한 변수라고 한다.)

오히려 게임이 인지에 미치는 긍정적 영향(visuospatial capacity)이 메타분석을 통해 robust한 것으로 드러났는데, 이 과정에서도 역시 publication bias가 고려되었다. 그 결과 r=0.49 에서 r=0.36까지 떨어졌으나 여전히 상당히 중요한 변수임을 알 수 있었다. r의 95% 신뢰구간은 (0.23,0.48)로 0을 포함하지 않는다. 따라서 유의수준 .05에서 r=0 이라는 영가설을 기각할 수 있다.

메타분석은 이와 같이 다양한 연구를 종합하는 데 사용될 수 있다는 장점을 갖고 있다. 그러나 메타분석을 할 때 고려되어야 할 주의사항들이 매우 많고, 각종 assumption check가 필요하다고 한다. 따라서 사용하기 매우 까다로운 기법임에 틀림없으며, 사용시 각별한 주의를 기울여야 하는 방법인 것으로 보인다.