흔히 통계 자료를 분석할 때 사용하는 P값(value)의 위치가 재평가되고 있습니다.
올해 7월 72명의 연구원이 통용적으로 허용되던 P값의 기준(threshold) 값을 낮추자는 목표를 잡았습니다. 9월 18일 다니엘 레킨스(Daniel Lakens)를 비롯한 88명의 연구원들은 이에 "P값의 기준 값을 낮추는 것보다 연구원 자신들이 정한 P값 사용의 정당성에 초점을 맞추는 게 더 나은 해결책"이라고 답변했습니다. 연구원이 데이터를 수집하기 전에 실험의 P값의 기준을 정하고 정당화해야 한다는 겁니다.
P값은 통계의 중요성을 측정하기 위해 지난 수세기 동안 사용됐습니다. 그러다 교육계는 점차 P값의 오용을 걱정하기 시작했습니다. 2015년 한 심리학 저널에선 P값 사용을 전적으로 금지하기도 했습니다.
통계는 귀무 가설(null hypothesis)을 시험하기 위해 사용됩니다. 귀무 가설은 측정하고 있는 현상들이 상관 관계가 없다는 것을 전제로 사용하는 가설입니다.
이 귀무 가설이 참이라는 전제 하에 P값이 작을수록 실험의 결과가 덜 우연적이라는 걸 말해줍니다. P값이 0.05 미만일 경우 통상적으로 통계의 결과를 '통계적으로 중요하다'고 하며 귀무 가설을 기각합니다.
너무 극단적인 적용은 위험해?!
7월 <Nature Human behavior> 저널에 실린 논문에서 연구원들은 P값의 기준을 0.05에서 0.005로 낮추어 사회과학과 생명과학 자료에서 거짓 결론이 도출되는 걸 막자고 주장했습니다. 하지만 네덜란드 아인트호벤 기술대학(Eindhoven University of Technology)의 실험 심리학자 다니엘 레킨스(Daniel Lakens)는 "기준 값을 모든 과학분야에 걸쳐 낮추는 건 매우 극단적”이라고 말했습니다.
일부 연구원들은 P값을 낮추는 게 파일 서랍 딜레마(File drawer problem) 경향을 재촉할 수 있다고 우려를 표합니다. 파일 서랍 딜레마란 출판편향(publication bias)이라고도 하는데요. 부정적 결과가 나온 데이터를 출판하지 않는 것을 말합니다. 또한, 더 엄밀한 P값이 실제로 효과가 존재하지만 존재하지 않는다고 하며 오히려 거짓 결론을 내놓을 수도 있습니다.
텍사스 A&M 대학의 발렌 존슨(Valen Johnson)은 이렇게 되면 "연구원들이 더 엄격한 P값 기준을 사용해야 할 현실적인 장려와 동기가 없다"고 말합니다. "많은 과학자들이 자신들의 연구결과에 대해서 덜 엄격한 기준을 적용할 것"이라고 서던캘리포니아대학(University of Southern California)의 행동 경제학자 다니엘 벤자민(Daniel Benjamin) 교수도 첨언했습니다.
레이큰 역시 P값을 자신들의 연구결과를 정당화 시키는 도구로 남용하는 행동은 부정적으로 평가합니다. 그는 “무분별한 0.05 값의 사용에 대한 인식의 변화는 필요하다”라고 말했습니다.
미국통계협회 총 책임자 로날드 와세르스테인(Ronald Wasserstein)은 증거의 기준으로 구체적인 기준 값을 설정하는 건 “과학에 좋지 않다” 라고 말했습니다.
