제 생각에는 1차적인 체점(절대평가) 혹은 맞은 개수에 대한 응시자 분포를 보고서 2차적으로 점수를 조정하니 독해같은 경우 한문제 틀리더라도 감점량의 회차마다 차이가 상당한것 같습니다.

텝스 analysis 보면 논란이 되던 회차든 아니든 항상 상당히 정규분포에 비슷하게 성적분포가 되어 있는 것을 보실 수 있습니다.

평균성적도 매회차 대강 일정한 범위에서 왔다갔다하구요.

이것을 보면 1차적으로 체점한 성적분포를 2차체점에서 무조건 가장 이상적인 정규분포로 만들어 버리려고 하는것 같습니다.

이를테면, 1월 19일 셤 같은 경우 여기에 올라온 글을 토대로 회귀분석 돌려보면 이 회차의 독해 맞은 개수 평균은 25.66개 정도인것 같습니다.

즉, 이 회차의 응시자 분포가 높은 맞은 개수로 향하게 되는데 이걸 0에서 240이라는 수치 범위에서 가장 이상적은 정규분포로 바꿔 버리려하니 24-26개 맞은 분들의 실제 득점이 120-130이 되게 되는 것 같습니다.

그리고 25개에 반타작 점수를 줘버리고 정규성을 유지하려하니 1월 19일 독해에서 25개 이상 맞은 개수에서는 1문제담 배점이 10 몇점 까지도 올라가게 되는 것 같습니다.

성적 분포에서 볼록한 극점 지점이 정규분포처럼 항상 1개인것은 아닙니다.

볼록한 극점 지점이 2군대인 M자 분포가 될수 있는거고 갑자기 평평한 구간이 나오는 분포가 있을 겁니다.

그런데 이런 분포들이 1차 체점에서 나오게 되고 이를 2차체점에 어거지로 정규분포로 만들어 버린다면 한문제당 배점이 말도 안되게 작을 수도 있고 클 수도 있습니다.



이게 만약 사실이라면 텝스는 왜이런 불합리해보이는 체점방식을 고집할까요?

저는 텝스가 이런 1차 체점의 분포가 응시자 집단의 구성(학력, 나이, 소속에 따른 구성)에 의해 바뀔 수 있다는 것을 별로 고려하지 않고 그저 난이도에만 영향을 받는다고 생각한다고 추측합니다.



시험 체감 난이도가 어떻든 외고생 같은 초월적인 실력자 유입이 많은 회차에서는 상식적으로 맞은개수 분포가 많이 맞은 곳으로 갈 가능성은 농후합니다.

근데 텝스에서는 1차 체점의 분포를 보고 이를 무조건 이번 회차가 쉬웠다라고 판단하게 될겁니다.

반대로 맞은개수 분포가 적게 맞은 개수로 향하게 되면 텝스는 실제 난이도와 상관없이 어렵다고 판단을 할것입니다.

이런 두 경우에 대해서 텝스 입장에서 나름대로의 공정한 체점을 하기 위해서는 1차적인 체점의 분포를 무조건 이상적인 정규분포로 만드는 작업을 하는 것이 최선의 선택일 겁니다.



말이 길었는데 요약하자면,

텝스는 나름의 공정한 체점을 수행하기 위해서 아래와 같은 체점방식을 추구하는 것 같습니다.

1. 맞은개수 or 절대평가로 모집단의 분포를 확인

2. 이 분포 데이터로 해당회차 난이도 평가(모집단 구성에 대한 고려 없이)

3. 이에 따른 2차적인 점수 조정



만약이런 체점방식을 모집단 규모가 매우 큰 토익 같은데서 실행한다면 전혀 문제될 것이 없습니다.

왜냐하면 모집단이 매우크기 때문에 매회차 모집단 구성이 거의 균질하기 때문입니다.

하지만 여러분도 잘 알다시피 텝스는 모집단의 크기 즉 응시자 수가 적기도 하지만 최근에는 이보다 더 줄어든다는 얘기가 돌고 있습니다.

다시말하면, 텝스는 응시자 수가 적어서 매회차 균일한 구성의 모집단을 얻을 수가 없습니다.





전체 내용에 대한 요약입니다.

1. 텝스는 나름의 공정한 체점방식을 유지하려고 하나 응시자수가 매우적어 이 체점방식이 효력이 없다.

2. 그래서 매회차 개인의 성적변화가 심하기도 하고 매회차 1문제당 감점량 차이가 크게 나는 등의 문제들이 발생한다.



제 추측이 맞다면 텝스는 절대평가다, 상대평가 둘중에 하나라고 단정 지을 수없어 이 부분에서는 상당히 좋은 평가방식의 절충안이라고 생각이듭니다.

하지만 응시자들이 실제로 겪는 문제들을 고려할 때 텝스가 좀더 응시자의 정확한 실력을 평가할 수 있는 방식이 필요해보입니다.

여러분은 어떻게 생각하시나요?