KBS한국어능력시험 등급부여 시스템(특허출원 제10-0038483호)은 국어사용능력을 평가하고 등급화하는 방법에 관한 것으로 누적된 응시자 점수와 실제 언어수행능력 사이의 상관관계를 DB로 구축한 후 이를 토대로 등급을 부여하는 메커니즘을 산출하고, 매회 시험마다 다른 문항 특성이 반영되어 등급을 나누는 경계 점수가 연동하는 과학적인 평가 메커니즘에 관한 것입니다.

이는 국어사용능력 평가 점수와 등급이 실제 언어수행능력을 얼마나 예측할 수 있느냐와 관련된 문제로 맞은 개수를 토대로 평가기관이 임의적으로 구분한 등급을 부여하는 기존의 방법과는 달리 체계적인 평가 시스템으로 접근하는 것을 특징으로 합니다.

KBS한국어능력시험 등급부여 시스템은 쉽게 출제된 시험에 응시한 수험생이 자신의 능력보다 높은 등급을 받는 것과, 어렵게 출제된 시험에 응시한 수험생이 자신의 능력보다 낮은 등급을 받는 모순을 해결함은 물론, 동점자라도 변별력이 높은 문항의 정답률이 높은 수험생이 더 높은 등급을 받도록 해야 하는 과제를 해결한 평가 시스템으로 대단위 국어사용능력 평가에 유용하게 활용할 수 있습니다.

언어능력시험의 결과 표시 방식은 크게 등급제와 점수제로 구분할 수 있습니다.

등급제는 수험생의 언어 숙달도의 위계를 미리 몇 개의 등급으로 나누고 해당 등급 수준에 도달해 있는지 여부를 테스트 받도록 하는 제도입니다. 현재 한국어를 모국어로 하지 않는 외국인 및 재외 동포를 대상으로 실시하는 한국어능력시험(한국교육과정평가원)이 이러한 방식을 채택하고 있습니다. 이 시험은 모두 6개의 등급별로 문제를 다르게 출제하여 정답률이 60%(과락 40% 적용)를 넘으면 합격으로 판정을 하는 방식을 취합니다. 수험자가 자신이 응시할 등급을 정하여 응시한 다음 합·불 여부를 판정하는 간단한 시스템이지만, 두 개 등급을 동시에 응시한 응시자가 하위 등급은 불합격한 반면 상위 등급은 합격하는 모순이 발생하는 경우도 있습니다.

표면상 점수제와 등급제를 절충하는 경우도 있습니다. 이 경우는 맞은 개수(원점수)를 토대로 출제기관이 임의적으로 작성한 등급표에 의해 등급을 부여하는 방식입니다. 이는 시험은 점수제로 실시하면서 원점수를 토대로 급간을 구분한 것이기 때문에 결국 점수제로 볼 수 있습니다. 이 방식은 문항의 배점을 달리하는 방식을 통해 변별력을 조절하기 때문에 한 세트를 구성하는 문항들의 난이도에 따라 국어사용능력이 변동하는 모순을 피할 수 없습니다.

점수제는 언어능력을 테스트하는 한 세트의 시험 문제로 특정 언어의 숙달도를 점수로 표시해주는 제도입니다. ETS의 토익과 토플, KBS한국어능력시험(KBS한국방송)이 이러한 방식을 사용하고 있습니다.

2008학년도 대학입학 수학능력시험부터 도입하는 9등급제는 전체 응시자 중에서 수험자의 위치를 산출한 석차백분율을 토대로 등급을 구분하는 방식을 취합니다. 따라서 언어영역의 등급이 국어사용능력의 수준을 의미한다고 볼 수 없으며, 단지 전국 응시자 중에서 어느 정도의 득점을 했는지를 가늠할 수 있을 뿐입니다. 엄밀히 말해서 이는 등급부여 시스템이라고 볼 수 없습니다.

제1단계 준거집단(reference group) 추출

지필검사 방식의 KBS한국어능력시험에 3회 이상 응시한 대단위 응시자 중에서 언어수행능력 평가 데이터베이스(DB)를 구축하기 위해 주기적으로 준거집단(reference group)을 추출합니다. 표본추출 프레임(sampling frame)은 점수 변동이 안정된 응시자를 대상으로 각 점수대별로 고르게 분포하게 구성하고 추출은 단순 무작위 추출을 원칙으로 합니다.

제2단계 언어수행평가

준거집단으로 선정된 응시자를 대상으로 실제 직무와 관련된 말하기 및 쓰기 과제를 부여하여 실제 직무를 수행할 수 있는 언어수행능력을 평가합니다. 과제는 다음과 같이 네 가지 영역으로 구분하며 특정 영역에 종사하는 응시자가 유리하지 않도록 수행 과제를 선정합니다.

구분	과제 영역	과제 사례
쓰기	조건 제시형 과제	기획서 쓰기
	자유 과제	자유 작문
말하기	조건 제시형 과제	설명(프레젠테이션)
	자유 과제	설득(대담)

* 아래 사진은 2007년 2월 KBS연수원에서 실시한 언어수행평가 실시 장면

제3단계 정성지표(등급표) 구안

수행평가 심사관으로 참여한 전문가 집단 협의를 통해 언어수행능력의 성취 수준을 기술하는 정성지표(등급표)를 구안합니다. 언어수행능력 등급표는 하위 단계에 대한 기능의 습득이 상위 단계의 기능 습득으로 발전하는 구조를 취하되 등급별로 성취해야 할 지식 수준과 기능 수준을 구별하여 기술합니다.(이러한 정성지표는 사회적 요구를 반영하여 주기적으로 갱신할 수 있습니다.)

제4단계 언어수행능력 데이터베이스 구축

준거집단의 언어수행능력을 체크리스트로 계량화하여 다수 평가관의 평균점수를 부여합니다. 평가자 간 편차가 큰 점수를 보정하는 과정을 거쳐 다음과 같이 언어수행능력 데이터베이스(DB)를 구축합니다.

관리번호	국어능력시험 점수(990점 만점)			언어수행능력 점수(100점 만점으로 환산)
A-001	3회	4회	5회	쓰기 ①	쓰기 ②	말하기 ①	말하기 ②
	780	810	805	85.33	90.67	78.00	82.33

제5단계 등급처리 부여

이전 단계에서 구축한 정성지표 및 준거집단의 국어능력시험 점수와 언어수행능력시험 점수를 분석하여 선형 방정식을 도출합니다. 결국 지필평가를 통해 취득한 듣기·읽기(Listening and Reading) 능력과 언어수행평가에 해당하는 말하기·쓰기(Speaking and Writing) 사이의 관계를 하나의 식으로 도출하는 것이 이 단계의 핵심입니다. 이러한 과정을 거쳐 전체 응시자의 국어능력시험 점수(990점 만점)에 해당하는 추정 성취도를 도출한 다음 정성지표에 맞게 국어능력 등급을 부여합니다.

등급 간 경계영역 처리 문제

이러한 방식으로 등급 점수가 부여되는 과정에서 민감하게 대두되는 점이 바로 등급 간 경계에 인접한 점수의 처리 문제입니다. 예를 들어 정성지표에서 1등급과 2등급의 경계를 90%로 설정하였다면 경계에 인접한 성취도 89.9%와 90.1%는 성취도의 차이가 단 0.2%에 불과하지만 서로 상이한 등급으로 평가받게 됩니다. 만약 성취도 89.9%를 획득한 수험생이 90.1%를 획득한 수험생보다 변별력이 높은 문항에 대한 정답률이 더 높았다면 이러한 등급 사정은 응시자의 국어능력수준을 정확하게 변별했다고 볼 수 없습니다. 이러한 불합리성을 극복하기 위해서는 특정 점수를 기준으로 ‘칼로 무 자르듯’이 등급을 평정하는 방법을 보완할 다른 방법을 필요로 합니다. 등급 간 경계 영역은 다음과 같이 처리합니다.

제1단계 등급 간 경계영역 설정 및 응시생 추출

등급 간 경계 영역은 전체 응시생의 표준편차를 고려하여 다음과 같이 등급 경계 점수로부터 일정 영역을 걸치도록 선정합니다. 추정 성취도가 이 영역에 속한 수험생들은 문항반응 패턴을 분석하여 경계 영역의 상위 등급인지 하위 등급인지 여부를 판정받습니다.

제2단계 등급 판별 문항(Item for level differentiation: I.L.D) 추출

등급 간 경계 영역에 해당하는 응시생을 판정하기 위하여 출제된 모든 문항을 문항반응이론(IRT)에 의해 난이도(item difficulty)와 변별도(discriminating power)를 산출하고 난이도가 적절한 범위 영역에서 변별도가 높은 문항을 추출합니다.

제3단계 등급 판별 문항(I.L.D) 정답률 산정과 등급 판정

개인별로 등급 판별 문항에 대한 정답률을 계산하여 상위 등급인지 하위 등급인지 여부를 판정하는 방식으로 등급 간 경계에 있는 점수들을 처리합니다. 판정 기준을 정답률 50%를 기준으로 정했다면 다음과 같은 결과를 도출할 수 있습니다.

수험번호	추정 성취도	등급 판별 문항에 대한 정답률	등급
A-1번	91.00	41.67%	2등급
A-2번	89.34	75.00%	1등급
A-3번	89.34	41.67%	2등급

이 등급 판정 결과를 보면 수험번호 A-1번의 추정 성취도는 A-2번보다 1.66이 더 높지만 등급은 오히려 더 낮게 평정되었습니다. 또 추정 성취도가 동일한 A-2번과 A-3번의 등급이 서로 다르게 평정되었음을 알 수 있습니다. 이러한 절차를 통해 수험생에게 배부되는 새로운 성적표는 첨부 내용을 참조하시기 바랍니다.

2009년 1월 23일 KBS한국어능력시험이 국가공인 자격시험으로 공인됨으로 인해 성인 등급과 청소년 등급이 국가공인자격 등급으로 통합되었습니다.

등급	검정기준	비고
1급	전문가 수준의 뛰어난 한국어 사용 능력을 가지고 있음 창조적인 언어 사용능력의 소유자로서 언론인, 방송인, 저술가, 작가, 국어관련교육자, 기획 및 홍보 업무 책임자로서 갖추어야 할 언어 능력을 충분히 갖추고 있음	합격기준은 절대평가가 아닌 KBS가 특허등록한 등급부여 시스템으로 산정함 (특허 제10-0834208호)
2+급	일반인으로서 매우 뛰어난 수준의 한국어 사용능력을 가지고 있음 언론인, 방송인, 저술가, 작가, 국어관련교육자, 기획 및 홍보 업무를 수행할 언어 사용능력을 갖추고 있음
2-급	일반인으로서 뛰어난 수준의 한국어 사용능력을 가지고 있음 언론인, 방송인, 저술가, 작가, 국어관련교육자, 기획 및 홍보 업무를 수행할 기본적인 언어 사용능력을 갖추고 있음
3+급	일반인으로서 보통 수준 이상의 한국어 사용 능력을 가지고 있음 일반 업무를 수행할 수 있는 언어 사용능력을 갖추고 있음
3-급	국어교육을 정상적으로 이수한 일정 수준 이상의 한국어 사용능력을 가지고 있음 일정 범위 내에서 일반 업무를 수행할 수 있는 언어 사용능력을 갖추고 있음
4+급	국어교육을 정상적으로 이수한 수준의 한국어 사용능력을 가지고 있음 일정 범위 내에서 일반 업무를 수행할 수 있는 기초적인 언어 사용능력을 갖추고 있음
4-급	고교 교육을 이수한 수준의 한국어 사용능력을 가지고 있음 일정 범위 내에서 기본 업무를 수행할 수 있는 기초적인 언어 사용능력을 갖추고 있음
무급	국어 사용능력을 위해 노력해야 합니다.

※ 국가공인 자격증은 1급에서 4+급까지 발급

* 성적표 예시

* 자격증 예시