학술논문
한국어 말하기 평가 문항 개발을 위한 영어권 말하기 평가 비교 연구: 주제 및 유형을 중심으로 / A comparative study on English speaking assessments for developing Korean speaking assessment tasks: Focused on topics and types of tasks
Document Type
Dissertation/ Thesis
Author
Source
Subject
Language
Korean
Abstract
Implementing the official TOPIK(Test of proficiency in Korean) speaking assessment in the foreseeable future, the overall purpose of this study was to analyze five types of international language speaking assessments for developing speaking tasks of TOPIK. As part of this purpose, this study particularly focused on analyzing the topics and types of tasks set from the assessments. Four types of English-speaking assessment(IELTS, TOEFL, TOEIC Speaking and OPIc) which are currently being operated in more than 140 countries in the world and one type of Korean-speaking assessment, KPE(Korean proficiency examination) have been selected as the subjects of this study. The source of tasks set from the five assessments were official text books published by the official organizations of each assessment. Prior to analyze the tasks, the analysis criteria of task topics and task types was established respectively. The criteria for analyzing task topics consisted of 17 category groups followed by 92 specific categories on the basis of Van Ek(1990) and Kim(2017). Besides the two literatures, some categories were added under the name of ‘technology development’ in case the category group was able to apply it. Likewise, the analysis criteria for task types was built based on 5 classification of speaking tasks of Brown(2010) and some standards from Luoma(2003). According to the result of analyzing the topics, category group ‘free time, entertainment, culture’ showed the highest frequency in all assessments. Overall, the topics groups were distributed in accordance with their purpose of assessments, but they demonstrated different features in terms of specific topic category. First, in both IELTS and TOEFL which are designed for academic purpose, the category group ‘education’ was set the most, however their distributions within the group were distinct. IELTS asked ‘education’ topic tasks involved ‘technology development’ or ‘society’ while TOEFL set the tasks regarding college lectures which can be sorted as ‘professional field’ in specific category. Second, topics of KPE and OPIc appeared common frequency in category group ‘shopping’, ‘free time, entertainment, culture’ and ‘public place’ since both assessments are designed as general assessments. However, each of the greatest topic frequency was different. KPE had the tasks related with ‘traffic’ and ‘social issue’ topic the most and OPIc showed topics of ‘at home’ and ’kinds of food and beverage’ with the highest frequency. On the other hand, TOEIC Speaking designed with vocational purpose set topics from category group ‘working life’ and related technology use in work place. Furthermore, as a result of task types analyzing, significant difference was not found in the distribution. First of all, IELTS which operates the assessment face to face asked the responsive and interactive speaking tasks to test-takers with open type questions. However, TOEFL largely set extensive and combined speaking tasks requiring test-takers to understand relatively long stretch materials (reading, listening or both). Moreover, responsive and interactive speaking tasks of open type were mainly demanded in OPIc without any given materials as it was originally developed from phone interview, OPI. Finally, KPE that showed the most various types of task, 10 types, suggested materials almost in every single of task. When it comes to compare and analyze the topics and types of task of all designated speaking assessments, this study included not only the 5 assessments but Kim et al. (2017) and Park et al. (2012) for topic and type analysis respectively. That’s because the two literatures worked as the base of designing TOPIK speaking assessment. Thus, it was able to compare the targeted direction of TOPIK speaking assessment with others. Through the comparison and analysis, there were two implication. First, it is necessary to have flexible approaches on task topics. Second, in terms of the number of types in one assessment, it is recommended to refrain from setting excessively diverse types of tasks. To conclude, further studies must be followed based on this study to complement its limitation. First, larger amount of assessment tasks should be analyzed than that of this study. Lastly, the relationship between topic and type of one task ought to be dealt and discussed based on this study.
본 연구는 TOPIK 말하기 문항 개발의 기초 연구로서 총 다섯 가지 국내외 말하기 시험들의 문항을 주제 및 유형을 중심으로 분석하는 데 목적이 있다. 한국어 말하기 시험으로는 KPE(한국어 능력시험)를 연구 대상으로 선정하였고 영어 말하기 시험으로는 전 세계 140여 개국 이상에서 시행되는 IELTS, TOEFL, TOEIC Speaking 그리고 OPIc영어를 연구 대상으로 삼았다. 각 시험별 분석된 문항들의 출처는 각 시험의 주관사가 출판한 공식 기출 문제집과 모의고사 문제집이다. 주제 및 유형 분석에 앞서 본 연구를 위한 분석 기준을 마련하였다. 주제 분석의 기준은 Van Ek 외(1990)와 김중섭 외(2017)를 통합하고 ‘기술 발전’과 같은 새로운 주제를 추가하여 총 17개의 대범주와 92개의 중범주로 구성된 주제 분석 기준을 확립하였다. 유형 분석을 위한 기준은 Brown(2010)이 분류한 다섯 가지 영어 말하기 활동들을 기초로 Luoma(2003)가 제시한 말하기 문항 유형 분류를 참고하여 유형 분석 기준을 세웠다. 주제 분석 결과 모든 시험에서 ‘여가시간·오락·문화’가 높은 빈도로 출제되었다. 전반적으로 시험 목적에 따른 주제 분포가 명확하였으나 세부 주제 양상에 있어서는 차이를 보였다. 우선 학문 목적 말하기 시험인 IELTS와 TOEFL은 공통적으로 ‘교육’ 주제 대범주가 최고빈도로 출제되었으나 세부 주제 양상에서는 차이가 있었다. IELTS는 시험의 후반부에서 ‘교육’을 ‘기술 발전’ 혹은 ‘사회’로 확장시켜 출제하는 반면 TOEFL은 유일하게 전공 수업과 같은 ‘전문분야’ 관련 문항이 출제되었다. 일반 목적 말하기 시험인 KPE와 OPIc은 ‘쇼핑’, ‘여가시간·오락·문화’ 그리고 ‘공적 장소’에서 유사한 주제 분포를 보였다. 그러나 그 외 고빈도 주제 양상에서는 차이를 보였다. KPE는 ‘교통’, ‘사회문제’ 주제에서 많은 문항이 출제되는 반면 OPIc은 ‘가정에서’, ‘음식과 음료의 종류’ 주제의 문항들이 주를 이루며 차이를 보였다. 한편 직업 목적 말하기 시험인 TOEIC Speaking은 ‘직장생활’ 주제에서 가장 많이 출제되었고 현대 기술 관련 주제도 높은 빈도를 보였다. 유형 분석 결과 시험별 목적에 따른 공통된 유형 분포 양상은 찾아볼 수 없었다. IELTS는 면대면 시험 방식을 통해 개방형 반응적·상호작용적 문항들이 출제된 반면 iBT로 진행되는 TOEFL은 수험자가 전문적이고 상대적으로 길이가 긴 자료를 이해하고 답변하게 하는 광범위·독백 말하기 유형과 복합적 말하기 유형이 출제되었다. OPIc은 전화 인터뷰의 형태인 OPI를 iBT형태로 발전시킨 시험이기에 별도의 투입 자료가 없는 개방형 반응적 말하기, 상호작용적 말하기가 주를 이루었다. 한편 분석 대상 중 가장 많은 10가지 유형을 제시한 KPE는 거의 대부분의 문항에서 선택적·상호작용적 투입 자료가 제시되었다. 목적이 동일한 시험도 문제 출제 방식에 따라 유형의 분포가 달랐다. 본 연구는 전체 주제 및 유형 비교에 있어 5종의 연구 대상인 말하기 시험뿐 아니라 제4차 통용 한국어 표준 교육과정의 주제 목록을 담은 김중섭 외(2017)와 국립교육원에서 발표한 TOPIK 문항 개발 보고서인 박동호 외(2012)가 제안한 유형들을 포함하였다. 이를 통해 국내외 말하기 시험 5종과 현 TOPIK 말하기 시험 연구 사이에서 두 가지 시사점을 얻었다. 첫째, 주제에 대한 접근법을 유연하게 할 필요가 있다. 김중섭 외(2017)가 제시한 주제 항목의 등급화나 Van Ek 외(1990)의 다양한 주제 항목에 대한 관점(생활 영역별, 주제 항목 관련 인물, 장소, 사건의 관점)이 필요하다. 둘째, 문항 유형은 시험의 목적에 따라 선택적일 수 있으나 지나친 다양화는 지양할 것을 제안한다. 수험자가 사전에 유형을 인지하고 시험에 임한다 하여도 문항의 유형 자체가 수험자들의 시험 결과에 영향을 미칠 수 있다. 분석 대상이었던 영어 말하기 평가들은 문항 수 대비 문항 유형의 변화가 잦지 않다. 반면 한국어 말하기 시험인 KPE와 TOPIK 말하기 문항 연구인 박동호 외(2012)는 거의 각 문항마다 다른 유형이 적용되었다. 향후 본 연구의 결과를 기초로 다음과 같은 한계점을 보완하여 추가적인 논의가 필요하다. 첫째, 본 연구보다 더 많은 양의 기출·모의고사를 분석 대상으로 삼아 분석해야한다. 둘째, 출제되는 주제와 유형의 연관성이나 특정 주제에 요구되는 말하기 기능을 파악하는 유기적인 문항 특징 분석이 요구된다.
본 연구는 TOPIK 말하기 문항 개발의 기초 연구로서 총 다섯 가지 국내외 말하기 시험들의 문항을 주제 및 유형을 중심으로 분석하는 데 목적이 있다. 한국어 말하기 시험으로는 KPE(한국어 능력시험)를 연구 대상으로 선정하였고 영어 말하기 시험으로는 전 세계 140여 개국 이상에서 시행되는 IELTS, TOEFL, TOEIC Speaking 그리고 OPIc영어를 연구 대상으로 삼았다. 각 시험별 분석된 문항들의 출처는 각 시험의 주관사가 출판한 공식 기출 문제집과 모의고사 문제집이다. 주제 및 유형 분석에 앞서 본 연구를 위한 분석 기준을 마련하였다. 주제 분석의 기준은 Van Ek 외(1990)와 김중섭 외(2017)를 통합하고 ‘기술 발전’과 같은 새로운 주제를 추가하여 총 17개의 대범주와 92개의 중범주로 구성된 주제 분석 기준을 확립하였다. 유형 분석을 위한 기준은 Brown(2010)이 분류한 다섯 가지 영어 말하기 활동들을 기초로 Luoma(2003)가 제시한 말하기 문항 유형 분류를 참고하여 유형 분석 기준을 세웠다. 주제 분석 결과 모든 시험에서 ‘여가시간·오락·문화’가 높은 빈도로 출제되었다. 전반적으로 시험 목적에 따른 주제 분포가 명확하였으나 세부 주제 양상에 있어서는 차이를 보였다. 우선 학문 목적 말하기 시험인 IELTS와 TOEFL은 공통적으로 ‘교육’ 주제 대범주가 최고빈도로 출제되었으나 세부 주제 양상에서는 차이가 있었다. IELTS는 시험의 후반부에서 ‘교육’을 ‘기술 발전’ 혹은 ‘사회’로 확장시켜 출제하는 반면 TOEFL은 유일하게 전공 수업과 같은 ‘전문분야’ 관련 문항이 출제되었다. 일반 목적 말하기 시험인 KPE와 OPIc은 ‘쇼핑’, ‘여가시간·오락·문화’ 그리고 ‘공적 장소’에서 유사한 주제 분포를 보였다. 그러나 그 외 고빈도 주제 양상에서는 차이를 보였다. KPE는 ‘교통’, ‘사회문제’ 주제에서 많은 문항이 출제되는 반면 OPIc은 ‘가정에서’, ‘음식과 음료의 종류’ 주제의 문항들이 주를 이루며 차이를 보였다. 한편 직업 목적 말하기 시험인 TOEIC Speaking은 ‘직장생활’ 주제에서 가장 많이 출제되었고 현대 기술 관련 주제도 높은 빈도를 보였다. 유형 분석 결과 시험별 목적에 따른 공통된 유형 분포 양상은 찾아볼 수 없었다. IELTS는 면대면 시험 방식을 통해 개방형 반응적·상호작용적 문항들이 출제된 반면 iBT로 진행되는 TOEFL은 수험자가 전문적이고 상대적으로 길이가 긴 자료를 이해하고 답변하게 하는 광범위·독백 말하기 유형과 복합적 말하기 유형이 출제되었다. OPIc은 전화 인터뷰의 형태인 OPI를 iBT형태로 발전시킨 시험이기에 별도의 투입 자료가 없는 개방형 반응적 말하기, 상호작용적 말하기가 주를 이루었다. 한편 분석 대상 중 가장 많은 10가지 유형을 제시한 KPE는 거의 대부분의 문항에서 선택적·상호작용적 투입 자료가 제시되었다. 목적이 동일한 시험도 문제 출제 방식에 따라 유형의 분포가 달랐다. 본 연구는 전체 주제 및 유형 비교에 있어 5종의 연구 대상인 말하기 시험뿐 아니라 제4차 통용 한국어 표준 교육과정의 주제 목록을 담은 김중섭 외(2017)와 국립교육원에서 발표한 TOPIK 문항 개발 보고서인 박동호 외(2012)가 제안한 유형들을 포함하였다. 이를 통해 국내외 말하기 시험 5종과 현 TOPIK 말하기 시험 연구 사이에서 두 가지 시사점을 얻었다. 첫째, 주제에 대한 접근법을 유연하게 할 필요가 있다. 김중섭 외(2017)가 제시한 주제 항목의 등급화나 Van Ek 외(1990)의 다양한 주제 항목에 대한 관점(생활 영역별, 주제 항목 관련 인물, 장소, 사건의 관점)이 필요하다. 둘째, 문항 유형은 시험의 목적에 따라 선택적일 수 있으나 지나친 다양화는 지양할 것을 제안한다. 수험자가 사전에 유형을 인지하고 시험에 임한다 하여도 문항의 유형 자체가 수험자들의 시험 결과에 영향을 미칠 수 있다. 분석 대상이었던 영어 말하기 평가들은 문항 수 대비 문항 유형의 변화가 잦지 않다. 반면 한국어 말하기 시험인 KPE와 TOPIK 말하기 문항 연구인 박동호 외(2012)는 거의 각 문항마다 다른 유형이 적용되었다. 향후 본 연구의 결과를 기초로 다음과 같은 한계점을 보완하여 추가적인 논의가 필요하다. 첫째, 본 연구보다 더 많은 양의 기출·모의고사를 분석 대상으로 삼아 분석해야한다. 둘째, 출제되는 주제와 유형의 연관성이나 특정 주제에 요구되는 말하기 기능을 파악하는 유기적인 문항 특징 분석이 요구된다.