부산대학교 도서관

최근 ChatGPT와 같은 AI 기반 소프트웨어가 인기이다. 소프트웨어의 품질 보증을 위한 테스팅에 대한 관심도 높아지고 있다. 본 연구는 소프트웨어 테스팅을 위한 트랜스포머 기반 한국어 요약을 위해 메타모픽 관계를 이용한 테스트 케이스를 제안한다. 먼저, 국방일보를 활용한 테스트셋을 일정한 규칙을 이용하여 변형시킨 후 T5 모델에 입력하고, 그에 따른 출력 결과와 기존의 출력 결과가 메타모픽 관계를 만족하는지 확인하고, 문서요약 성능지표인 Rouge와 Rdass를 이용하여 모델의 성능을 평가한다. 실험 결과 이름 혹은 명사를 변형하는 MR1과 해당 명사/동사를 동의어로 변형하는 MR5와 MR6이 82%로 메타모픽 관계를 만족하였고, T5 요약 성능은 기존 연구와 비교한 결과 타 모델에 비해 13% 향상되었다. 이후, 기존 연구에서 다루지 않았던 Rouge-u, Rouge-su, Rdass 지표를 활용하여, 한국어 요약을 평가하는 성능지표의 종류를 확장하였다.
Recently, AI-based software such as ChatGPT has become popular. Consequently, interest in quality assurance testing of software is increasing. This study proposes a test case using a metamorphic relationship for a transformer-based Korean summary for software testing. First, the test set using the Defense Daily is transformed using certain rules and then entered into the T5 model. After inputting the transformed test set, we checked whether the output result according to the input and the existing output result satisfy the metamorphic relationship. We then evaluated the performance of the model using the document summary performance metrics Rouge and Rdass. The experimental results showed that MR1, which transforms names or nouns, and MR5 and MR6, which transform nouns/verbs into synonyms, satisfy the metamorphic relationship with 82%. In addition, the summarization performance of the T5 improved by 13% compared to the models in the previous study. After that, We used Rouge-u, Rouge-su, and Rdass scores. These are the scores that were not covered in the previous studies. Through these scores, the types of performance scores that evaluate the Korean summaries were expanded.