학술논문

SASRec vs. BERT4Rec: Performance Analysis of Transformer-based Sequential Recommendation Models
Document Type
Academic Journal
Source
Journal of KIISE. 2024-04 51(4):352-361
Subject
순차적 추천 시스템
딥러닝
인공지능
재현성
트랜스포머
sequential recommender system
deep learning
artificial intelligence
reproducibility
transformer
Language
Korean
ISSN
2383-630X
2383-6296
Abstract
순차적 추천 시스템은 사용자 로그로부터 관심사를 추출하고 이를 바탕으로 사용자가 다음에 선호할만한 항목을 추천한다. SASRec과 BERT4Rec은 대표적인 순차적 추천 모델로 널리 활용되고 있다. 기존 연구들은 두 모델을 베이스라인으로 다양한 연구에 활용하고 있지만, 두 모델은 실험 환경 차이로 인해 일관된 성능을 보이지 않는다. 본 논문에서는 여덟 가지 대표적 순차적 추천 데이터셋에서 SASRec과 BERT4Rec의 성능을 비교 및 분석하여 검증한다. 이를 통해, 사용자-항목 상호작용 수가 BERT4Rec 학습에 가장 큰 영향을 미치며, 결국 이는 두 모델의 성능 차이로 이어진다는 사실을 관찰하였다. 더 나아가, 본 연구는 순차적 추천 환경에서 널리 활용되는 두 학습 방법 역시 인기도 편향과 시퀀스 길이에 따라 다른 효과를 보일 수 있음을 보인다. 이를 통해, 데이터셋 특성을 고려하는 것이 추천 성능 개선을 위해 필수적임을 강조한다.
Sequential recommender systems extract interests from user logs and use them to recommend items the user might like next. SASRec and BERT4Rec are widely used as representative sequential recommendation models. Existing studies have utilized these two models as baselines in various studies, but their performance is not consistent due to differences in experimental environments. This research compares and analyzes the performance of SASRec and BERT4Rec on six representative sequential recommendation datasets. The experimental result shows that the number of user-item interactions has the largest impact on BERT4Rec training, which in turn leads to the performance difference between the two models. Furthermore, this research finds that the two learning methods, which are widely utilized in sequential recommendation settings, can also have different effects depending on the popularity bias and sequence length. This shows that considering dataset characteristics is essential for improving recommendation performance.

Online Access