부산대학교 도서관

자연어 처리(NLP)와 그래프 추론은 인공지능(AI) 연구에서 중요한 영역입니다. 최근 몇 년 동안 사전 훈련 모델의 개발은 NLP 작업의 발전을 크게 촉진했습니다. 동시에 다양한 분야에서 그래프 추론의 적용도 광범위하게 연구되었습니다. 이 기사는 사전 훈련 모델 및 그래프 추론에서 NLP 기술의 연구 진행 상황을 검토하고 두 기술의 잠재적인 융합에 대해 논의합니다. NLP 기술은 언어학, 컴퓨터 과학, 통계학, 수학 등 다양한 학문 지식을 다루며, 그 임무는 주로 텍스트 마이닝, 기계 번역, 대화 시스템, 문답 시스템 등을 포함한다. 이러한 작업에서 언어의 견고성은 언어 이해의 주요 어려움입니다. 여기에는 언어의 다양성, 모호성, 지적 의존성, 문맥 관계 등이 포함된다. 언어의 실제 처리에서 이러한 어려움은 의미 표현의 정확성, 문법, 구문 구조 분석 및 정보 반복 처리에 일련의 어려움을 초래할 것입니다. 위의 문제를 해결하기 위해 딥러닝 기반 NLP 기술은 연구자들로부터 큰 관심을 받고 있습니다. 그 중 BERT로 대표되는 대규모 사전 훈련 모델은 강력한 특징 추출 능력, 일반적인 언어 모델링 능력 및 강력한 모델 일반화 능력으로 많은 연구자들의 사랑을 받고 있습니다. 이러한 사전 훈련 언어 모델은 문맥에서 오는 의미 정보를 충분히 고려하여 단어 벡터를 동적으로 생성할 수 있으며, 잠재적인 핵심 의미 특징을 포착하는 데 중요한 역할을 하여 의미 표현의 모호성, 모호성 문제를 크게 해결하였다. 그러나 언어 자체의 다양성, 특히 구문, 문법 및 구문 구조의 복잡한 관계로 인해 자연 언어 처리에서 문장의 의미 이해에 큰 영향을 미치며 사전 훈련된 언어 모델은 이러한 문장의 구조적 관계를 처리하는 데 있어 역부족입니다. 최근 몇 년 동안 그래프 구조 데이터의 특성을 마이닝하는 데 사용되는 그래프 신경망(GNNs)이 AI 분야에서 인기가 있습니다. GNN은 일부 특정 비유럽 공간 데이터의 구조 정보를 명시적으로 모델링할 수 있습니다. GNN은 그래프 이론의 관점에서 특정 정보 노드를 나타내는 데이터 구조 관계를 추론하고 엔드 투 엔드 학습과 귀납 추론을 결합하여 인식에서 인식으로 AI 기술의 도약을 실현합니다. 이 연구는 딥 러닝과 GNN의 장점을 최대한 활용하고 NLP 작업의 특정 문제를 목표로 사전 훈련 모델과 그래프 추론에서 NLP 기술을 심층적으로 연구합니다. 문의 주요 업무와 공헌은 다음과 같다. 사전 훈련 모델과 그래프 추론 능력을 효과적으로 결합하여 NLP 응용 분야에 대한 새로운 아이디어와 방법을 제공하고 NLP 분야의 연구 범위와 깊이를 확장합니다. 우리는 그래프 데이터를 효과적으로 추론하고 학습할 수 있는 새로운 그래프 신경망 기반 그래프 추론 방법을 제안하여 텍스트의 의미 정보와 의존성을 더 잘 포착하여 모델의 성능과 효과를 더욱 향상시킵니다. 사전 훈련 모델과 그래프 추론 기술을 깊이 융합하여 새로운 감정 분석 모델 BHGAttN을 제안합니다. 이 모델은 계층적 단어 임베딩과 계층적 그래프 네트워크의 두 가지 측면에서 하위 문장 계층 정보 간의 상관 관계에 초점을 맞추고 감정적 의미를 더 깊이 이해하고 모델링할 수 있으므로 텍스트 분석 모델이 더 나은 성능과 이점을 반영할 수 있습니다. 우리는 여러 언어의 NLP 데이터셋에서 실험하고 평가했습니다. 실험 결과는 BERT의 각 계층정보를 그래프 네트워크 모델로 구성한 성능이 다른 기존 모델보다 우수함을 보여줍니다. 동시에 우리의 방법이 다국어 작업에서 더 나은 효과와 성능을 얻을 수 있으며 특정 장점과 잠재력을 가지고 있음을 보여줍니다. 결국, 우리의 연구는 NLP 기술과 그래프 추론 기술을 효과적으로 결합할 수 있는 새로운 사전 훈련 모델과 그래프 추론 방법을 제안하여 NLP 응용 분야에 대한 새로운 아이디어와 방법을 제공하고 NLP 분야의 연구 범위와 깊이를 확장합니다. 동시에 우리의 연구는 실제 응용에서 인공지능 기술의 발전과 응용에 중요한 참고 및 참고 의의를 가지고 있습니다.
Natural language processing (NLP) and graph reasoning are two important areas in artificial intelligence (AI) research. In recent years, the development of pre-trained models has greatly promoted the progress of NLP tasks. Meanwhile, the application of graph reasoning in various domains has also been extensively studied. This paper reviews the research progress of NLP techniques on pre-trained models and graph reasoning, and explores the potential fusion of the two techniques. NLP technology involves linguistics, computer science, statistics, mathematics and other disciplines, and its tasks mainly include text mining, machine translation, dialogue systems, question answering systems, etc. In these tasks, language robustness is the main difficulty leading to language understanding. These include language diversity, ambiguity, knowledge dependence, contextual relations, etc. In the actual processing of language, these difficulties will cause a series of difficulties in the accuracy of semantic expression, grammar, syntactic structure analysis, and repeated processing of information.In order to solve the above problems, the NLP technology based on deep learning has received great attention from researchers. Among them, the large-scale pre-training model represented by BERT has been favored by researchers for its powerful feature extraction ability, general language modeling ability and strong model generalization ability. This type of pre-trained language model can fully consider the semantic information from the context, dynamically generate word vectors, and play an important role in capturing potential key semantic features, which greatly solves the problem of obscurity and ambiguity in semantic expression. However, due to the diversity of language itself, especially the complex relationship between syntax, grammar and sentence structure, it will greatly affect the understanding of the meaning of sentences in natural language processing, and the pre-trained language model is unable to deal with this sentence structure relationship.In recent years, a graph neural network (GNNs) for mining graph-structured data features has become a research hotspot in the field of AI. GNNs can explicitly model the structural information of some specific non-Euclidean spatial data. GNNs infer the data structure relationship representing specific information nodes from the perspective of graph theory. It combines end-to-end learning with inductive reasoning to realize the leap of AI technology from perception to cognition. This study makes full use of the advantages of deep learning and GNNs, focusing on specific problems in NLP tasks, and deeply studies NLP techniques in pre-trained models and graph inference. The main work and contributions of this paper are as follows: (1)The effective combination of pre-training models and graph reasoning capabilities provides a new idea and method for NLP applications, and expands the scope and depth of research in the field of NLP. (2)We propose a novel graph reasoning method based on graph neural network, which adopts a new graph representation method, which can effectively reason and learn graph data, and can better capture semantic information and dependencies in text , so as to further improve the performance and effect of the model. (3)We deeply integrate the pre-training model and graph reasoning technology, and propose a novel sentiment analysis model BHGAttN. The model pays attention to the relationship between sub-sentence level information from two aspects of hierarchical word embedding and hierarchical graph network, which can understand and model emotional semantics at a deeper level, so that the text analysis model can reflect better performance and Superiority. (4)We conduct experiments and evaluations on NLP datasets in multiple languages. The experimental results show that the performance of the graph network model constructed by introducing the information of each layer of BERT is better than other baseline models. At the same time, it also shows that our method can also achieve better results and performance in multilingual tasks, and has certain advantages and potential. In summary, we propose a new pre-training model and graph reasoning method, which can effectively combine NLP technology and graph reasoning technology, provides a new idea and method for NLP application, and expands the research scope and depth of NLP field. At the same time, our research also has important reference and reference significance for the development and application of artificial intelligence technology in practical applications.