자연어처리의 기본 CHAPTER 1 자연어처리의 기본 3 1.1 자연어처리란 3 1.2 자연어처리의 응용 분야 6 1.3 자연어처리는 왜 어려운가? 8 1.4 자연어처리 연구의 패러다임 11 1.5 딥러닝을 사용하는 자연어처리 연구 16 참고문헌 19 CHAPTER 2 자연어 처리를 위한 수학 21 2.1 확률의 기초 21 2.2 MLE와 MAP 28 2.3 정보이론과 엔트로피 31 참고문헌 36 CHAPTER 3 언어학의 기본 원리 37 3.1 언어학 개요 37 3.2 음절, 형태소, 어절 그리고 품사 37 3.3 구구조와 의존구조 45 3.4 의미론과 화용론 47 참고문헌 49 CHAPTER 4 텍스트의 전처리 51 4.1 비정형데이터 내의 오류 51 4.2 텍스트 문서의 변환 53 4.3 띄어쓰기 교정 방법 55 4.4 철자 및 맞춤법 교정 방법 59 참고문헌 62 CHAPTER 5 어휘 분석(Lexical Analysis) 63 5.1 형태소 분석(Morphological Analysis) 63 5.2 품사 태깅 69 5.3 형태소 분석 및 품사 태깅기의 활용 분야 82 참고문헌 83 CHAPTER 6 구문 분석 85 6.1 구문 분석 개요 85 6.2 구구조 구문 분석 88 6.3 의존 구문 분석 95 6.4 구문 분석 접근 방법의 장단점 99 6.5 더 알아보기 100 참고문헌 103 CHAPTER 7 의미 분석 105 7.1 단어와 단어 의미 중의성 105 7.2 단어 의미 중의성 해소 기법(Word Sense Disambiguation) 106 7.3 의미역(Semantic Role) 분석 112 7.4 의미표현 114 참고문헌 118 PART II 다양한 자연어 처리 응용 CHAPTER 8 개체명 인식 (Named Entity Recognition) 123 8.1 개체명 인식(Named Entity Recognition) 소개 123 8.2 개체명 인식이란 124 8.3 NER 시스템 126 8.4 NER 평가 척도 133 8.5 BIO Tagging Scheme 134 8.6 학습 코퍼스 134 참고문헌 138 CHAPTER 9 언어 모델(Language Model) 139 9.1 언어 모델이란? 139 9.2 통계적 언어 모델(Statistical Language Model, SLM) 140 9.3 일반화(Generalization) 150 9.4 모델 평가와 퍼플렉서티(Perplexity) 153 CHAPTER 10 정보추출(Information Extraction) 157 10.1 정보추출이란 157 10.2 정보추출의 학습 방법 158 10.3 정보추출의 접근법 160 10.4 정보추출의 하위 작업 165 참고문헌 168 CHAPTER 11 Question & Answering 171 11.1 질의응답(Question & Answering)이란 171 11.2 정보검색 기반 질의응답(IR based question answering) 172 참고문헌 182 CHAPTER 12 기계 번역 (Machine Translation) 185 12.1 기계 번역이란 185 12.1 규칙기반 기계번역 188 12.3 통계 기반 기계 번역 190 12.4 인공신경망 기계번역 197 12.5 기계번역 하위분야 소개 198 참고문헌 200 CHAPTER 13 자연어 생성 203 13.1 배경 203 13.2 지도 학습 기반 자연어 생성 205 13.3 강화 학습 기반 자연어 생성 209 13.4 적대 학습 기반 자연어 생성 211 13.5 자연어 생성에서의 디코딩 전략 214 13.6 자연어 생성 응용 분야 218 참고문헌 220 CHAPTER 14 대화 시스템(Dialog System) 223 14.1 대화 시스템 개론 223 14.2 대화시스템의 분류 232 14.3 대화 데이터 234 참고문헌 241 CHAPTER 15 문서 요약(Text Summarization) 243 15.1 문서 요약이란 243 15.2 문서 요약 방법 244 15.3 접근법 252 15.4 평가 256 참고문헌 258 CHAPTER 16 텍스트 분류(Text Categorization) 261 16.1 텍스트 분류란? 261 16.2 다양한 텍스트 분류 예시 264 16.3 텍스트 분류 프로세스 267 16.4 텍스트 분류, 군집화 알고리즘 270 16.5 Scikit-Learn 274 16.6 데이터 시각화 275 참고문헌 276 PART III 딥러닝기반의 자연어처리 CHAPTER 17 딥러닝의 소개 281 17.1 딥러닝 개요 281 17.2 딥러닝 모델의 핵심: 자동적인 계층적 자질 표상 습득 283 17.3 딥러닝 시스템 구축을 위한 고려사항: 데이터와 모델 구조 285 17.4 딥러닝 모델의 뼈대: 퍼셉트론 287 17.5 비선형 결정 경계와 활성 함수 289 17.6 딥러닝 모델의 학습 290 참고문헌 291 CHAPTER 18 단어 임베딩 295 18.1 단어 임베딩이란? 295 18.2 분포 가설과 언어 모델링 297 18.3 Word2vec 이전의 단어 임베딩 297 18.4 단어 단위 임베딩: Word2vec, GloVe, FastText 299 18.5 ELMo 이후의 임베딩: 문장 단위 임베딩 301 18.6 한국어의 단어 임베딩과 입력의 최소 단위 305 18.7 최신 연구 동향 306 참고문헌 307 CHAPTER 19 CNN(Convolutional Neural Networks) 311 19.1 CNN 개념 311 19.2 CNN을 이용한 문장 분류 316 참고문헌 321 CHAPTER 20 순환 신경망(Recurrent Neural Networks, RNN) 323 20.1 기본 순환 신경망(Vanilla Recurrent Neural Networks) 323 20.2 응용 순환 신경망(Advanced Recurrent Neural Networks) 327 20.3 순환 신경망 기반 자연어 생성 333 참고문헌 335 CHAPTER 21 딥러닝 기반 한국어 형태소 분석과 품사 태깅 337 21.1 형태소 분석 품사 태깅 개요 337 21.2 KoNLPy 형태소 분석 도구 소개[21-1] 338 21.3 딥러닝 이전의 형태소 분석, 품사 태깅 소개 338 21.4 딥러닝 기반 형태소 분석, 품사 태깅 소개 339 참고문헌 343 CHAPTER 22 딥러닝 기반 한국어 단어의미 분석 345 22.1 한국어 의미역 분석 345 22.2 심층학습 기반 단어 중의성 해소 349 참고문헌 354 CHAPTER 23 딥러닝 기반의 자연어처리 355 23.1 딥러닝 기반 NER 355 23.2 단어 단위의 구조 355 23.3 문자 단위의 구조 356 23.4 단어 + 문자 단위의 구조 357 참고문헌 358 CHAPTER 24 딥러닝 기반의 질의응답(Question Answering) 359 24.1 딥러닝 기반 질의응답(Question Answering) 359 24.2 딥러닝 기반 질의응답(Question Answering) 모델 361 24.3 시각 질의응답(Visual Question Answering, VQA) 364 24.3 상식 질의응답(Commonsense QA) 368 참고문헌 372 CHAPTER 25 딥러닝 기반 기계번역 375 25.1 딥러닝 기반 기계번역의 흐름 375 25.2 Sequence to Sequence 구조와 인코더 디코더 377 25.3 RNN기반 Neural Machine Translation 379 25.4 Attention 기반 NMT 380 25.5 Transformer기반 NMT 383 25.6 Cross Lingual 언어모델 기반 NMT 392 25.7 딥러닝 기반 기계번역의 하위분야 396 참고문헌 402 CHAPTER 26 딥러닝 기반 문장생성 405 26.1 순환 신경망 언어 모델을 이용한 문장 생성 406 26.2 셀프 어텐션 기반 언어 모델을 이용한 문장 생성 409 참고문헌 413 CHAPTER 27 딥러닝 기반 문서 요약(Text Summarization) 415 27.1 딥러닝 기반 문서 요약의 동향 415 27.2 딥러닝 기반의 추상 요약 416 참고문헌 426 CHAPTER 28 딥러닝 기반 대화 시스템 427 28.1 목적 지향 대화 시스템(Task-Oriented Dialogue System) 428 28.2 비목적 지향 대화 시스템(챗봇 시스템) 433 참고문헌 439 CHAPTER 29 딥러닝을 이용한 SNS(Social Network Service) 분석 441 29.1 SNS 441 29.2 SNS 분석 443 29.3 SNS 분석 기법 444 참고문헌 451 CHAPTER 30 응용: 이미지 캡션 생성 453 30.1 이미지 캡션 생성 개요 453 30.2 이미지 캡션 생성 과정 456 30.3 이미지 캡션 생성 모델: Show & Tell 459 30.4 훈련에 따른 성능변화 463 30.4 결론 466 참고문헌 466 CHAPTER 31 가짜뉴스 탐지 467 31.1 가짜뉴스 탐지 개요 467 31.2 가짜뉴스 정의 468 31.3 딥러닝 기반의 가짜뉴스 탐지 발전 방향 469 31.4 딥러닝 기반 가짜뉴스 탐지 향후 과제 475 참고문헌 477 CHAPTER 32 PLM, Transformer 479 32.1 트랜스포머(Transformer) 479 32.2 인코더-디코더 480 32.3 BERT 482 32.4 Transformer 기반 언어모델 485 32.5 사전 학습 모델 488 참고문헌 498 실습 499

chapter 1 자연어처리의 기본 1.1 자연어처리란 자연어(natural language)란 사람들이 일상생활에서 자연스럽게 사용하는 언어를 말한다. 사람들 사이에서 이루어지는 대화는 일반적으로 자연어가 사용된다. 하지만 컴퓨터와 사람 사이에서는 대부분 그렇지 않다. 사람이 컴퓨터와 의사소통을 하기 위해서는 문장을 조금 정제하거나, 요구하는 형식에 맞춰 작성해주어야 한다. 웹 사이트에 새로 회원가입 할 때 생년월일을 년, 월, 일 순으로 나누어 각 칸에 입력하는 것이나, 검색할 때 문장을 그대로 입력하지 않고 주요 단어만 따로 입력하는 것 등이 컴퓨터가 요구하는 형식에 맞추어 입력하는 방법이라고 할 수 있다. 컴퓨터에게 원하는 특정한 일을 시키고 싶을 때에는 컴퓨터에게 정해진 프로그래밍 언어로 작성해주어야 한다. 일상에서 사용하는 자연어는 약간의 문법적 오류가 있어도 상대방이 그 의미를 파악할 수 있으나 프로그램을 작성할 때 언어의 규칙이 정확히 지켜지지 않으면 오류가 발생하거나 원치 않는 결과를 받게 된다. 자연어처리(natural language processing, NLP)는 컴퓨터가 자연어를 이해하거나 생성할 수 있도록 하는 학문 분야라 할 수 있다. [그림 1-1]은 자연어처리의 두 가지 핵심 과정인 자연어 이해와 자연어 생성을 나타낸 것이다. 이는 모든 활용분야를 아울러 설명한 것으로 자연어처리를 통해 하고자 하는 일에 따라 더욱 세부적인 정의를 내릴 수 있다. 언어학에서의 자연어처리란 전산을 통한 언어학 연구를 의미한다. 이 경우 생성은 크게 중요하지 않다. 컴퓨터공학이나 IT 산업에서는 언어 자체에 대한 연구보다 컴퓨터에게 자연어를 이해시키고 다시 사용자에게 이해 가능한 언어를 생성해내는 일련의 과정을 모두 자연어 처리라고 한다. 이 책은 자연어처리를 컴퓨터공학적인 측면에서 바라보고, 실제로 코드를 작성하여 이를 처리하는데 중점을 두고 있다. 따라서 그에 맞추어 자연어처리의 정의를 좁혀보면 자연어처리는 자연어를 입·출력으로 사용하는 컴퓨터(프로그램)에 사용되는 처리 과정이라고 할 수 있다. 입력과 출력으로 사용한다고 했으므로 이 둘을 각각 따로 생각해볼 수 있다. 먼저 자연어를 입력으로 받아들이는 경우다. 이 과정은 자연어이해(natural language understanding, NLU)라고 한다. 자연어를 입력으로 직접 받아들여서, 입력된 내용의 의미를 파악하거나 목적에 맞게 내부적으로 처리해내는 과정을 말한다. 자연어를 입력으로 하여 다른 프로그램을 호출하는 시스템이 NLU를 사용하는 가장 대표적인 예시이다. “카메라 실행해”라는 입력에 대해서 동작인 ‘다른 프로그램 호출’과 대상인 ‘카메라’라는 두 가지 핵심 요소를 파악한 후, 이것을 바탕으로 실제로 카메라 프로그램을 호출해 실행시킨다면 입력으로 들어온 자연어를 잘 처리해냈다고 할 수 있다. 반대로 자연어를 출력으로 하는 경우는 자연어 생성(natural laugnage generation; NLG)라고 한다. 주어진 수치 등의 정보나 사용자에게 전달할 의미 표현(semantic representation)을 입력받아 문장을 생성하여 사용자에게 자연어로 응답을 돌려주기에, ‘생성(generation)’이라는 표현을 사용한다. [그림 1-2]는 날씨 앱이 NLG를 사용하는 예시 중 하나이다. 날씨에 관한 정보를 알려줄 때, 지난 주와 이번 주의 온도를 숫자로만 보여줄 수도 있지만, ‘차츰 서늘해지는’ 등과 같은 표현으로 날씨의 변화를 자연스러운 문장으로 표현해주고, 저녁 시간임을 감안하여 ‘귀갓길’이라는 표현을 덧붙이는 등 일기예보를 그대로 적어놓은 듯 한 문장을 표시하고 있다. 사용자는 이를 통해 더 자연스럽고 직관적으로 내용을 이해할 수 있다. 그림 1-2 자연어로 날씨를 설명하는 스마트폰의 날씨 앱 NLU와 NLG는 입출력이 서로 다르기 때문에 서로 처리 방법이 다르다. 따라서 일반적으로 연구도 부분에 대해 따로 진행되는 경우가 많다. 하지만 실제로 제품에 적용될 때에는 많은 경우 이 둘이 동시에 쓰인다. 인공지능 스피커에 대고 “에어컨을 23도로 맞춰줘”라고 하면, 에어컨이 켜짐과 동시에 “에어컨을 설정한 온도로 켜 두었어요.”와 같은 응답을 돌려준다. 이 사례에서 사용자가 말하는 내용을 인식해 ‘에어컨’에 ‘23도’라는 정보를 전송하는 부분이 NLU, 사용자에게 음성으로 결과를 안내하는 부분이 NLG라고 할 수 있다. 1.2 자연어처리의 응용 분야 자연어처리를 활용하는 방안 중 하나는 실제 발화된 내역을 통계적으로 조사하는 등 언어학적인 연구에 사용하는 것이다. 이렇게 컴퓨팅 기술(전산)을 적극적으로 활용하는 언어학의 하위 분야를 전산언어학(computational linguistics) 라고 한다. 주로 언어의 규칙 등을 찾기 위해 규칙 기반 혹은 통계 기반의 언어를 많이 진행하지만, 최근의 연구 트렌드에 맞추어 딥러닝을 도입하기도 한다. 구글 번역기를 중심으로 최근 네이버 등도 뛰어들고 있는 기계 번역이 우리에게 친숙하면서도 가장 유명한 자연어 처리의 응용 분야이다. 특히 기계 번역은 (13, 28장에서 더 자세히 다룬다) 자연어처리 기법의 발전사를 모두 겪은 산증인이기에 더욱 의미가 깊다. 최근 포털 사이트의 뉴스에서 도입한 기사 요약 서비스도 자연어처리가 사용된 서비스이다. 기사 원문을 입력으로 넣으면, 이 중에서 중요한 문장을 짧게 선별하여 출력하는 시스템이다. 이 요약 시스템은 전체 문서 안에서 어느 것이 가장 중요한 문장인지, 문장을 어떤 순서로 배열해야 하는지 등을 종합적으로 판단해야 한다. 음성인식(Speech-To-Text, STT) 역시 자연어처리에서 중요한 분야 중 하나이다. 왜냐하면 음성 인식에서 동음이의어를 처리할 때 자연어처리를 필요로 하기 때문이다. 음성 인식 시스템이 [무리]라는 발음을 인식한 상황이라고 하자. 이 한 단어만으로는 “무리”일 지, “물이”일 지 알 수 없다. 뒤의 단어가 “하지 말고.”라면 “무리”이고, “맛있다”라면 “물이”라고 이해하는 것이 타당하다. 이같이 동음이의어를 구분하기 위해서는 입력된 문장 전체를 바탕으로 후보 단어들 중 문장과 연관성이 높은 단어를 선별해야 한다. 여러 경우가 발생할 수 있는 동음이의어에 대해 문장 전체를 파악하고 올바른 단어를 선택하는 과정이 바로 입력을 자연어로 하는 NLU의 한 예이다. 간혹 음성 인식 기술을 자연어처리 기술로 오해하는 경우가 있다. 음성인식은 사용자의 발화를 텍스트로 변환하는 기술이다. 발화된 내용이 어떤 의미인지를 파악하기 위해서는 자연어이해 기술이 수반이 되어야 한다. 음성인식 기술만으로는 사용자의 의미를 파악할 수 없음을 이해하길 바란다. 위에서 언급한 거의 모든 기술의 최정점에 있는 것이 바로 최근 IT 기업들이 앞다투어 개발 중인 개인비서 서비스들이다. 애플 사의 Siri, 구글 사의 Google Assistant, 삼성 사의 빅스비, 아마존 사의 Alexa, 마이크로소프트 사의 Cortana 등이 해당한다. 기본적으로 이들은 음성으로 원하는 명령을 말하면 그것을 문자로 받아 적어 화면에 표시하고, 해당하는 기능을 실행시킨다. [그림 1-3]이 바로 그 예로, “에펠탑의 높이는 얼마야”라는 사용자의 음성을 인식하고 문장으로 표시한 뒤, 그에 대한 대답을 인터넷에서 검색하여 보여주고 있다. 이들의 공통적인 특징은 입력과 출력으로 사용하는 자연어가 음성이라는 점과 다양한 기능들을 처리할 수 있다는 점이다. 특정 시각에 알람을 맞춰달라고 하면 그 시간에 알람 소리를 울려주는 기능 실행부터 번역이나 환율 조사 등 다양한 작업을 음성으로 할 수 있다. 특히 최근에는 “에펠탑의 높이는 얼마야”와 같이 공개된 정보에 대해 질문하면 이에 대한 대답을 인터넷을 통해 스스로 검색하여 대답해주기도 한다. 이 사례는 대부분 음성인식이라는 받아쓰기 정도로 사람들에게 인식되어 있지만 문자화 한 문장을 통해 사용자가 의도하는 내용을 파악하고, 알맞는 기능을 실행시키거나 정보를 찾아 응답으로 재조합해내는 자연어처리의 최정점에 있는 서비스라고 할 수 있다.