IR

앞에서 문서의 색인과 대략적인 정보검색 방법을 알아봤다면, 이번에는 실제 정보검색에서는 어떠한 방법(검색모델)으로 질의와 문서의 유사도를 구하는지 알아보자. 대표적인 방법으로는 4가지가 있다. 1. 불린 모델(Boolean model) 집합에 기반하여 논리적으로 있다(True) 없다(False)를 질의문으로 검색한다. 모든 색인어들에 0과 1을 할당하고 각 Term들을 논리 연산(and, or, not)으로 연결한다. 2. 벡터 공간 모델(Vector space model) 앞의 불린모델으로는 존재 여부(0 또는 1)만 알 수 있고 가중치를 계산하여 순위(Ranking)를 매길 수 없다. 그래서 가중치를 0~1 사이의 값으로 측정하는 것이 벡터 공간 모델. 각각의 n개 용어들을 n-차원의 그래프 축(벡터..

색인(Indexing) 이란? 효율적인 검색을 위해 [문서 집합]을 미리 가공해두는 과정을 의미합니다. 색인의 과정 1. 텍스트 추출 - 다양한 형식을 가진 문서에서 순수한 텍스트를 추출해냅니다. 2. 토큰 추출 - text를 검색하기 좋게 토큰화 시킵니다. 3. 불용어(Stop-word) 제거 - 의미를 가지지않아 필요없는 관용어, 불용어를 제거합니다. - 불용어란 관사(a, the)처럼 의미를 가지지않는 용어를 말합니다. 4. 정규화 - 의미를 가진 용어를 기본형으로 바꾸고, 어간을 생성합니다. 영어에서는 Stemming(스태밍)이라고 해서 단어에서 항상 고정되는 어간을 추출합니다. 5. 역파일색인(Inverted Index) 문서에서 단어를 찾는 것이 아니라 색인을 통해 단어에서 특정 문서를 찾아내..

수많은 문서중에 어떤 문서가 가장 적합한지 여부는 유사도 점수로 결정한다. 그 중 가장 흔하게 쓰이고 효율도 괜찮은 TF * IDF / Length 유사도 점수공식을 알아보자. Length(D), N 질의문, 문서의 길이나 문서의 갯수를 나타낼 때 사용. 당연한거긴 한데 가중치를 구할때 사용합니다. 혹시나 언급안했다고 모를까봐 적어봤습니다. Term, TF => 단어, 구, 품사, 의미.. 문서의 특징을 나타낼 수 있는 단위 Term frequency (TF), [특정한 문서] 내에 출현한 Term의 개수. 더보기 Doucment 99 = [미국, 한국, 중국, 한국, 미국, 한국] TF ( D99, 한국 ) = 3 TF ( D99, 미국 ) = 2 TF (D99, 중국 ) = 1 Document, DF..

이 글은 '정보검색' 이 무엇을 배우는지에 대한 개요입니다. 수식이 나온다고 어렵게 보일 수 있는데, 이는 다음글에 차근차근 설명하니 겁먹지 말고 개념만 정확하게 알고 넘어갑시다. IR , Information Retreival, 정보검색 1. 정보검색이 뭐죠? (DB 검색과의 차이점) 대량의 정보 모음으로부터 사용자의 정보요구(need)에 적합한(relevant) 자료를 찾는(Retrieval) 과정 = 대량의 자료 집합으로 부터 요구사항에 만족하는(satisfying) 비정형 데이터(주로 자연어 텍스트 문서)를 찾는 것. 즉 정보 검색에서 정보들은 비구조적인 문서(테이블 형태가 아님)로 되어있으며 연관 스키마가 존재하지 않습니다. 그래서 SQL 같은 질의 형식을 가지지 않고, 자연어로 검색하게 됩니다..