정보검색 #1 개요

이 글은 '정보검색' 이 무엇을 배우는지에 대한 개요입니다.

수식이 나온다고 어렵게 보일 수 있는데, 이는 다음글에 차근차근 설명하니 겁먹지 말고 개념만 정확하게 알고 넘어갑시다.

 

IR , Information Retreival, 정보검색

1. 정보검색이 뭐죠? (DB 검색과의 차이점)

대량의 정보 모음으로부터 사용자의 정보요구(need)에 적합한(relevant) 자료를 찾는(Retrieval) 과정

= 대량의 자료 집합으로 부터 요구사항에 만족하는(satisfying) 비정형 데이터(주로 자연어 텍스트 문서)를 찾는 것.

인공지능 서비스에서 사용하는 DBMS , IR , QA의 과정

즉 정보 검색에서 정보들은 비구조적인 문서(테이블 형태가 아님)로 되어있으며 연관 스키마가 존재하지 않습니다.

그래서 SQL 같은 질의 형식을 가지지 않고, 자연어로 검색하게 됩니다.

 

또한 검색하는 결과도 다릅니다. 정보 검색은 관련성이 높은 문서를 찾아주는 것이지, 정답을 찾는 과정이 아닙니다.

예를 들어, "Seoul"이라는 키워드로 검색한다면 단순 텍스트뿐만 아니라 연관 검색어, 이미지, 지도를 포함한 데이터를 찾아주는 것 처럼요. (* 정답을 찾는 시스템을 QA(Question Answering), 스키마와 SQL을 이용해 데이터를 찾는 시스템을 DBMS라고 합니다.)

* [더보기] 스키마(schema)

영어로 '개요'라는 의미로 데이터베이스에서 제약조건, 데이터 간의 관계를 의미합니다.

대표적인 스키마는 속성(Attribute), 속성이 모인 개체(Entity) 그 개체 사이의 관계(Relation)등이 있습니다. 

---

2. Unstructured Data(비정형 데이터)

비정형 데이터는 명확하지 않고, 구조화 되지 않은(=테이블 형태가 아닌) 데이터를 의미합니다.

우리가 평소에 보는 텍스트, 오디오, 비디오, 이미지등 모든것이 비정형 데이터입니다.

여담으로 과거에는 대부분이 비정형 데이터를 바로 쓰지 않고 가공하여 (ex Oracle)판매하는 회사들이 큰 수익을 얻었으나 현대의 산업시장에서는 비정형 데이터 자체를 많이 요구하기에 비정형 데이터를 쉽게 찾을 수 있는 검색엔진(Google, Yahoo)의 수요가 많아졌습니다.

---

3. Retrieval(검색) 용어

용어를 외울필요는 없고, 혹시나 특정 단어가 나왔을 때 모를까봐 간단하게 정리했습니다.

IR(Information Retrieval)의 기본 원리

문서집합 -> [ Indexer(색인) -> Inverted index -> Retriever(검색) ] <-> 질의, 응답 문서

색인(Indexing) : 효율적인 검색을 위해 문서집합을 미리 분류별로 가공해둠.

검색(Retriever) : 유사도(질의 - 문서)에 따라 순위를 매김, 각 유사도를 고속 계산 수행필요

정보요구(need)를 질의(Query)로 바꾸는 과정에서 손실 발생(loss)

 

유사도 점수 표시방법

Similarity (Query, Document_1)

Sim(Q, D1) = 0.3

검색모델

1. Corpus(말뭉치): 자료를 검색할 Corpus가 존재해야 합니다.

2. Topic(주제): 그 Corpus에서 자료를 검색하기 위한 Topic이 존재해야 합니다.

3. Relevance(관련성) : 어떠한 문서가 Topic을 포함하고 있으면 Relevance 하다고 합니다.

예를 들어 서울의 땅 크기(주제)를 물었는데, 서울의 지리와 면적에 관련된 문서가 나오면 관련성이 있는 것이고 서울 인구 수, 취업률 같은 문서가 나오면 Non-Relevance 하다고 합니다.

4. Query(질의): 정보검색(IR)에서는 자연어를 사용해 질의합니다.

5. Model(검색모델): Boolean, Vector, Probability 등 다양한 모델을 사용하며 각각의 특징이 있습니다.

응용서비스

- Information Filtering (Recommender, 추천시스템)

- Question-answering (질의 응답시스템)

- Cross-language Information retreiveal (교차 언어정보검색)

- Documnet classification (문서 분류)

- Document clustering (문서 군집화)

 

---

4. 적합한(Relevance) 문서는 무엇인가?

어떤 문서가 질의(Query)에 가장 적합(Relevance)할까요?

정보검색에서 완벽하게 일치하는 문서란 없습니다. 말 그대로 검색(Retreival)이니까요.

 

정보검색은 질의와 전체문서를 이용해서 각각의 문서에 가중치점수를 매겨 적합한 문서를 찾습니다.

그중 가장 대표적인 것이 TF(질문에서 Term의 빈도수) 와 DF(특정 단어가 들어간 문서의 수)를 이용한 방법입니다.

---

 

5. TF-IDF를 이용한 Ranking

해당 내용은 다음 글에서 추가적으로 설명하니, 간단하게만 보고 갑시다.

용어를 사용해서 그렇지 어려운 개념이 아닙니다. 차근차근 배워봅시다.

전체 문서를 단순히 키워드를 이용해서 분류하게 되면 시간도 오래 걸리고 불필요한 데이터가 많이 포함되게 됩니다.

그래서 문서의 관련성을 점수(=가중치, Weight)를 매겨 Ranking해야 합니다.

 

그 중 TF-IDF(Term Frequency-Inverse Document Frequency) 는 단어의 빈도와 문서의 빈도를 사용하여 각 단어들마다 중요한 정도를 가중치로 주는 방법입니다. 주로 문서의 유사도를 구하거나 검색 시스템에서 결과, 특정 단어의 중요도를 구할 때 사용됩니다. 생소한 글자 때문에 어려워 보일 수 있지만, 의미를 보면 간단합니다.

 

5-1 TF (Term Frquency)

특정 문서 내에서 특정 단어의 빈도 수를 의미합니다.

TF ( d , t ) : 특정문서(d)에서 특정단어(t)의 등장 횟수

 

5-2 DF (Document Frequency)

문서 집합 전체에서 특정 단어가 나온 문서의 개수를 의미합니다.

DF( t ) : 문서 집합 전체에서 t가 등장한 문서의 수

 

5-3 IDF(Inverse DF)

df를 반비례 하는 수입니다. 전체 문서에서 단어가 적게 등장할 수록 가중치가 높아야 하기에

계산할 때는 DF 보다는 그 역수인 IDF를 많이 씁니다. 다만 단순 역수가 아니라 Log ( 보통 자연로그 ln)를  씌우는데 그 이유는 문서의 갯수(n)가 커질 수록 수치가 기하급수적으로 커지는걸 방지하기 위함입니다.

분모 +1 은 분모가 소숫점이나 0이 되지 않도록 하기 위함입니다.

또한 로그를 사용하면 단순히 크기가 커지는 것 뿐만 아니라 가중치를 골고루 부여되는데도 도움이 됩니다.

예를 들어 기본적인 단어들은 특수한, 자주 쓰이지 않는 단어에 비해 최소 수십, 수백 배는 더 등장합니다.

TF-IDF는 모든 문서에서 자주 등장하는 단어의 중요도를 낮게 판단하는데, 단순한 역수로 계산해버리면 이런 단어들 때문에 별로 희귀하지도 않은 단어들에게 상대적으로 상당히 높은 가중치가 부여되게 됩니다.

 

로그를 씌우면 이런 격차를 크게 줄여주는 효과도 있습니다.

* [더보기] 로그를 씌우면 어떻게 달라지나요?

참고로 실제 계산시에는 idf(d,t)값이 0이 되면 가중치를 곱하는 의미가 없어지기에 뒤에 상수를 더해서 최솟값을 1로 만듭니다. (ex ln( n/ dt(t) +1 ) +1)

---

* [더보기] 6. 파이썬으로 실제 구현해보기

5-4 실제로 구해보자

다음과 같은 4개의 텍스트 문서가 있다고 가정합시다.

문서1 : 먹고 싶은 사과

문서2 : 먹고 싶은 바나나

문서3 : 길고 노란 바나나 바나나

문서4 : 저는 과일이 좋아요

 

단어를 분류하는 방법은 여러가지가 있지만, 여기에서는 단어의 순서와 빈도수를 고려해 간단하게 행렬로 표현 해보겠습니다. 위 4개의 데이터를 문서-단어 행렬(DTM, Document-Term Matrix)로 만들면 다음과 같습니다.

-	과일이	길고	노란	먹고	바나나	사과	싶은	저는	좋아요
문서1	0	0	0	1	0	1	1	0	0
문서2	0	0	0	1	1	0	1	0	0
문서3	0	1	1	0	2	0	0	0	0
문서4	1	0	0	0	0	0	0	1	1

 

이 DTM을 위에서 배운 IDF (단어의 전체 문서 출현 빈도)를 계산하면 다음과 같습니다.

식이 나왔다고 어렵게 보일 수 있는데, 단순히 빈도수를 대입해서 계산한 값입니다.

단어	IDF	단어	IDF
과일이	ln(4/(1+1)) = 0.693147	사과	ln(4/(1+1)) = 0.693147
길고	ln(4/(1+1)) = 0.693147	싶은	ln(4/(2+1)) = 0.287682
노란	ln(4/(1+1)) = 0.693147	저는	ln(4/(1+1)) = 0.693147
먹고	ln(4/(2+1)) = 0.287682	좋아요	ln(4/(1+1)) = 0.693147
바나나	ln(4/(2+1)) = 0.287682

이제 이 값을 TF(특정 문서에서 나오는 단어의 갯수)에 곱해주면 문서별 단어의 가중치(TF-IDF)가 나오게 됩니다.

 

위의 행렬(DTM)에 별다른 공식을 적용하지 않고 그대로 적었기에 위의 행렬을 그대로 가져오면 단어별 TF(t) 가 되게 됩니다. 각각의 값에 TF * IDF를 계산해주면 아래와 같이 가중치가 부여됩니다.

-	과일이	길고	노란	먹고	바나나	사과	싶은	저는	좋아요
문서1	0	0	0	0.287682	0	0.693147	0.287682	0	0
문서2	0	0	0	0.287682	0.287682	0	0.287682	0	0
문서3	0	0.693147	0.693147	0	0.575364	0	0	0	0
문서4	0.693147	0	0	0	0	0	0	0.693147	0.693147

바나나의 경우 [문서 3번]에서 두 번 등장하였기에 가중치가 높게 잡혔습니다.

이는 TF-IDF 가중치를 이용하면 특정 문서에서 자주 등장하는 단어는 그 문서내에서 중요한 단어로 보기 때문입니다.

6. 파이썬으로 직접 구현해보기

물론 라이브러리를 이용해서 간단하게 구하는 방법도 있지만, 배우는 과정이니 직접 노가다로 구해봅시다.

import pandas as pd # 데이터프레임 사용을 위해
from math import log # IDF 계산을 위해

## 1. 데이터를 받습니다. docs를 보통 corpos(말뭉치)라고 부릅니다
docs = [
  '먹고 싶은 사과',
  '먹고 싶은 바나나',
  '길고 노란 바나나 바나나',
  '저는 과일이 좋아요'
] 
vocab = list(set(w for doc in docs for w in doc.split()))
vocab.sort()

N = len(docs) # 총 문서의 수

## 2. TF와 IDF를 구하는 함수를 정의합니다.
def tf(t, d):
    return d.count(t)

def idf(t):
    df = 0
    for doc in docs:
        df += t in doc
    return log(N/(df + 1))

def tfidf(t, d):
    return tf(t,d)* idf(t)
    
## 3. TF를 구합니다. 여기서는 DTM(행렬)을 만드는 과정과 동일합니다.
result = []
for i in range(N): # 각 문서에 대해서 아래 명령을 수행
    result.append([])
    d = docs[i]
    for j in range(len(vocab)):
        t = vocab[j]        
        result[-1].append(tf(t, d))

tf_ = pd.DataFrame(result, columns = vocab)

## 4. 각 단어에 대한 IDF 값을 구합니다.
result = []
for j in range(len(vocab)):
    t = vocab[j]
    result.append(idf(t))

idf_ = pd.DataFrame(result, index = vocab, columns = ["IDF"])

## 5. TF-IDF 가중치 행렬을 만듭니다.
result = []
for i in range(N):
    result.append([])
    d = docs[i]
    for j in range(len(vocab)):
        t = vocab[j]

        result[-1].append(tfidf(t,d))

tfidf_ = pd.DataFrame(result, columns = vocab)

---

7. 동의어와 유의어의 색인방법

유의어 사전을 구성하는 방법

 

긴 문장을 분리하는 방법, 어절단위, 명사단위, gram단위 등

저장되어있는 문서를 검색하기 좋게 색인하는 방법

 

퀴즈

1. 자연어의 의미와 관련하여 정보검색에서 고려해야 할 두 가지 문제를 나열해 보시오.

동의어 문제, 다의어 문제

2. 적합성의 정도를 2가지 및 4가지 용어들로 각각 세분하여 표현해 보시오.

적합, 부적합

매우적합, 적합, 부분적합, 부적합

3. 정보검색시스템을 구성하는 두 가지 대표적 모듈은 무엇인가?

색인(indexing)모듈, 검색(retriever)모듈

 

4. 정보검색시스템의 입력으로 주어지는 것으로, 사용자의 정보요구가 표현된 것을
지칭하는 용어 한국어와 영어로 각각 적으시오.

Query, 질의

5. 정보검색에서 '적합한' 의 영어 단어를 적으시오.

relevant

참고 - 색인(Indexing), 정보(Information), 검색(Retreiver), 요구(Need)

6. 정보검색에 해당하는 영어 완전명 및 약어를 적으시오.

IR, Information Retreival