정보검색 #2 TF-IDF 자세히 알아보기

수많은 문서중에 어떤 문서가 가장 적합한지 여부는 유사도 점수로 결정한다.

그 중 가장 흔하게 쓰이고 효율도 괜찮은 TF * IDF / Length 유사도 점수공식을 알아보자.

Length(D), N

질의문, 문서의 길이나 문서의 갯수를 나타낼 때 사용.

당연한거긴 한데 가중치를 구할때 사용합니다. 혹시나 언급안했다고 모를까봐 적어봤습니다.

 

Term, TF

=> 단어, 구, 품사, 의미.. 문서의 특징을 나타낼 수 있는 단위

Term frequency (TF), [특정한 문서] 내에 출현한 Term의 개수.

Doucment 99 = [미국, 한국, 중국, 한국, 미국, 한국]

TF ( D99, 한국 ) = 3

TF ( D99, 미국 ) = 2

TF  (D99, 중국 ) = 1

---

 

Document, DF

=> 문서, 문서집합(collection)

Doucment Frequency (DF), [전체 문서 집합]에서 Term이 출현한 [문서의 수]

- 한 문서 내에 여러번 등장한 건 상관없다. 하나라도 있나 없나에 대한 여부만 따짐.

---

 

IDF (Inverse DF)

검색어에 단어의 출현 빈도가 많을 수록(TF) 점수가 높아져야하고
흔한 단어라서, 전체 문서에 자주 쓰이는 단어일수록(DF) 유사도 점수가 낮아져야 합니다.

즉 TF에는 비례하고 DF는 반비례 해야 하기 때문에 DF의 역수인 IDF을 사용합니다.

보통 log를 씌워 사용합니다.

IDF값에 문서의 갯수(n)을 곱한 수치를 사용하고, 단순 역수가 아니라 보통 Log(또는 자연로그)를 많이 사용합니다.

분모가 0이 되면 값이 무한이 되기 때문에  1 + df(t) 으로 만들어 줍니다. 참고로 idf의 결과값이 0~1 사이면, 가중치가 곱해졌을 때 숫자가 작아지기에 idf값에 1을 더하기도 합니다.

보통 1+log( n / 1+df(t) ) 으로 사용하고 자연로그(ln)를 사용합니다.

 

* [더보기] 왜 그냥 역수가 아닌 log를 씌우는거죠?

로그를 사용하면 가중치가 너무 커지는 것을 방지하고, 각 문서 별로 골고루 부여하는데 도움이 됩니다.

 

예를 들어, 기본적인 단어들 (a, the, ~은, ~가)은 자주 쓰이지 않는 단어에 비해 최소 수십, 수백배는 더 등장합니다. TF-IDF 계산식은 모든 문서에서 자주 등장하는 단어의 중요도를 낮게 판단하게 되는데 단순한 역수로 계산해버리면 이런 단어들 때문에 별로 희귀하지도 않은 단어들에게 상대적으로 높은 가중치가 부여되게 됩니다.

 

또한 가중치의 증가량을 조절해 직관적으로 바꿔줍니다.

아래는 문서가 100만개일 때 단순 idf와 log(idf)의 차이입니다.

---

* [더보기] CF(Collection Frequency) 는 뭐에요?

DF와 비슷하나, 문서의 개수, 경계를 따지지 않고 특정 집합 전체를 한 문서로 보고 Term의 개수를 셉니다.

언어 기반 검색모델 등에서 DF 대신에 CF를 사용 할 때가 있습니다. 지금은 간단한 개념만 알고 넘어갑시다.

---

 

퀴즈

* 문제에서는 계산의 편의성을 위해 idf(t)에 로그를 씌우거나 1을 더하지 않고 사용했습니다.

1. 다음 전체문서집합 {D1,D2,D3,D4}에 대해 아래 값들을 채우시오.
- 단, 용어 t의 idf(t)는 N을 전체문서 집합크기라고 할 때 idf(t)=N/df(t) 로 계산

D1=[한국,한국,한국,미국]  D2=[한국,미국,미국]  D3=[한국,중국]  D4=[한국,일본]

tf(D1,한국)=    tf(D3,미국)=    df(한국)=     df(미국)=    cf(미국)=     idf(미국)=     idf(한국)=    

풀이

tf(D1,한국)= 3  Document1에는 한국이라는 Term이 3개가 있다.
tf(D3,미국) = 0  Document3에는 미국이라는 Term이 0개가 있다.
df(한국) = 4  전체 문서집합(D1,2,3,4)에서 한국이 나온 문서는 총 4개이다
df(미국) = 2  전체 문서집합(D1,2,3,4)에서 미국이 나온 문서는 총 2개이다
cf(미국) = 3  전체 문서집합 Collection에서 '미국'이 나온 횟수는 3번이다.
idf(미국) = 4/2  문서의 갯수(4) / df(미국)
idf(한국) = 4/4  문서의 갯수(4) / df(한국)

 

---

2. 다음은 질의 Q와 전체문서집합 {D1,D2}를 보인 것이다.
- tf만을 사용하여 질의와 각 문서의 유사도를 적으시오.

Q=[사과] D1=[수박,사과] D2=[사과,사과]

sim(Q,D1) =    sim(Q,D2) =

풀이

sim(Q,D1) = 1  tf(Q, D1)의 값은 1이다. 
sim(Q,D2) = 2  tf(Q,D2)의 값은 2이다.

---

3. 다음은 질의 Q와 전체문서집합 {D1,D2}를 보인 것이다.
문서길이만을 사용하여 질의와 각 문서의 유사도를 적으시오.
- 문서길이는 문서 내 출현 용어들의 총 개수로 계산하시오.

Q=[사과] D1=[사과] D2=[사과,사과]

sim(Q,D1) =    sim(Q,D2) =    

풀이

sim(Q,D1) = 1/1 길이만 비교함. length(Q) / length(D1)
sim(Q,D2) = 1/2 길이만 비교함. length(Q) / length(D1), 길이만 사용해서는 정확한 유사도를 구하지 못한다.

---

4. 다음은 질의 Q와 전체문서집합 {D1,D2}를 보인 것이다.
idf만을 사용하여 질의와 각 문서의 유사도를 적으시오.
- 용어 t의 idf(t)는 N을 전체문서 집합크기라고 할 때 idf(t)=N/df(t)로 계산

Q=[사과] D1=[수박,사과] D2=[사과,사과]

sim(Q,D1) =    sim(Q,D2) =    

풀이

sim(Q,D1) = 2/2 전체문서갯수(2) / df(사과), 헷갈리지말자 df는 단어가 1개이상 사용된 문서의 수이다.
sim(Q,D2) = 2/2 전체문서갯수(2) / df(사과), 이 문제처럼 idf만 사용해서는 정확한 유사도를 구하지 못한다.

---

5. 다음은 질의 Q와 전체문서집합 {D1,D2,D3}를 보인 것이다. 
아래 유사도 수식 sim(Q,D)를 사용하여 위 질의 Q와 문서 D1의 유사도 수식을 적으시오.

- 아래 수식에서 qi는 질의 Q의 i번째 출현 용어이다.
- 문서길이 Length(D)는 문서 내 출현 용어들의 총 개수로 계산
- 용어 t의 idf(t)는 N을 전체문서 집합크기라고 할 때 idf(t)=N/df(t)로 계산

Q=[부산 관광] D1=[부산 부산 관광] D2=[서울 부산 관광] D3=[해외 관광]

풀이

그림설명

---