# 복습 : 정보검색 연습문제

# TF, IDF 기초

다음 전체문서집답 C={D1,D2}에 대해 아래 질문들에 답하시오. 문서는 색인 용어들의 나열로 표현되었다고 가정한다. D1={ 미국, 미국 일본 } , D2={한국, 일본}

 

1. 위 문서집합에 대해 tf(일본,D1)은 얼마인가?

2. 위 문서집합에 대해 tf(미국,D1)은 얼마인가?

3. 위 문서집합에 대해 df(한국)은 얼마인가?

4. 위 문서집합에 대해 df(일본)은 얼마인가?

5. 위 문서집합에 대해 cf(일본)은 얼마인가?

6. 위 문서집합에 대해 색인 용어 '한국'에 대한 포스팅 리스트를 적으시오.

7. 위 문서집합에 대해 색인 용어 '일본'에 대한 포스팅 리스트를 적으시오.

8. 위 문서집합에 대해 용서 t의 idf(t)를 $\frac{N}{df(t)}$로 계산한다고 할 때, N의 값은?

9. 위 문서집합에 대해 용서 t의 idf(t)를 $\frac{N}{df(t)}$로 계산한다고 할 때, idf(한국)의 값은?

 

풀이

전체 문서집합 C = {D1, D2}

D1={ 미국, 미국 일본 } , D2={한국, 일본}

 

$tf( t ,D_i)$는 해당 문서$D_i$에서 질의 단어(t)의 출현 빈도를 의미한다.

1. tf(일본,D1) = 1 (D1에는 '일본'이 1번 사용됨.)

2. tf(미국,D1) = 2 (D1에는 '미국'이 2번 사용됨.)

 

$df( t )$는 t가 출현한 문서의 개수를 의미한다. 단어 t의 개수가 아님을 유의하자.

3. df(한국) = 1 (D1)

4. df(일본) = 2 (D1,D2)

 

$cf( t )$ 는 collection-f로 전체 문서 집합을 하나의 문서로 볼 때의 df를 의미한다. 즉 단어가 나온 횟수.

5. cf(일본) = 2 ('일본' 전체문서집합 {D1, D2} 에서 총 2번 출현하였다.)

 

포스팅리스트란 문서를 인덱싱한 것, 즉 특정 단어에 대해서 그 단어가 사용된 문서들의 목록을 의미한다. 

6. '한국' 포스팅리스트 = [D2]

7. '일본' 포스팅리스트 = [D1, D2]

 

idf 는 df의 값을 전체 문서 개수(N)으로 나눈 값이다. 문서의 길이가 아님을 유의하자.

8. 2

9. $idf(t) = \frac{N}{df(t)}$ 수식을 사용한다 했으므로 idf(한국) = $\frac{2}{1}$ = 2

 

# 검색모델 성능평가, 정확률과 재현율, 확률모델

10. 다음 어절들로부터 추출되는 음절 2-gram을 각각 모두 적으시오

{ 부산, 대한민국 }

 

11. 적합문서의 총 개수가 10개인 질의 Q에 대해 8개의 문서가 검색되었으며, 검색된 문서 중 8개의 적합문서가 포함되어 있다. 질의 Q에 대한 정확률은 얼마인가?

 

12. 적합문서의 총 개수가 8개인 질의 Q에 대해 10개의 문서가 검색되었으며, 검색된 문서 중 8개의 적합문서가 포함되어 있다. 질의 Q에 대한 재현율은 얼마인가?

 

13. 적합문서의 총 개수가 5개인 질의 Q에 대해 7개의 문서가 검색되었으며, 검색된 문서 중 3개의 적합문서가 포함되어 있다. 질의 Q에 대한 F1은 얼마인가?

 

14. 적합문서의 총 개수가 20개인 질의 Q에 대해 10개의 문서가 검색되었으며, 검색된 문서 중 10개의 적합문서가 포함되어 있다. 질의 Q에 대한 Pre@10은 얼마인가?

 

15. 적합문서의 총 개수가 5개인 질의 Q에 대해 5개의 문서가 검색되었으며, 검색된 문서 중 5개의 적합문서가 포함되어 있다. 질의 Q에 대한 R-precision은 얼마인가?

 

16. 문서집합의 크기는 100이고, $df(한국)=5$, $df(미국)=3$, $df(일본)=6$ 이라고 할 때, 질의 Q=[한국,미국],  문서 D=[한국,일본]에 대해 아래 수식에 따른 Q와 D의 유사도를 적으시오.

풀이

음절 N-Gram은 말 그대로 n개의 음절 단위로 끊어 읽는 방식이다.

참고로 의미 있는 단어 단위로 끊어읽는건 Unigram 이라고 부른다.

10. 부산 = { 부산 } , 대한민국 = {대한, 한민, 민국}

 

정확률은 검색된 문서 중에 적합문서의 비율, 즉 얼마나 정확하게 검색되었는지에 대한 비율이다.

11. 문서 8개 검색, 그 중 8개가 적합문서이므로

$\frac{적합문서 수}{검색된 문서 수}$ = 8/8 = 1

 

재현율은 전체 적합문서중에서 몇 개의 적합문서를 찾았는지에 대한 비율, 즉 전체 적합문서 재현 비율이다.

12. 문서 10개 검색, 8개가 적합문서인데 전체 적합문서의 개수도 8개이므로

$\frac{적합문서 수}{전체 적합문서 수}$ = 8/8 = 1

 

F1은 F 지표 (조화평균) 값에서 정확률, 재현율에 각각 가중치를 50%씩 주었을 때의 값이다.

F 지표(=조화평균)을 구하는 방법은 a, b가 있을 때 F1 = $\frac{2* a * b}{ a + b}$ 이다.

조화평균을 구하는 공식이 기억이 안난다면 다음 링크를 참조하자. https://jiwondev.tistory.com/51#head4

 

13. 문서 7개를 검색결과로 받았는데 3개가 적합문서이다. (전체 적합문서는 5개이다)

P = 3/7

R = 3/5

F1 = $ \frac{2 * P * R}{P + R}$ = $ \frac{2 * \frac{3}{7} * \frac{3}{5}}{\frac{3}{7} + \frac{3}{5}}$

 

Pre@10 는 10순위 지점에서의 정확률을 의미한다.

14. 문서 10개를 검색결과로 받았는데 그중 10개가 적합문서이다. (전체 적합문서는 10개이다)

10순위 지점이란 검색 순위대로 정렬하였을 때 10개를 사용했을 때의 정확률을 의미한다.

즉 ( ${rank1 = D1, rank2 = D2, \dots rank10 = D10}$ ), 10개 중 10개가 적합문서 이므로

10/10 = 1 

 

R-precision은 pre@k 와 비슷한데, (총 적합문서 수 ==  문서집합 개수) 인 pre@k를 사용함을 의미한다.  

pre@k와 같아보여도 pre@k 는 값이 고정되어있지만 R-pre은 질의문의 총 적합문서 수에 따라 k가 달라짐을 유의하자.

15. 5개가 검색되었는데, 그 중 5개가 적합문서이다 (전체 적합문서는 5개이다)

해당 질의에서 총 적합문서의 수는 5개이므로 pre@5를 사용하면 된다.

5개중 5개가 적합문서이므로 5/5 = 1

 

참고로 해당 수식은 확률모델(이진데이터 모형, BIM 사용) 에서 적합/비적합 출현정보가 없을 때 사용하는 수식이다.

16. 문서집합의 크기가 100, $df(한국)=5$, $df(미국)=3$, $df(일본)=6$ 

Q=[한국,미국],  문서 D=[한국,일본]

N은 전체 문서의 개수, $n_i$ 는 i번째 단어가 출현한 문서의 개수를 의미한다.

Q=[한국,미국] 이므로 해당 문서D 에 출현하는 단어들의 확률을 구하여 더해주면 Sim (Q,D)가 된다.

'한국' = $log \frac{N-n_한}{n_한}$  =  $ log \frac{100-5}{5} $

'미국' = $log \frac{N-n_미}{n_미}$  =  $ log \frac{100-3}{3} $

하지만, '미국'은 문서 D에 출현하지 않으므로 확률에 포함되지 않음을 유의하자. 

정답 = D[한국,일본] = 한국 $ log \frac{100-5}{5} $ + 일본 0 (질의문에 나오지 않았으므로 유사도값은 0이다.)

= $ log \frac{100-5}{5} $