#5 벡터 모델 SMART 표기법

# 정보검색의 벡터 Ranking

-> 문서벡터와 질의벡터의 TF*IDF를 구해서 두 벡터의 크기를 비교함. ( 이 값을 비교하기 좋게 0~1로 정규화)

문서벡터와 질의벡터의 TF, IDF, 정규화 수식을 다르게 적용 할 수 있음.

 

# SMART 문서검색모델 표기법 (2008)

이렇게 각 용어에 점수를 사용하는 방법을 < 용어 가중치 (term weighting) >부여기법이라고 한다..

ex) lnc.ltc (ddd.qqq)

문서벡터 lnc (ddd)

TF      : $ l(log) :: 1+log( tf(t,d) ) $

IDF     : $ n(natural, no) :: 1 $

정규화 : $ c(cos) :: $ 코사인 공식 (아래 예제에서 설명함.)

 

질의벡터 ltc (qqq)

TF      :  $ l  (log) -> 1+log( tf(t,d) ) $

IDF     : $ t  ( df) -> 1 $

정규화 : $ c  (cos) :: $ 코사인 공식 (아래 예제에서 설명함.)

---

# 문서집합에 없는 질의는 계산에 반영되지 않는다.

참고로 bnn은 다음과 같다.

Bool(존재여부만 0,1)    N( IDF 사용안함, 값*1 )    N(정규화 사용안함, 값*1)

TF * IDF * 정규화 = 존재하면 1, 아니면 0 이 나오는 계산식.

(방역,코로나,한국)     Q=(0,0,1)    D2=(1,0,1)

질의에 사용된 '마스크' 라는 단어는 문서집합에 존재하지 않으므로 '마스크' 벡터는 계산되지 않는다. (벡터 그래프의 차원이 늘어나지 않는다.)

검색할 내용이 문서에 없으니 점수를 부여 못한다는 당연한 이야기이지만, 헷갈릴수 있기에 한번 더 언급한다.

 

---

# 직접 계산해보자

# lnn.ltc

공식

벡터값은 TF * IDF * 정규화 로 계산한다.

$N$ 은 전체 문서의 개수

$df( T )$ 는 해당 단어가 나온 문서의 개수

$tf( T , D )$ 는 문서D에서 해당 단어의 출현 횟수 이므로 아래 같이 쉽게 계산할 수 있다.

 

문서 벡터 lnn의 공식 $ ( 1+log(tf) ) * 1 * 1 $

질의 벡터 ltn의 공식  $ ( 1+log(tf) ) * log\frac{N}{df} * 1 $

 

---

# lnc.ltc

문서 벡터 lnc의 공식 $ ( 1+log(tf) ) * 1 * \frac{1}{\sqrt( W_1^2 + W_2^2 + \dots + W_M^2)} $

질의 벡터 ltc의 공식  $ ( 1+log(tf) ) * log\frac{N}{df} * \frac{1}{\sqrt( W_1^2 + W_2^2 + \dots + W_M^2)} $

 

코사인 법칙에서 $ \sqrt(  W_1^2  + W_2^2 + \dots + W_M^2 ) $ 부분은

W(weight)은 앞에서 구한 TF*IDF의 가중치를 의미하며 이 식은 해당 벡터의 크기를 구하기 위한 코사인 공식이다.

벡터의 크기는 각 문서에서 출현한 단어들의 가중치(W)를 제곱 한 후 더해서 루트를 씌워준 값이다.

 

코사인 공식이 들어가서 어려워보이는데, 직접 계산해보면 생각보다 쉽다.

1. 먼저 ln(문서벡터), lt(질의벡터)만으로 먼저 각각의 가중치를 구하자.

2. 이렇게 구한 가중치 $\{D2(2,0,1) , Q(0,0,1)\}$를 이용하여 질의, 문서벡터의 크기를 구한다.

단순히 각각의 요소들을 제곱한 후 더한 뒤 루트를 씌우면 된다.

3. 구한 값을 뒤집어 분수로 만들어주면 끝. log 값은 굳이 계산해주지 않아도 된다. (단 $log(1) =0$)