#9 언어 모델(Language Model)

우리는 앞에서 

불리언 모델

벡터공간모델

확률 모델(BIM, 이진모델만 설명했음)을 배웠다.

 

이제 마지막으로 가장 최근에 나온 언어 모델을 배워보자.

사실 확률 모델보다 언어 모델이 TF, IDF, Len을 사용한 확률 계산을 '제대로'하는 모델이라고 볼 수 있다.

 

# 언어 모델이 무슨 의미죠?

[ Language Modeling Approach to IR ] 언어 모델 기반 정보검색 방법을 의미한다. (언어 모델 자체가 아니다)

먼저 언어모델에 대해서 이해를 한 후, 언어모델을 이용해서 정보검색 하는 방법을 알아보자.

 

# Language Model

어떤 언어에 속하는 임의의 표현 (문장, 구, 단어)에 대한 확률 분포 (사실 이게 진정한 확률모델이라고 불리는게 맞는거 같기도 하다.)

방대한 데이터를 이용하여 한국어에 있는 모든 가능한 표현에 대해 확률을 계산. = <한국어 모델>

 

# N-gram Language Model

단어를 N-gram으로 나눈 후 해당 단어들을 하나의 사건으로 보고 연속으로 나올 확률을 곱하는 방법.

{ 대한, 한민, 민국 } 으로 나누어진 2-gram이 있다면

$ P(대한, 한민, 민국) = P(대한) * P(한민|대한) * P(민국|대한, 한민) $

P(A,B) = P(A) P(BA) 를 반복한다고 생각하면 된다.

* 참고로 이렇게 추출한 말뭉치를 Corpus (복수 Corpora)라고 IR에서는 부른다. 또한 N-gram은 영어로 나타냈을 때 더 자연스럽긴 하다.

Docs : { an adorable little boy is spreading smiles }

(1) unigrams : an, adorable,  little,  boy,  is,  spreading,  smiles
(2) bigrams : an adorable,  adorable little,  little boy,  boy is,  is spreading,  spreading smiles
(3) trigrams : an adorable little,  adorable little boy,  little boy is,  boy is spreading,  is spreading smiles
(4) 4-grams : an adorable little boy,  adorable little boy is,  little boy is spreading,  boy is spreading smiles

 

{ 평창, 동계, 올림픽 } 이렇게 3단어로 쪼개어 졌다고 하면

- '평창' 이 나올 확률 $P(평창)$ = $\frac{평창이 나온 횟수}{모든 단어의 출현 횟수}$

- '평창' 다음에 '동계'가 나올 확률 $P(동계)$ = $\frac{평창, 동계 같이 나온 횟수}{평창이 나온 횟수}$

* 평창이 나올 확률이 아니라, 이미 평창이 나왔는데 다음에 동계가 나올 확률이므로 평창이 나온 경우에서 평창과 동계가 함께 나온 비율을 계산하면 된다.

- '평창 동계' 이후 올림픽이 나올 확률 = $\frac{셋 다 나온 횟수}{평창,동계가 나온 횟수}$

 

이런식으로 계산하여 '평창 동계' 다음에 나올 단어를 정한다. ( 더 확률값이 높은 값)

 

* 앞의 방법으로 각 단어마다 앞의 확률을 곱하면 끝도 없이 계산 할수도 있겠지만 (Ex P(올림픽|평창 동계 좋아 대박 ...)) 보통 n-gram을 이용한 언어 모델은 앞의 n-1개의 단어만 확률에 포함한다. 예를 들어 4-gram이라고 하면 아래와 같이 해당 단어 앞의 3(= 4-1)개만 확률 계산을 한다.

4-gram에서는 보통 n-1개의 앞 단어, 즉 3단어 (boy is spreading)이 나올 확률만 계산한다.

---

물론 2-gram(2음절 단위)로 단어의 2칸 앞까지만 계산하더라도 계산식이 매우 복잡하므로, 우리는 Unigram(음절이 아닌 의미있는 단어단위) 언어모델을 이용하여 앞에 한 단어의 확률만 곱하는 IR 검색모델을 만들어 보겠다.

 

참고로 언어모델에서 [특정모델 M]을 사용했음을 표시할려고 확률에 $P(단어 |M)$ 라고 표시하기도 한다.

각 단어들의 확률을 전부 다하면 1이 되도록 만들면 된다. (그래서 개별 단어의 확률수치가 매우 작다)

* 이 아래에 있는 모델들은 전부 Unigram을 기준으로 설명하겠다.

---

# 문서 모델 (문서의 언어모델, document model)

사람이 어떠한 문서를 작성할 때, 어떤 단어를 주로 사용할지는 '글을 작성한 사람'의 생각에 따라 달라진다.

IR 용어로 말하면, [문서를 작성하는 사람]에 따라 해당 [문서에서 특정단어가 출현할 확률(문서모델)]이 달라지게 된다.

즉, 검색에서의 언어모델은 [각 문서마다의 언어모델] => 문서 모델을 의미하고 이를 IR에 사용한다.

 

언어모델을 이용한 IR을 하기 위해서는 각 문서마다 해당 문서의 언어모델 (문서에서 사용되는 단어들의 확률)을 찾아 만들어야 한다.

각 문서마다 언어모델은 다르다. 정보검색(IR)을 위해선 이를 찾아내야한다.

참고로 정확도 P에 [D에 대한 언어모델]을 사용했다는 의미로 $P(단어|M_d)$라고 표기한다.

---

# 문서모델은 어떻게 만드나요?

당연히 어떠한 단어를 주로 사용했는지는 문서의 작성자가 아닌 이상 알기도 어렵고 안다해도 직접 만들기도 어렵다.

그래서 우리는 문서로 부터 단어를 Sampling해서 문서모델을 만들어낸다.

 

문서를 공이 든 보자기 S 로 예를 들어보자. 보자기 안에는 수 많은 공이 들어 있으므로, 전부 꺼내서 확인하는건 불가능에 가깝다. 그래서 우리는 Sampling을 통해 해당 보자기에서 몇 개의 공을 추출해서 추정확률을 구한다.

 

MLE (Maximum Likelihood Estimation) 란?

* 참고로 공이 나온 비율로 단순 확률을 계산 한 것을 MLE (Maximum Likelihood Estimation, 최대 가능도 평가)라고 부른다. 그래서 MLE로 확률 값들을 계산하여 [문서 D의 확률 분포표]로 만든 것이 곧 해당 문서의 언어모델이라고 볼 수 있기 때문에 D_MLE 라고 적는다.

ex) 추출한 문서($D'$)의 크기가 10이고, 송정 3개, 바다2개, 낚시 5개가 나왔다면

D_MLE (=확률분포표, 해당 문서의 추정 언어모델)

P(송정)	3/10
P(바다)	2/10
P(낚시)	5/10

 

 

파란공2개, 노랑공 1개가 나올 확률 => { 파파노, 파노파, 노파파 } 의 확률을 구해서 더하면 된다.

이를 언어모델에 그대로 적용하면 다음과 같다.

특정 문서에서 "송정, 바다, 낚시"가 나올 확률 => { 송바낚, 송낚바, 낚바송, 낚송바, 바송낚, 바낚송} 의 확률을 더하면 된다.

D 문서의 언어모델(=확률 분포표)를 만들 때 전체 문서의 크기 $D$로 나누는게 아니라 $\frac{단어의 개수}{추출한 문서 D'의 크기}$ 임을 유의하자.

---

# N-gram 언어 모델의 한계

앞의 예제에서 알 수 있겠지만, N-gram 모델은 보통 (n-1)개의 앞 단어만 확률에 반영한다.

대충 되겠지하고 넘어 갈 수도 있겠지만, 만약 다음과 같은 2문장(말뭉치, 코퍼스데이터)가 있다고 생각해보자.

A '~...~ 작고 사랑스러운 소년이 모욕적인 욕설을 퍼부었다'

B '~...~ 작고 사랑스러운 소년이 행복하게 웃음을 지었다.'

[작고 사랑스러운 소년]이라는 단어 다음에 올 데이터를 추측할려면, 과연 몇 단어 앞까지 읽어야 예측할 수 있을까? 앞의 3단어만 본다면, 당연히 B[행복하게 웃음을]이 맞는 예측이라고 생각 할 수 있겠지만, 작성자가 소년을 비꼬기위해서 앞의 100단어를 욕으로 도배해놓고 마지막에 앞에 사랑스럽다는 수식을 붙였다면 '모욕적인' A가 정답일 것이다.

 

즉, n-gram은 앞의 단어 몇개만 보다보니 의도하고 싶은대로 문장을 끝맺음 하지 못한다는 단점이 있고 이는 문장 전체를 고려한 언어모델보다 정확도가 떨어질 수 밖에 없다.

---

# 확률 곱셈이 0이 되버리는 문제

이는 직접 확률 가중치 값을 계산하면서 알아보자.

1. P(D|Q) 를 앞 글에서 배운 베이즈 공식을 이용해 식을 변형시키고, 거기에 순위를 매기는데 무관한 요소들을 최대한 제거하여 간단한 가중치 수식을 만들어 낸다. (정확한 값이 필요한게 아니라, 비교할 가중치값이 필요 한 것이므로)

즉, 각 단어들이 문서 D에 나올 확률이므로 $P(q_1|D) * P(q_2|D) \dots P(q_n|D)$를 해주면 된다.

 

이를 이해하기 쉽게 실제 예제로 살펴보자.

잘 구한 것 같지만, 확률값을 단순히 $\frac{단어_i}{전체 단어 개수}$ ( =MLE 방식)으로 해버리면 특정단어가 출현하지 않은경우(ex 메롱) 전체 확률값이 0이 되버린다는 큰 문제가 있다. 예를 들어

Q = [ 부산, 자갈치, 시장, 메롱 ], D = [ 부산, 자갈치, 시장, 관광]

이렇게 질의문과 거의 똑같은 문서 D가 '메롱' 한 단어 때문에 P(Q|D) = 0이 나오는 치명적인 문제가 있다. 

---

# 희소성(Sparsity) 문제

가지고있는 문서 데이터에서 자주 등장한 단어가 아니면, 희소성 문제가 발생합니다.

예를 들어 '마리룽샤를 요리하다'는 거의 쓰이지 않는 단어이지만, 문장으로는 오류가 없는 정상적인 문장입니다. 하지만 자주 사용되지 않는 희소한 단어이기에 '과학책꽂이를 요리하다' '스피커를 요리하다' 같은 말도 안되는 문장과 같은 확률(정확도P가 거의 0)으로 측정됩니다. 이는 N-gram에서 전반적으로 나타나는 문제이지만, n의 개수를 높일수록 더더욱 심해집니다. (대부분의 단어의 확률이 0에 가깝게 됩니다)

 

위의 2가지 문제를 해결하기위해 우리는 스무딩(Smoothing)과 백오프(Backoff)라는 방법을 사용합니다.

스무딩은 발생 횟수가 0이 되지 않도록 단어의 출현 빈도를 보정해주는 방법입니다.

백오프는 특정 단어의 확률이 P = 0인 경우에만 N-gram에서 n값을 더 작게 사용하는 방법입니다.

다양한 스무딩, 백오프 방법에 대해서 궁금한 친구들을 위한 링크

Smoothing for Language Models - ML Wiki

---

# 해결방법

# Jelinek-Mercer Smoothing (선형보간, linear interpolation)

스무딩은 발생 횟수가 0이 되지 않도록 단어의 출현빈도를 보정해주는 방법이다.

그 중 JM 스무딩은 점수를 특정 비율로 나눠서 (ex 70% 점수 + 30% 보정값 ) 전체문서(컬렉션)으로 만든 보정값을 더해 사용하는 방법이다. JM 스무딩에서는 보정값을 전체문서(컬렉션)의 언어모델 값으로 사용한다.

* 참고로 보통 보정값의 비율($ \lambda $)는 질의문(q)의 길이에 따라 다르게 적용한다. (짧을수록 보정값을 낮게)

 

예를 들어 전체문서집합이 다음과 같고, 보정값 비율이 30%(0.3)이라고 가정한다면

'부산'의 보정값 : $0.3 * \frac{124}{100,000}$

'경제'의 보정값 : $0.3 * \frac{578}{100,000}$ 이 된다.

 

여기서 점수와 보정값의 비율을 $ \lambda, 1- \lambda $ 라고 적고 이를 수식으로 어렵게 말하면

각 단어의 $P(q_i|D)$ =  검색문서 D에 MLE 문서모델을 이용한 가중치 점수

[기존의 가중치 점수] = $(1- \lambda)$ * P( $q_i$ | D_MLE )

[컬렉션 보정값] = $ \lambda $ * P( $q_i$ | C _MLE )

이 둘을 더한 값을 새로운 가중치 점수로 사용하고, 각 단어의 가중치점수를 곱하면 질의문 Q에 대한 가중치 점수가 나온다.

수식으로 보면 어려워보이는데, 실제 계산은 간단하다

이를 실제 예제로 계산한다면 다음과 같다.

Q = [부산, 경제]

D = [부산 자갈치 시장 경제 ... ] 이고, 문서집합은 아래 그림과 같다고 가정하면

확률에 JM 스무딩을 적용하였다.

---

# log로 식을 변형 (곱셈 -> 덧셈)

로그를 이용하여 곱셈을 덧셈으로 변경하여 확률곱이 0이 되는 것을 방지한다.

물론 이렇게하면 가중치 값이 기존과 달라지겠지만, log(a) < log(b) 인 경우 a<b 가 성립하므로 순위를 매기는데는 아무런 문제가 없다.

참고로 + 0.3 1/24.. 는 JM스무딩을 적용한 값이다.

---

# 언어모델에서 IR모델로 ( TF, IDF, Length 요소 )

결국 IR모델은 질의와 문서에 대한 가중치(정확도)를 구하는 식을 하나 만들어야한다.

그래서 위에서 [Unigram 언어모델+JM스무딩 값을 (점수 + 보정값)] 식을 정리해서 계산하기 편하게 하나의 식으로 만들어보자.

앞의 확률모델에서도 배웠지만 우리가 정보검색 모델을 만들 때, 제대로 동작하는 모델을 만들려면 단어의 빈도(TF)와 단어출현빈도(IDF), 그리고 검색된 문서의 길이(Length)가 모델에 반영되어야 한다.

 

위의 JM 스무딩을 사용한 언어모델은 확률모델(BM25)와 다르게 별도의 값을 추가 할 필요 없이, 이미 보정값을 통해 TF, Length, IDF가 적용 되었으므로 해당 요소를 다가지고 있다고 볼 수 있다.

그래서 그냥 JM 스무딩을 JM확률모델로 볼 수도 있다는것을 유의하자.

---

# 디리클레 스무딩(dirichlet smothing)

위에서는 간단한 JM스무딩을 사용하여 계산을 했지만, 스무딩 방법에는 여러가지가 있다.

JM스무딩보다 효과가 좋은 방법으로 디리클레 분포를 사용한 '디리클레 스무딩'이라는 것이 있다.

디리클레 스무딩에서는 보정값 비율을 문서길에 따라 달라지는 변수( $\mu ,뮤$ )로 사용한다.

TREC 계산을 해보니 변수(m)의 값은 1000~2000이 가장 성능이 좋다고 한다.

 

여기에서 ' 왜 저런모양으로 수식이 변형되었는가? ' 의 유도과정은 디리클레 분포를 공부해야하니, 일단 넘어가도록 하자. 디리클레 분포를 이용한 수식에서도 마찬가지로 성능을 좋게하고 곱셈을 덧셈으로 만들기 위해 log를 취한다.

(* 질의문에서 같은 단어가 여러번 나올 수 있음을 유의하자. 단어가 같다고 계산을 생략하면 안된다.)

이도 JM과 마찬가지로, 디리클레 스무딩이 아닌 디리클레 언어모델이라고 부를 수도 있다.

---

# 근데 변형한 수식의 확률의 합이 1(100%)가 되나요?

언어모델에서의 가중치는 전체를 1(100%)로 보고 각 단어마다 확률(ex 0.0003)을 부여하는 방법이라고 했다.

수식을 많이 변형시켜서 그렇게 안보일수도 있는데, 직접 계산해보면 디리클래, JM 둘다 확률들의 합이 1이 나온다.

직접 계산해보면 전체 확률이 1인건 변하지 않음을 알 수 있다.

 

---

---

# 퀴즈

1. 다음은 문서집합(컬렉션, Collection)과 질의(Query)를 보인 것이다.

Q = [한국, 대선]

D1 = [한국, 한국, 미국, 대선, 대선, 대선, 대통령]

D2 = [한국, 한국, 대선, 미래, 선거]

D3 = [민주당, 한나라당, 대선, 대통령, 선거]

D4 = [미국, 대선, 대선, 한국, 대통령]

D5 = [미국, 대통령]

 

1-1 log P(Q| D3_JM ) 의 수식을 적으시오 (단 $\lambda = 0.3$)

풀이

IR은 질의문(Q)과 검색된 문서(D_i)의 가중치 값을 구해서 순위를 매기는 작업이다.

즉 질의문의 각 단어 { 한국, 대선 } 를 검색된 문서 D3에 대해 각각 JM모델을 적용한 가중치 수식을 계산하면 된다.

 

이 때 JM 모델의 가중치비율($\lambda$)값이 0.3이라고 했으므로 질의문 i번째 단어를 $q_i$ 라고 한다고 가정하면

가중치점수 P(Q|D3 JM)은

각 단어의 가중치: $0.7 * \frac{q_i 출현횟수}{D3의 전체 단어 개수}$ + $0.3 * \frac{전체 문서집합에서 q_i 출현횟수}{전체 문서집합 단어 개수}$ 를 구해서 곱하면 된다.

참고로 D3에 대한 정보가 없더라도 MLE 테이블(각 단어의 확률값) 이 주어진다면 똑같이 계산 할 수 있다.

 

참고로 전체 문서집합(C)의 단어 개수는 총 24개이다 (직접 세보면 된다)

전체 문서집합에서 한국은 5번, 대선은 7번 나왔다.

P(한국|D3_JM) = P(한국| D3_JM) = $(0.7  * \frac{0}{5}$) + $(0.3 * \frac{5}{24}$

P(한국|D3_JM) = P(대선| D3_JM) = $(0.7  * \frac{1}{5}$) + $(0.3 * \frac{7}{24}$

 

가중치는 각 단어들의 가중치의 곱, 즉 $P(한국) * P(대선)$ 인데, 이 값에 log를 씌워라고 했으니\

log $P(한국) * P(대선)$ 이고 로그의 성질에 의해 덧셈으로 바뀌게 된다.

정답 = log $(0.7  * \frac{0}{5}$) * $(0.3 * \frac{5}{24}$ + log $(0.7  * \frac{1}{5})$ * $(0.3 * \frac{7}{24})$

참고로 이렇게 각 단어의 가중치를 더하지 않고 단어별 표로만들면, 그게 JM 언어모델 (D_JM)이다.

 

 

1-2 log P(Q| D3_Dirichlet ) 의 수식을 적으시오 (단 $\mu = 2000$)

풀이

JM과 비슷하다. 오히려 계산은 더 간단하다.

JM에서 구한 값을 그대로 옮기면 된다.

1-1번 문제에서 JM에서 구한 식을 그대로 적용하면

= log ($\frac{0+\mu* \frac{5}{24}}{5+\mu})$ + log $(\frac{1+\mu*\frac{7}{24}}{5+\mu})$

$\mu$의 값이 2000이라고 했으므로

= log $(\frac{0+2000 * \frac{5}{24}}{5+2000})$ + log $(\frac{1+2000*\frac{7}{24}}{5+2000})$

 

참고로 수식을 적으라는 문제가 아닌, 언어모델 (단어마다의 확률 표)를 만들라 하면 다음과 같이 적으면 된다.