🐱‍💻전공 공부/정보검색

1. 정보검색과 데이터베이스의 차이점 2. 자연어 검색 시스템의 동의어 다의어 문제 3. 적합성 판단의 기준, 판단하기 어려운 사례 4. IR 시스템의 큰 그림 색인모듈, 역파일 색인(포스팅리스트), 검색모듈 5. 질의 문서 유사도 계산 (TF, IDF, CF) 6. 질의 문서 유사도 수식 ( TF-IDF / Length(D) ) 7. 색인 단위 (2-gram) 한국어는 형태소 분석 같은 것이 없어도 2-gram이 비슷한 동작을 한다. 8. 색인 절차 영어 -> [불용어 제거, 어간생성(stemming)]이 가장 중요한 절차. 9. 영어에서 스태밍과 n-gram 효과 영어에서도 문자단위 4,5-gram이 의외로 효과가 있다. (스태밍은 단어 단위) 10. 문서의 표현 단어 보자기(a bog of word..

앞에서 검색모델의 기본요소(TF, IDF, Document Length, N) 불린 모델 (문제점을 해결한 확장 불리언 모델은 배우지 않았음) 벡터 공간모델(cos 유사도, TF-IDF 데이터모델) 확률 모델(BM25) 언어 모델(JM, dirichlet) 정보검색 성능평가(P, R, F1, Pre, R-pre NDCG) 이렇게 정보검색의 기본요소들을 간략화 하여 배웠습니다. 이제 이렇게 만든 정보검색모델 (IR Model)의 성능을 향상시키는 '적합성 피드백'에 대해 배워봅시다. # 사용자 질의의 불완전, 불충분성 검색모델에서 사용자는 SQL을 이용하여 질문하는게 아니라, 자연어로 질의문을 작성합니다. 즉, 같은 질문 내용이라도 사람마다 질의문의 구성이 다릅니다. 즉 사용자 질의의 불완전, 불충분성 때..

# TF, IDF 기초 다음 전체문서집답 C={D1,D2}에 대해 아래 질문들에 답하시오. 문서는 색인 용어들의 나열로 표현되었다고 가정한다. D1={ 미국, 미국 일본 } , D2={한국, 일본} 1. 위 문서집합에 대해 tf(일본,D1)은 얼마인가? 2. 위 문서집합에 대해 tf(미국,D1)은 얼마인가? 3. 위 문서집합에 대해 df(한국)은 얼마인가? 4. 위 문서집합에 대해 df(일본)은 얼마인가? 5. 위 문서집합에 대해 cf(일본)은 얼마인가? 6. 위 문서집합에 대해 색인 용어 '한국'에 대한 포스팅 리스트를 적으시오. 7. 위 문서집합에 대해 색인 용어 '일본'에 대한 포스팅 리스트를 적으시오. 8. 위 문서집합에 대해 용서 t의 idf(t)를 $\frac{N}{df(t)}$로 계산한다고 ..

우리는 앞에서 불리언 모델 벡터공간모델 확률 모델(BIM, 이진모델만 설명했음)을 배웠다. 이제 마지막으로 가장 최근에 나온 언어 모델을 배워보자. 사실 확률 모델보다 언어 모델이 TF, IDF, Len을 사용한 확률 계산을 '제대로'하는 모델이라고 볼 수 있다. # 언어 모델이 무슨 의미죠? [ Language Modeling Approach to IR ] 언어 모델 기반 정보검색 방법을 의미한다. (언어 모델 자체가 아니다) 먼저 언어모델에 대해서 이해를 한 후, 언어모델을 이용해서 정보검색 하는 방법을 알아보자. # Language Model 어떤 언어에 속하는 임의의 표현 (문장, 구, 단어)에 대한 확률 분포 (사실 이게 진정한 확률모델이라고 불리는게 맞는거 같기도 하다.) # N-gram La..

# 여담 앞에서는 벡터 모델을 주로 설명했었다. 사실 단순히 생각해보면 TF-IDF 모델을 사용하는 벡터 모델이 훨씬 좋을 것 같지만 확률 모델도 굉장히 성능이 좋은 BM25 (Best Match 25, Okapi)라는 모델이 있다. 실제 IR 서비스를 제공하는 ElasticSearch에도 5.0부터 BM25 알고리즘을 기본으로 채택해서 사용중. 재밌는 건 벡터 모델과 달리 수학적으로 전부 증명하고 모델을 사용하기 시작한게 아니라 다른 딥러닝 모델 성능 실험하는 것처럼 '어 이유는 모르겠지만 성능 엄청 좋은데? (=블랙박스)' 하고 쓰면서 조금씩 성능을 증명하고 있는 모델. 자, 여담은 여기까지 하고 이제 BM25이 어떻게 만들어졌는지 알기 위해서 확률 모델을 공부해보자. * 아래 수식에서 BM25 (앞..

앞에서 열심히 했으니 쉬어가는 글 라고 생각하고 그냥 읽어보자 # 검색 성능평가 데이터 당연한거지만 검색 성능 평가를 위해서는 아래 3가지가 필요하다. 1. 문서(D) 집합 2. 질의(Q) 집합 3. 질의-문서간의 적합성 판단자료 (점수) 앞에 글에서 설명했듯이. 3.적합성 판단자료는 점수(가중치)를 여러가지 방법으로 매길 수 있다. 이러한 적합성 판단자료를 국제적으로 만들어주는 기관(NIST)이 있는데, 평가 자료가 필요하다면 다음 링크에서 받을 수 있다. https://trec.nist.gov/trec_eval/ Text REtrieval Conference (TREC) trec_eval trec.nist.gov # 한국어 데이터 셋 다만 한국어 정보검색 테스트 컬렉션은 많이 부족한 편인데, 괜찮은 ..

# MAP (Mean Average Precision) 용어가 나와서 어려워 보이지만, 사실 각 질의문의 평균정확률 (AP, Average Precision)을 더해 평균(Mean)을 낸 값이다. AP(Average Precision) : 하나의 질의문(Q)에 얻은 검색문서에서 $ \frac{적합문서가 나온 곳의 Precision}{전체 적합문서의 수}$ 앞 글 PRC에서 만든 표에서 (적합문서가 나온 정확률)만 뽑아내서 (전체 적합문서의 수)로 나눈다고 생각하면 된다. 2021.06.01 - [분류 전체보기] - #6-1 정보검색 성능 평가 (P, R, F1, PRC) 아래 표에서 적합문서의 위치는 Rank 1, 3, 6 이므로 각각의 정확률 (1.0, 0.67. 0.5) 를 더해서 나누면 된다. 이때..

# 정보검색의 성능은 어떻게 평가할까? 1. Effectiveness, (효과성, 사용자 만족도) 정확률Precision(검색된 문서 중 적합문서의 비율), 재현율Recall(전체 적합 문서중 찾은 비율), F지표 2. Efficiency(효율성) 시간, 공간 복잡도 ( 문서당 평균 색인속도, 검색소요시간 ) -> 이는 알고리즘 성능의 영역이므로 이 글에서 다루지는 않는다. # 그냥 정답을 맞춘 비율로 평가하면 되는거 아닌가요? 그걸 정확도(Accuracy)라고합니다. 이건 예를 한번 들어보면 왜 이게 구린지 알 수 있습니다. 환자 100명의 데이터가 있고, 그 중 5명의 환자가 악성 종양을 가지고 있다고 악성종양을 탐지하는 모델 A가 있다고 생각해봅시다. 모델 A : 아무런 동작없이 모든 환자 100명..

# 정보검색의 벡터 Ranking -> 문서벡터와 질의벡터의 TF*IDF를 구해서 두 벡터의 크기를 비교함. ( 이 값을 비교하기 좋게 0~1로 정규화) 문서벡터와 질의벡터의 TF, IDF, 정규화 수식을 다르게 적용 할 수 있음. # SMART 문서검색모델 표기법 (2008) ex) lnc.ltc (ddd.qqq) 문서벡터 lnc (ddd) TF : $ l(log) :: 1+log( tf(t,d) ) $ IDF : $ n(natural, no) :: 1 $ 정규화 : $ c(cos) :: $ 코사인 공식 (아래 예제에서 설명함.) 질의벡터 ltc (qqq) TF : $ l (log) -> 1+log( tf(t,d) ) $ IDF : $ t ( df) -> 1 $ 정규화 : $ c (cos) :: $ 코..

앞에서 문서의 색인과 대략적인 정보검색 방법을 알아봤다면, 이번에는 실제 정보검색에서는 어떠한 방법(검색모델)으로 질의와 문서의 유사도를 구하는지 알아보자. 대표적인 방법으로는 4가지가 있다. 1. 불린 모델(Boolean model) 집합에 기반하여 논리적으로 있다(True) 없다(False)를 질의문으로 검색한다. 모든 색인어들에 0과 1을 할당하고 각 Term들을 논리 연산(and, or, not)으로 연결한다. 2. 벡터 공간 모델(Vector space model) 앞의 불린모델으로는 존재 여부(0 또는 1)만 알 수 있고 가중치를 계산하여 순위(Ranking)를 매길 수 없다. 그래서 가중치를 0~1 사이의 값으로 측정하는 것이 벡터 공간 모델. 각각의 n개 용어들을 n-차원의 그래프 축(벡터..

색인(Indexing) 이란? 효율적인 검색을 위해 [문서 집합]을 미리 가공해두는 과정을 의미합니다. 색인의 과정 1. 텍스트 추출 - 다양한 형식을 가진 문서에서 순수한 텍스트를 추출해냅니다. 2. 토큰 추출 - text를 검색하기 좋게 토큰화 시킵니다. 3. 불용어(Stop-word) 제거 - 의미를 가지지않아 필요없는 관용어, 불용어를 제거합니다. - 불용어란 관사(a, the)처럼 의미를 가지지않는 용어를 말합니다. 4. 정규화 - 의미를 가진 용어를 기본형으로 바꾸고, 어간을 생성합니다. 영어에서는 Stemming(스태밍)이라고 해서 단어에서 항상 고정되는 어간을 추출합니다. 5. 역파일색인(Inverted Index) 문서에서 단어를 찾는 것이 아니라 색인을 통해 단어에서 특정 문서를 찾아내..

수많은 문서중에 어떤 문서가 가장 적합한지 여부는 유사도 점수로 결정한다. 그 중 가장 흔하게 쓰이고 효율도 괜찮은 TF * IDF / Length 유사도 점수공식을 알아보자. Length(D), N 질의문, 문서의 길이나 문서의 갯수를 나타낼 때 사용. 당연한거긴 한데 가중치를 구할때 사용합니다. 혹시나 언급안했다고 모를까봐 적어봤습니다. Term, TF => 단어, 구, 품사, 의미.. 문서의 특징을 나타낼 수 있는 단위 Term frequency (TF), [특정한 문서] 내에 출현한 Term의 개수. 더보기 Doucment 99 = [미국, 한국, 중국, 한국, 미국, 한국] TF ( D99, 한국 ) = 3 TF ( D99, 미국 ) = 2 TF (D99, 중국 ) = 1 Document, DF..