# 정보검색 회고

1. 정보검색과 데이터베이스의 차이점

2. 자연어 검색 시스템의 동의어 다의어 문제

3. 적합성 판단의 기준, 판단하기 어려운 사례

4. IR 시스템의 큰 그림

색인모듈, 역파일 색인(포스팅리스트), 검색모듈

5. 질의 문서 유사도 계산 (TF, IDF, CF)

6. 질의 문서 유사도 수식 ( TF-IDF / Length(D) )

7. 색인 단위 (2-gram)

한국어는 형태소 분석 같은 것이 없어도 2-gram이 비슷한 동작을 한다.

8. 색인 절차

영어 -> [불용어 제거, 어간생성(stemming)]이 가장 중요한 절차.

9. 영어에서 스태밍과 n-gram 효과

영어에서도 문자단위 4,5-gram이 의외로 효과가 있다. (스태밍은 단어 단위)

 

10. 문서의 표현

단어 보자기(a bog of words) 문서표현

정보검색의 대표적인 문서표현 방식

 

11. 정보검색모델 4가지

불린, 벡터공간, 확률, 언어

 

12. 벡터공간모델

BIM (바이너리 인디펜더스 모델) -> 이진 벡터로 해석, 코사인 유사도

코사인 계산은 반드시 하십쇼

13. 이진벡터표현, TF벡터표현, TF-IDF 벡터표현

 

14. SMART 벡터공간모델 (테이블을 외울 필요는 없어요)

lnc.ltc, bnn.bnn등

15. 정보검색평가(Evaluation)

정확률(P) 재현률(R) F1(조화평균 반반치킨) 2PR/P+R

 

16. PRC 그래프와 표를 이용한 평가방법

- Pre@k, R-pre, MAP, NDCG

 

17. 파이썬

PythonBasics.zip

0.00MB

 

IR_00_split (어절단위)

000_test.py

0.00MB

#1. 파이썬 설치
#- https://www.python.org/ => 다운로드 후 설치(설치 첫 화면에서 PATH 등록 선택할 것)
 

#2. nltk 패키지 설치
#- 명령프롬프트 실행 후 다음 명령 입력하여 nltk 설치 (참조: https://pypi.org/project/nltk/)
#pip install nltk 

#3. 다음 코드를 test.py 파일로 저장 후 명령프롬프트에서 python test.py 실행하면 beautiful의 스테밍 결과 beauti가 출력됨

from nltk.stem.porter import *
stemmer = PorterStemmer()
print(stemmer.stem('beautiful'))

#4. 위 3번의 절차를 test.py를 수정하여 다음 각 단어의 스테밍 결과를 출력하는 파이썬 코드를 작성하시오.
'''
automate
automates
automated
automatic
automatical
automatically
automating
automation
operate
operating
operates
operation
operative
operatives
operational
'''

IR_00_ngram (bi-gram)

IR_ngram_lnc.ltc (lnc.ltc)

IR_ngram_lncltc.py

0.00MB

IR_00_ngram.py

0.00MB

 

코드의 간단한 수정.(ex lnc.ltc로 수정해보거라!)