#7. 검색 성능평가 TestCase

앞에서 열심히 했으니 쉬어가는 글 라고 생각하고 그냥 읽어보자

# 검색 성능평가 데이터

당연한거지만 검색 성능 평가를 위해서는 아래 3가지가 필요하다.

1. 문서(D) 집합

2. 질의(Q) 집합

3. 질의-문서간의 적합성 판단자료 (점수)

 

앞에 글에서 설명했듯이. 3.적합성 판단자료는 점수(가중치)를 여러가지 방법으로 매길 수 있다.

이러한 적합성 판단자료를 국제적으로 만들어주는 기관(NIST)이 있는데, 평가 자료가 필요하다면 다음 링크에서 받을 수 있다.

https://trec.nist.gov/trec_eval/

Text REtrieval Conference (TREC) trec_eval

 

# 한국어 데이터 셋

다만 한국어 정보검색 테스트 컬렉션은 많이 부족한 편인데, 괜찮은 데이터 셋들은 아래 링크를 통해 받을 수 있다.

참고로 글 작성시기(2021년 5월)에 네이버 AI 컨퍼런스에서 어마어마한 한국어 데이터 셋을 만든다고 하니 기대해도 좋을지도?

 

#영어 데이터 셋

영어는 정말 데이터가 널리고 널렸다. 

 

 

# 파이썬으로 실습해보기

- 작성중...

IR성능평가-KTset-실습.zip

0.90MB