#8. ํ๋ฅ ๋ชจ๋ธ(Probabilistic Model)
JiwonDev
# ์ฌ๋ด ์์์๋ ๋ฒกํฐ ๋ชจ๋ธ์ ์ฃผ๋ก ์ค๋ช
ํ์๋ค. ์ฌ์ค ๋จ์ํ ์๊ฐํด๋ณด๋ฉด TF-IDF ๋ชจ๋ธ์ ์ฌ์ฉํ๋ ๋ฒกํฐ ๋ชจ๋ธ์ด ํจ์ฌ ์ข์ ๊ฒ ๊ฐ์ง๋ง ํ๋ฅ ๋ชจ๋ธ๋ ๊ต์ฅํ ์ฑ๋ฅ์ด ์ข์ BM25 (Best Match 25, Okapi)๋ผ๋ ๋ชจ๋ธ์ด ์๋ค. ์ค์ IR ์๋น์ค๋ฅผ ์ ๊ณตํ๋ ElasticSearch์๋ 5.0๋ถํฐ BM25 ์๊ณ ๋ฆฌ์ฆ์ ๊ธฐ๋ณธ์ผ๋ก ์ฑํํด์ ์ฌ์ฉ์ค. ์ฌ๋ฐ๋ ๊ฑด ๋ฒกํฐ ๋ชจ๋ธ๊ณผ ๋ฌ๋ฆฌ ์ํ์ ์ผ๋ก ์ ๋ถ ์ฆ๋ช
ํ๊ณ ๋ชจ๋ธ์ ์ฌ์ฉํ๊ธฐ ์์ํ๊ฒ ์๋๋ผ ๋ค๋ฅธ ๋ฅ๋ฌ๋ ๋ชจ๋ธ ์ฑ๋ฅ ์คํํ๋ ๊ฒ์ฒ๋ผ '์ด ์ด์ ๋ ๋ชจ๋ฅด๊ฒ ์ง๋ง ์ฑ๋ฅ ์์ฒญ ์ข์๋ฐ? (=๋ธ๋๋ฐ์ค)' ํ๊ณ ์ฐ๋ฉด์ ์กฐ๊ธ์ฉ ์ฑ๋ฅ์ ์ฆ๋ช
ํ๊ณ ์๋ ๋ชจ๋ธ. ์, ์ฌ๋ด์ ์ฌ๊ธฐ๊น์ง ํ๊ณ ์ด์ BM25์ด ์ด๋ป๊ฒ ๋ง๋ค์ด์ก๋์ง ์๊ธฐ ์ํด์ ํ๋ฅ ๋ชจ๋ธ์ ๊ณต๋ถํด๋ณด์. * ์๋ ์์์์ BM25 (์..