분류 전체보기

앞에서 열심히 했으니 쉬어가는 글 라고 생각하고 그냥 읽어보자 # 검색 성능평가 데이터 당연한거지만 검색 성능 평가를 위해서는 아래 3가지가 필요하다. 1. 문서(D) 집합 2. 질의(Q) 집합 3. 질의-문서간의 적합성 판단자료 (점수) 앞에 글에서 설명했듯이. 3.적합성 판단자료는 점수(가중치)를 여러가지 방법으로 매길 수 있다. 이러한 적합성 판단자료를 국제적으로 만들어주는 기관(NIST)이 있는데, 평가 자료가 필요하다면 다음 링크에서 받을 수 있다. https://trec.nist.gov/trec_eval/ Text REtrieval Conference (TREC) trec_eval trec.nist.gov # 한국어 데이터 셋 다만 한국어 정보검색 테스트 컬렉션은 많이 부족한 편인데, 괜찮은 ..

# MAP (Mean Average Precision) 용어가 나와서 어려워 보이지만, 사실 각 질의문의 평균정확률 (AP, Average Precision)을 더해 평균(Mean)을 낸 값이다. AP(Average Precision) : 하나의 질의문(Q)에 얻은 검색문서에서 $ \frac{적합문서가 나온 곳의 Precision}{전체 적합문서의 수}$ 앞 글 PRC에서 만든 표에서 (적합문서가 나온 정확률)만 뽑아내서 (전체 적합문서의 수)로 나눈다고 생각하면 된다. 2021.06.01 - [분류 전체보기] - #6-1 정보검색 성능 평가 (P, R, F1, PRC) 아래 표에서 적합문서의 위치는 Rank 1, 3, 6 이므로 각각의 정확률 (1.0, 0.67. 0.5) 를 더해서 나누면 된다. 이때..

# 정보검색의 성능은 어떻게 평가할까? 1. Effectiveness, (효과성, 사용자 만족도) 정확률Precision(검색된 문서 중 적합문서의 비율), 재현율Recall(전체 적합 문서중 찾은 비율), F지표 2. Efficiency(효율성) 시간, 공간 복잡도 ( 문서당 평균 색인속도, 검색소요시간 ) -> 이는 알고리즘 성능의 영역이므로 이 글에서 다루지는 않는다. # 그냥 정답을 맞춘 비율로 평가하면 되는거 아닌가요? 그걸 정확도(Accuracy)라고합니다. 이건 예를 한번 들어보면 왜 이게 구린지 알 수 있습니다. 환자 100명의 데이터가 있고, 그 중 5명의 환자가 악성 종양을 가지고 있다고 악성종양을 탐지하는 모델 A가 있다고 생각해봅시다. 모델 A : 아무런 동작없이 모든 환자 100명..

# 정보검색의 벡터 Ranking -> 문서벡터와 질의벡터의 TF*IDF를 구해서 두 벡터의 크기를 비교함. ( 이 값을 비교하기 좋게 0~1로 정규화) 문서벡터와 질의벡터의 TF, IDF, 정규화 수식을 다르게 적용 할 수 있음. # SMART 문서검색모델 표기법 (2008) ex) lnc.ltc (ddd.qqq) 문서벡터 lnc (ddd) TF : $ l(log) :: 1+log( tf(t,d) ) $ IDF : $ n(natural, no) :: 1 $ 정규화 : $ c(cos) :: $ 코사인 공식 (아래 예제에서 설명함.) 질의벡터 ltc (qqq) TF : $ l (log) -> 1+log( tf(t,d) ) $ IDF : $ t ( df) -> 1 $ 정규화 : $ c (cos) :: $ 코..

Computer 컴퓨터는 말 그대로 계산을 하는 기계이다. 컴퓨터 (Compute = 계산하다) 논리적 언어로 표현된 수식을 계산하거나 작업을 통제하는 기계 초기에는 덧셈과 뺼셈을 쉽게 하기위해 개발하였으며, 점차 발전하여 1950년대 쯤에 전산기기를 '컴퓨팅 머신'(Computing Machine)라고 불렀다. 본래, 산술은 수학적인 문제와 밀접하게 연관되어 있지만, 현대 컴퓨터들은 값이 싸지고 용도가 다양해짐에 따라, 수학과는 관계 없는 많은 일에도 쓰인다. # 왜 만들었을까? 우리가 지금 보고, 쓰고있는 컴퓨터가 등장한건 100년도 되지않았다. 그전에는 사람 머리로 계산하였고, 식이 복잡하다면 주판이나 간단한 장치를 이용하였다. 딱히 엄청난 수의 계산이 필요하지도 않았고, 그리 연산속도가 빠를 필요..

이번시간에는 직접 GHCI를 다루며 다른 언어와 비슷한 사용법을 배워봅시다. 실제 Main코드를 다루는 건 다음글에 설명하겠습니다. 지금은 간단하게 어떤 기능들이 있는지 가볍게 알아보고 갑시다. 참고로 함수를 중간에 입력하고 싶다면 따음표( ' ~ ' ) 를 통해 함수임을 알려주어야 합니다. myFunc 3 5 3 'myFunc' 5 0. GHCI 사용방법 ( 강제종료 Ctrl + D ) 콘솔창에 GHCI를 입력하면 되며 스택을 이용하여 설치했다면 아래 명령어로 실행가능합니다. stack ghci 1. max min succ (successor, 해당 값에 +1) ghci> succ 9 10 ghci> (succ 9) + (max 5 4) + 1 16 2. 첫번째 함수 doubleMe x = x + x ..

이 글에서는 하스켈 설치방법에 대해 언급하지 않습니다. 필요하다면 아래 링크를 참고하여 하스켈 개발에 필요한 환경을 구성해주세요. 2021.03.11 - [개발 언어/Haskell] - 하스켈 개발환경 (stack + IntelliJ plugin) 하스켈 개발환경 (stack + IntelliJ plugin) #1. 하스켈 컴파일러 가장 많이 쓰이는 하스켈 컴파일러는 GHC(glasgow haskell compiler)이며 콘솔창에서 사용 시 GHCI (GHC 인터프리터)를 이용해서 컴파일러를 사용합니다. 우리는 Stack을 이용해서 설치 jiwondev.tistory.com 하스켈은 정말 엄격한 문법을 가진 순수 함수형 프로그래밍 언어라서 Main코드부터 작성하기 어렵습니다. 보통 stack 라이브러리..

Hello Haskell! 순수 함수형 프로그래밍의 정수, 함수형의 대가인 논리학자 Haskell Curry의 이름을 빌린 멋진 언어입니다. 심지어 함수형 프로그래밍의 용어 중에 Currying이라는 표현이 있죠. 이거 저 사람 이름에서 가져온 용어입니다. C언어와 비슷한 선상에서 1990년도에 출발하였지만 가끔 보면 이미 망해서 하스켈 개발자들이 다 없어진 것이 아닐까 의심되는 거북이급 업데이트 속도와 메인 코드 작성부터 어려운 정신나간 러닝 커브는 언제나 개발 언어 점유율 순위 최하위권을 앞다투고 있습니다. 하지만 의외로 매니아층이 두터우며 2020년도까지 꾸준히 업데이트를 해주고 있죠. 최근 들어서 Side-Effect ( 외부 환경에 따라 결과값이 달라지는 경우 )의 제거와 메모리와 변수를 사용하..

브라우저의 Workflow 1. DOM Tree 생성 브라우저가 HTML을 받으면 해당 코드를 파싱하여 문서객체트리(DOM Tree)를 만듭니다. 2. Render Tree 생성 만들어진 DOM Tree 와 CSS의 스타일 정보를 이용해 렌더 트리를 생성합니다. 3. Layout (=Reflow) 만들어진 렌더트리를 이용하여 각 노드들의 절대 값 좌표가 주어지고, 정확하게 어디에 나타나야 할 지 정합니다. 4. Painting (=Repainting) Layout 과정까지 마쳤다면 트리의 각 노드들을 필요할 때 화면에 그립니다. React의 Virtual DOM 기존의 웹 브라우저에서는 DOM을 조작하면 렌더 트리를 다시 만들고, Layout 과정을 거쳐 페인팅을 하게됩니다. 옛날의 웹페이지는 단순히 H..

앞에서 문서의 색인과 대략적인 정보검색 방법을 알아봤다면, 이번에는 실제 정보검색에서는 어떠한 방법(검색모델)으로 질의와 문서의 유사도를 구하는지 알아보자. 대표적인 방법으로는 4가지가 있다. 1. 불린 모델(Boolean model) 집합에 기반하여 논리적으로 있다(True) 없다(False)를 질의문으로 검색한다. 모든 색인어들에 0과 1을 할당하고 각 Term들을 논리 연산(and, or, not)으로 연결한다. 2. 벡터 공간 모델(Vector space model) 앞의 불린모델으로는 존재 여부(0 또는 1)만 알 수 있고 가중치를 계산하여 순위(Ranking)를 매길 수 없다. 그래서 가중치를 0~1 사이의 값으로 측정하는 것이 벡터 공간 모델. 각각의 n개 용어들을 n-차원의 그래프 축(벡터..

색인(Indexing) 이란? 효율적인 검색을 위해 [문서 집합]을 미리 가공해두는 과정을 의미합니다. 색인의 과정 1. 텍스트 추출 - 다양한 형식을 가진 문서에서 순수한 텍스트를 추출해냅니다. 2. 토큰 추출 - text를 검색하기 좋게 토큰화 시킵니다. 3. 불용어(Stop-word) 제거 - 의미를 가지지않아 필요없는 관용어, 불용어를 제거합니다. - 불용어란 관사(a, the)처럼 의미를 가지지않는 용어를 말합니다. 4. 정규화 - 의미를 가진 용어를 기본형으로 바꾸고, 어간을 생성합니다. 영어에서는 Stemming(스태밍)이라고 해서 단어에서 항상 고정되는 어간을 추출합니다. 5. 역파일색인(Inverted Index) 문서에서 단어를 찾는 것이 아니라 색인을 통해 단어에서 특정 문서를 찾아내..

수많은 문서중에 어떤 문서가 가장 적합한지 여부는 유사도 점수로 결정한다. 그 중 가장 흔하게 쓰이고 효율도 괜찮은 TF * IDF / Length 유사도 점수공식을 알아보자. Length(D), N 질의문, 문서의 길이나 문서의 갯수를 나타낼 때 사용. 당연한거긴 한데 가중치를 구할때 사용합니다. 혹시나 언급안했다고 모를까봐 적어봤습니다. Term, TF => 단어, 구, 품사, 의미.. 문서의 특징을 나타낼 수 있는 단위 Term frequency (TF), [특정한 문서] 내에 출현한 Term의 개수. 더보기 Doucment 99 = [미국, 한국, 중국, 한국, 미국, 한국] TF ( D99, 한국 ) = 3 TF ( D99, 미국 ) = 2 TF (D99, 중국 ) = 1 Document, DF..