Error-Based Learning에서는. - parameterized된 model에 대해서 set of parameter의 대한 검색을 실시한다. 이 때, total error across the predictions made by the model with respect to a set of training intances가 최소화되는 set of parametrs를 찾는다. - A paremetrized prediction model은 a set of random paremeters에 의해 intialized되고, error function은 이 초기 모델이 얼마 잘 수행되는지를 판단한다. 예제와 함께 살펴보자. office rental price와 4가지의 descriptive features에..

Machine Leraning Model을 어떻게 평가할 수 있을까? 주의 할 점은 data used to evaluate the model은 data used to train the model과 같지 않아야 한다. 표준적인 Approach 방식은 hold-out test set이다. hold-out test set은 랜덤으로 data의 일부를 sampling한 후 이 data는 training에 사용하지 않고, performace evaluation에 사용하는 방법이다. 예를 들어 보자. Email classification with a binary cateogorial target feature(spam or ham)이 있다. 위 표에서 보듯이, 4가지의 가능한 Output이 있다. TP, TN, F..

Keyword : message authentication, entity authentication, password, challenge-response protocols, zero-knowledge protocols, biometrics 1. Introduction : Entity authentication은 one party prove the identity of another party를 수행하는 technique이다. 이 때의 entity는 사람이거나, process이거나, client거나, server일 수 있다. entity whose identity needs to be proved를 claimant라고 하고, the party that tries to prove the identity of..

Keyword : Digital Signature, RSA, ElGamal, Schnorr, DSS, applications of digital signatures 1. Comparison : 옛날에는 Signature라는것이 document의 일부였다. 하지만 디지털화 된 문서에 서명을 하기 위해서는 signature을 document와 분리해서 보내야 한다. Verification Method : 옛날에는 수신자가 문서를 받으면, document의 signature과 file의 signature을 대조하는 방식으로 인증했다. 하지만 digital signature은, 수신자가 message와 signature을 받고, 수신자가 verification technique을 적용해서 message와 sig..

1. Continuous Features Probability density function(PDF)는 continuous feature에 대한 확률 분포를 normal distribution과 같은 수학적 함수를 통해 나타낸다. 모든 표준 PDF는 shape of the density curve defining that distribution을 alter하는 parameters들을 가지고 있다. 그 paremeter들은 아래 테이블과 같다. PDF를 probability of continous feature로 나타내기 위해서, 우리는 data의 특성에 맞는 parameters들을 선택해야 한다. 아래 그림처럼 student-t distribution은 single peak에 대칭인 형태이다. norma..

1.Conditional Independence 만약 어떤 event가 다른 event의 확률에 영향을 주지 않고 또한 vice versa 하다면, two events는 서로에게 independent하다고 할 수 있다. 만약 두 event X,Y가 independent하다면, $$P(X|Y) = P(X)$$ $$P(X,Y) = P(X)P(Y)$$ event간의 full independence는 quite rare하다. 더 자주 발생하는 경우는 두개, 혹은 그 이상의 event 들이 third event가 발생할 경우 independent가 되는 경우이다. 이를 conditional independence라 한다. 두 event X,Y에 대해서, third event Z에 대해 conditionally i..