PGM 3 Template models

Overview

여기서 일반적인 모델인 template model에 대해 알아본다.
예를 드는 것이 예전에 introduction에서 들었던 blood type에 관한 예를 든다.

위 pedigree의 특정 trait(여기서는 blood type)에 관한 bayesian network는 아래와 같이 나타낼 수 있다.

G는 genotype을 의미하고 B는 blood type을 의미한다. 표현형인 B는 오직 genotype에 의해 결정되기 때문에 위와 같은 bayesian network로 표현이 가능하다.
그리고 pedigree가 달라지면 위의 bayesian network도 달라지게 되지만 뭔가 공통되는 model이 존재함을 알 수 있다(sharing between models(서로 다른 pedigree 사이에 존재하는 공통 모델), sharing within models(한 pedigree 안에 존재하는 공통 모델)). 예를 들어 salma의 genotype이  selma의 blood type에 영향을 주듯이 각 개체의 genotype이 blood type에 영향을 주는 모델이라던지, 자식의  genotype은 부모의 genotype에 영향을 받는 모델이 그 예이다.
we like to have some way of constructing model that have this large amount of shared structure that allows us to both construct very large ...   sparse parameterization and also construct the entire families of model from single concise representation.

또 다른 예로 named entity recognition을 위한 (NLP)natural language processing sequence models를 보자.

또다른 예가 아래 그림

결론적으로 

classic model 는 template variable의 instantiation 혹은 duplication으로 나타내어진다. template variable은 위에서 보듯이 시간이나 사람등의 index를 인자로 받아서 나오는 함수 같은 것이다. 

template model은 ground variable,곧 index 변수가 어떻게 template 로 부터 dependency model을 물려받는지(그러니까 index가 어떻게 template variable이 되는지)를 명시한 모델이다. 하나의 concise model로 축약된 모델. 전체 네트워크가 이러한 template variable의 복제로 나타내어 질수 있다. 이러한 모델은 여러 가지 적용, dynamic bayesian network, object-related model 등에 이용된다.

Temporal models

system where evolve over time, 시간에 따라 발전하는 시스템을 표현하기 위한 모델

trajectory (시간 등)에 따른 distribution 을 보자. 이때 먼저 discretize,즉 이산화를 먼저시키는데, 이말은 연속 변수를 작은 단위의 이산 변수로 구분화 한다는 것. 

위의 첫 식은 그냥 chain rule of probability로 어떠한 가정이 없는 일반식이고 두번째 가정 즉 현재 위치에서의 값을 안다고 가정하면 다음 위치의 값은 이전 값들과는 dependency가 없다는 것. 그러면 처음 식은 세번째 식으로 변하게 된다 ((1:t) 가 t로 변함).

그럼 과연 이 가정이 옳은가?  아마도 아닐 것이다. 로봇의 움직임의 예를 들어보자. 현재 위치만 결정되면 다음 시간의 위치에 이전 시간의 값들이 영향을 안준다면 이는 velocity (어느 방향으로 얼마나 빨리 가고 있었나)를 무시하는 것. 곧 markov assumption은 too strong. 이를 보안하는 방법중의 하나는 velocity 라는 변수를 추가하는것. 다른 방법은 adding dependency back in time. 이를 semi-markov model 이라한다.