/ bayes

Bayes' rule

베이즈 정리(Bayes' theorem, Bayes' rule, Bayes' law)는 확률론과 통계학에서 사건과 관련된 사전지식을 기반으로 사건의 확율을 나타낸다.
예를 들어, 암발생이 나이와 관련이 있다면, 베이즈 정리를 사용하여 사람들이 암을 가지고 있는지 정확하게 파악하기 위해 나이를 사용할 수 있다.

베이즈 정리는 이항분포의 확률 변수에 대한 분포를 계산하는 방법을 연구한 토마스 베이스(Thmas Bayes, 1701~1761)의 이름을 땄다.
베이즈의 출판되지 않은 원고는 왕립 학회(Royal Society)에서 읽히기 전에 친구인 리차드 프라이스(Richard Price)가 정리했다.
프라이스가 정리한 베이스의 주요 논문인 "우연의 원칙에서 문제를 해결하기 위한 에세이(An Essay towards solving a Problem in the Doctrine of Chances[1])"(1763)에 베이스 정리를 포함하고 있었다.
프라이스는 베이지안 통계학의 철학적 근거 중 일부를 제공하는 논문에 대한 소개서를 썼다.
1765년 그는 베이스의 유산에 대한 그의 작업을 인정받아 왕립 학회의 특별회원으로 선정되었다.

베이스 정리는 이전의 경험과 현재의 사건을 토대로 어떤 사건의 확률을 추론하는 알고리즘이다. 따라서 사건이 일어날 확률을 토대로 의사결정을 할 경우 그와 관련된 사전 정보를 얼마나 알고 있고 이를 제대로 적용할 수 있는가에 크게 좌우된다.
흔히 베이즈 정리는 조건부 확률(Conditional Propability)이라는 말로 표현되기도 한다.

$$ P(A \mid B) = \frac{P(B \mid A) , P(A)}{P(B)} $$
P(A) : 사건 A가 일어날 확률
P(B) : 사건 B가 일어날 확률
P(A|B) : 사건 A가 일어났을 때 사건 B가 일어날 확률
P(B|A) : 사건 B가 일어났을 때 사건 A가 일어날 확률[2]

$$ P(Y=y \mid X=x) = \frac{P(Y=y , X=x)}{P(X=x)} = \frac{P(Y=y)P(X=x \mid Y=y)}{\sum_{y'}P(Y=y')P(X=x \mid Y=y')} $$

$$ posterior = \frac{prior * likehood}{evidence} $$

  • posterior(사후확률)[3]
  • prior(사전확률)[4]
  • likehood(가능도)[5]
  • evidence(증거)[6]

예를 들어, 건빵 2봉지를 샀고, 별사탕도 2봉지라고 하자. 첫번째 봉지에는 하얀 별사탕이 10개, 분홍별사탕이 30개 들었고, 두번째 봉지에는 각각 20개씩 들었다.두 봉지의 별사탕을 하나의 접시에 담고, 눈을 감은 채 별사탕 하나를 집어 들었다. 눈을 뜨고 집어든 별사탕을 살펴보니 분홍 별사탕이다. 이 별사탕이 첫번째 봉지에서 나왔을 확률은 다음과 같다.

$$P(첫번째봉지|분홍별사탕) = \frac{P(분홍별사탕|첫번째봉지)P(첫번째봉지)}{P(분홍별사탕)}$$
$$= \frac{(30/40) * (40/80)}{(50/80)} = \frac{60}{100} = 60% $$


참고문헌
Bayes' theorem
조건부 확률을 이용한 베이즈 정리
조건부 확률(베이지안)의 이해를 위한 예제 및 풀이


  1. The Doctorine of Chances는 최초의 확률론에 대한 책으로 프랑스 수학자 Abraham de Moivre에 의해 쓰여졌으며, 1718년에 처음 발간되었다. ↩︎

  2. joint event는 이벤트 A가 발생했을 때 동시에 이벤트 B가 일어나는 사건을 말한다. 반대도 동일하게 적용할 수 있다 ↩︎

  3. posterior는 사후확률을 나타낸다. ↩︎

  4. prior는 사전확률을 나타낸다. ↩︎

  5. 가능도(likehood, 우도)는 주어진 표본에서 가장 가능한 모수를 추정하는 척도이다. ↩︎

  6. evidence는 정규화상 혹은 증거,관찰된 값을 나타낸다. ↩︎

lawn

lawn

He love technology to improve people's lives, and harmonious Architecture With Nature​(LAWN). ​He have worked as data data/software engineer in game, advertising, search and etc.

Read More