Distribuzione e densità condizionata

Distribuzione condizionata

Nota: $F_{X|A}$ può essere vista come la funzione di distribuzione definita su $(\mathrm{\Omega },F,P)$ con $P_A(B)=P(B|A)$.

In generale, per determinare la $f_{X|A}$ si deve conoscere lo spazio di probabilità $(\mathrm{\Omega },F,P)$ su cui è definita la variabile casuale $X$, dal momento che bisogna calcolare la probabilità

$P(X\le x|A)$

con $A\in F$. Se però $A$ è espresso in funzione di $X$, per esempio

$A=\{s\in \mathrm{\Omega }|X(s)\in B\}\text{ con }B\in 𝔹\mathbb{(}ℝ\mathbb{)}$

allora la $f_{X|A}$ può essere calcolata a partire da $F_X$.

Valore atteso condizionato ad un evento

Siano $(\mathrm{\Omega },F,P)$ con $A\in F$ e con $P(A)\ne 0$. Data la variabile casuale $X$ definita su $(\mathrm{\Omega },F,P)$ che ammette densità condizionata $f_{X|A}$, allora

$E[X|A]=\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}x{f}_{X|A}(x|A)dx$

Se esiste una funzione $g(\cdot )$ per cui $Y=g(X)$, con $g:ℝ\to ℝ$ funzione di Borel, allora si ha

$E[Y|A]=\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}g(x)f_{X|A}(x|A)dx$

Vediamo ora come è possibile calcolare la probabilità di un evento, condizionata ad una variabile casuale. Se si ha $X$ come variabile casuale discreta, si ha

$P(A|X=x)=\frac{P(X=x|A)\cdot P(A)}{P(X=x)}$

con $P(X=x)\ne 0$. Se $X$ è una variabile casuale continua, al contrario, si ha che $P(X=x)=0\mathrm{\forall }x\in ℝ$; osserviamo che vale

$\underset{B}{\int }{f}_{X|A}(x|A)P(A)dx=P(x\in B,A)\mathrm{\forall }B\in 𝔹\mathbb{(}ℝ\mathbb{)}$

La probabilità di un evento $A$ condizionata a $X=x$ è definita come quella funzione

$g_A:ℝ\to {ℝ}^{+}$

tale per cui

$\underset{B}{\int }{g}_A(x)f_X(x)=P(x\in B,A)\mathrm{\forall }B\in 𝔹\mathbb{(}ℝ\mathbb{)}$

La grandezza $P(A|X=x)$ può essere calcolata da

$P(A|X=x)=\{\begin{array}{cc}\frac{f_{X|A}P(A)}{f_X(x)}& f_X(x)\ne 0\\ 0& \text{altrimenti}\end{array}$

Densità condizionata di variabile casuale, data un'altra variabile casuale

Sappiamo calcolare la probabilità

$P(Y\in B|X=x)$

come un caso particolare di $P(A|X=x)$. In altri termini, si ha

$P(Y\in B|X=x)=\{\begin{array}{cc}\frac{f_{X|Y\in B}(x|Y\in B)P(Y\in B)}{f_X(x)}& \mathrm{\forall }x|f_X(x)\ne 0\\ 0& \text{altrimenti}\end{array}$

Osservazioni:

• $f_{Y|X}(y|\overline{x})$ è la sezione di $f_{X,Y}(x,y)$ con il piano $x=\overline{x}$;
• se $X$ e $Y$ sono variabili casuali indipendenti, allora si ha

$f_{Y|X}(y|x)=f_Y(y)$

Infatti, se le due variabili sono indipendenti, la conoscenza di $Y$ non è in alcun mondo influenzata dalla conoscenza di $X$.

Valore atteso condizionato

Anche qui, vale il teorema del valore atteso che dice che, data una variabile casuale $Z=g(Y)$, si ha

$E[Z|X=x]=E[g(Y)|X=x]=\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}g(y)\cdot f_{Y|X}(y|x)dy$

Consideriamo il solito spazio di probabilità $\{\mathrm{\Omega },F,P\}$ con le variabili casuali $X,Y{f}_{X,Y}$ e con un'altra variabile casuale $Z:\mathrm{\Omega }\to ℝ$ tale che

$Z(s)=E[Y|X=X(s)]\mathrm{\forall }s\in \mathrm{\Omega }$

La variabile casuale $Z$ ha un valore atteso condizionato; in generale, la variabile casuale $Z$ rappresenta il valore atteso condizionato

$E[Y|X]$

Stima con la massima probabilità a posteriori (MPP) e con la massima verosimiglianza (MV)

Dato lo spazio di probabilità $\{\mathrm{\Omega },F,P\}$ con $A,\overline{A}\in F$ e $A\cap \overline{A}=\varnothing A\cup \overline{A}=\mathrm{\Omega }$, si definisce la variabile casuale

$X{f}_X(x)=f_{X|A}(x|A)\cdot P(A)+f_{X|\overline{A}}(x|\overline{A})\cdot P(\overline{A})$

Quello che vogliamo fare è, dato $\overline{x}$, capire a quale delle due popolazioni $f_{X|A}$ oppure $f_{X|\overline{A}}$ appartiene. Se si prende l'esempio delle molecole di gas, la funzione di densità di probabilità dell'energia è una combinazione lineare di altre funzioni di densità di probabilità; qui è la stessa cosa, si vuole calcolare la densità di uscita come mixture di altre densità.

Massima probabilità a posteriori

La massima probabilità a posteriori è definita come

$P(A|X=x)=\{\begin{array}{cc}>P(\overline{A}|X=x)& A\\ <P(\overline{A}|X=x)& \overline{A}\end{array}$

Se vale $P(A|X=x)>P(\overline{A}|X=x)$, allora decidiamo che è stato trasmesso $A$ e non $\overline{A}$.

Il criterio a massima probabilità a posteriori, quindi, è

$f_{X|A}(x|A)\cdot P(A)\left(\begin{array}{c}<\\ >\end{array}\right)f_{X|\overline{A}}(x|\overline{A})\cdot P(\overline{A})$

Massima verosimiglianza

Nel caso in cui $P(A)=P(\overline{A})$, il criterio di massima probabilità a posteriori diventa un criterio di massima verosimiglianza.

$f_{X|A}(x|A)\cdot P(A)\left(\begin{array}{c}<\\ >\end{array}\right)f_{X|\overline{A}}(x|\overline{A})\cdot P(\overline{A})=f_{X|A}(x|A)\left(\begin{array}{c}<\\ >\end{array}\right)f_{X|\overline{A}}(x|\overline{A})$

Il criterio a massima verosimiglianza è meno potente di quello a massima probabilità a posteriori, perché quest'ultimo sfrutta la conoscenza della probabilità dei simboli prima di essere trasmessi, mentre il secondo metodo si limita ad osservare il risultato finale e la funzione di densità di probabilità, considerando tutti i simboli equiprobabili. Quindi, il criterio a massima verosimiglianza è meno potente, perché sfrutta meno informazioni.