Muutamia todennäköisyysteorian peruslauseita ja -tuloksia

Kirjoitan seuraavat tärkeät todennäköisyysteorian tulokset itselleni ylös, sillä tapaan jatkuvasti ne muuten unohtaa.

Lähteenä tässä on käytetty erityisesti Rick Durrett - Theory and Examples.

Keskeisiä epäyhtälöitä

Tsebysevin epäyhtälö:
\begin{equation}P(|x-\mu| \geq \sigma k) \leq \frac{1}{k^2} \end{equation}

Markovin epäyhtälö:
\begin{equation}P(|x| \geq a) \leq \frac{E(|x|)}{a} \end{equation}

Jensenin epäyhtälö:
konveksilla funktiolla f pätee
\begin{equation}f(E(x))\leq E(f(x)) \end{equation}

Cauchy-Schwartzin epäyhtälö odotusarvoina ja kovarianssina:
\begin{equation}|E(XY)|^2 \leq E(X)^2 E(Y)^2 \end{equation}
\begin{equation}Var(X) \geq \frac{Cov(X,Y)^2}{Var(Y)} \end{equation}

Hölderin epäyhtälö:
Jos todennäköisyysavaruudessa on p ja q määritelty välillä (1,infty) ja 1/p + 1/q <= 1, pätee
\begin{equation}||fg||_1 \leq ||f||_p + ||g||_g \end{equation}

Minkowskin epäyhtälö:
Olkoot f ja q elementtejä avaruudessa L^p(S). Tällöin pätee kolmioepäyhtälö
\begin{equation}||f+q||_p \leq ||f||_p +||q||_p \end{equation}

Konvergenssilauseita

Suppeneminen todennäköisyysmielessä
\begin{equation} \lim_{n \rightarrow \infty} P(|X-X_n| \geq \epsilon) = 0 \end{equation}
Suppeneminen odotusarvomielessä
\begin{equation} \lim_{n \rightarrow \infty} E(|X-X_n|^r) = 0 \end{equation}
Suppeneminen jakaumamielessä
\begin{equation} \lim_{n \rightarrow \infty} F_{X_n}(x)=F_X(x)\end{equation}
Suppeneminen lähes varmasti
\begin{equation} P(\{s \in S: \lim_{n \rightarrow \infty} X_n (s)=X(s) \}) = 1 \end{equation}
Heikko konvergenssi sisältää pitkän litanian mahdollisia ehtoja. Löytyy täältä.
Dominoitu konvergenssi löytyy täältä.

Muutamia huomioita:
- Suppeneminen todennäköisyys- ja odotusarvomielessä tarkoittaa myös suppenemista jakaumamielessä.
- Lähes varma suppeneminen tarkoittaa myös suppenemista todennäköisyysmielessä ja siten myös suppenemista jakaumamielessä.
- Lisää konvergenssilauseiden seurauksista täällä.

Karakteristinen yhtälö

Karakteristinen yhtälö todennäköisyysteoriassa on muotoa
\begin{equation}\phi(t)=E(e^{itX})=\int_R e^{it}f(x)dx\end{equation}
ja jokaisella todennkäisyysjakaumalla on siitä oma väännöksensä, osa alkuperäista yksinkertaisemmassa muodossa. Karakteristinen yhtälö sisällyttää monia keskeisiä ominaisuuksia alkuperäisestä jakaumafunktiosta, joten sitä käytetään paljon niiden tutkimiseen sekä lauseiden todistamiseen. Taylorin sarjakehitelmä on karakteristisen yhtälön kanssa keskeinen juttu. Lista karakteristisista yhtälöistä löytyy täältä.

Levyn jatkuvuuslause sanoo että jos oletetaan jono satunnaismuuttujia X_n, ei välttämättä samassa todennäköisyysavaruudessa. Tällöin jos muuttujia X_n vastaavat karakteristiset funktiot f_n konvergoivat tiettyyn karakteristiseen funktioon f_n, suppenee X_n jakaumamielessä ja karakteristinen funktio on tiukka sekä jatkuva kohdissa 0 ja t, missä t on mielivaltainen reaaliluku. Levyn lauseen avulla voidaan todistaa mm. keskeinen raja-arvolause.

Polyan kriteeri

Olkoon ei-negatiivinen reaalinen symmetrinen karakteristinen funktio, jolla f(0)=1, konveksi ja laskeva. Tällöin pätee
\begin{equation}\lim_{n \rightarrow 0}f(0)=1 \end{equation}
ja
\begin{equation}\lim_{n \rightarrow \infty}f(n)=0, \end{equation}
ja on olemassa todennäköisyysmitta v, jolla
\begin{equation}f(n)=\int_0^{\infty}|1-\frac{n}{s}|^{+} vds.\end{equation}

Suurten lukujen laki, keskeinen raja-arvolause

Suurten lukujen lain mukaan samoin jakautuneiden satunnaismuuttujien keskiarvo suppenee kohti näiden odotusarvoa "lähes varmasti", eli siis myös todennäköisyys- ja jakaumamielessä. Tästä voidaan edelleen johtaa klassinen keskeinen raja-arvolause, eli joukolla samoin jakautuneita satunnaismuuttujia, joilla on äärellinen varianssi, kun n kasvaa äärettömän suureksi
\begin{equation}\sqrt{n}(X_n-\mu)\end{equation}
approksimatiivisesti kohti normaalijakaumaa N(0,sigma²).

Keskeisestä raja-arvolauseesta on useampiakin variaatioita, mutta ei käydä niitä nyt tässä. Yllä vain klassisen määritelmän mukainen esitelmä.