Permalink
Cannot retrieve contributors at this time
\documentclass[11pt,a4paper,notitlepage,fleqn,final]{article} | |
\input{preambles/preamble2017.tex} | |
\title{Στοχαστικό Σήμα | |
\\ | |
{ | |
\normalsize Σημειώσεις από τις παραδόσεις | |
}} | |
\date{2017 | |
\\ | |
{ | |
\small Τελευταία ενημέρωση: \today | |
} | |
} | |
\author{ | |
Για τον κώδικα σε \LaTeX, ενημερώσεις και προτάσεις: | |
\\ | |
\url{https://github.com/kongr45gpen/ece-notes}} | |
\setmainfont{Linux Libertine O} | |
\setsansfont{Ubuntu} | |
%\newfontfamily\greekfont[Script=Greek]{Linux Libertine O} | |
%\newfontfamily\greekfontsf[Script=Greek]{Linux Libertine O} | |
\usepackage{polyglossia} | |
\newfontfamily\greekfont[Script=Greek,Scale=0.95]{GFS Artemisia} | |
\begin{document} | |
\maketitle | |
\tableofcontents | |
\newpage | |
\setcounter{section}{-1} | |
\section{Εισαγωγή} | |
\textbf{Στοχαστικό σήμα} - δεν σημαίνει στοχάζομαι | |
(σκέφτομαι), αλλά | |
τυχαίο σήμα | |
\paragraph{Ντετερμινιστικό σήμα} | |
\( A_c\cos(2\pi f t + \sfrac{\pi}{2}) \) | |
\begin{tikzpicture}[scale=1.2] | |
\draw (0,-1) -- (0,1); | |
\draw[->] (-0.5,0) -- (2.6,0); | |
\draw[very thick,xscale=0.5,yscale=0.7,samples=50,domain=0:5,smooth,variable=\x,blue] | |
plot ({\x},{sin(pi*\x r)}); | |
\end{tikzpicture} | |
Για κάθε χρόνο \(t\) μπορούμε να βρούμε την τιμή του | |
σήματος. | |
Αν γνωρίζουμε τα πάντα για | |
την αρχική κατάσταση ενός συστήματος | |
(π.χ. του σύμπαντος), μπορούμε να προβλέψουμε | |
(ίσως με δυσκολία) κάθε επόμενη κατάστασή του. | |
Οι περισσότερες διαδικασίες στη φύση είναι τυχαίες. | |
\paragraph{Διαδικαστικά} | |
Το μάθημα γίνεται σε δύο τμήματα μόνο από τον κ. Δημάκη. Το | |
ένα τμήμα της Τρίτης θα μεταφερθεί στο μεσημέρι της Πέμπτης. | |
Ασκήσεις και λύσεις τους θα αποστέλλονται στο e-mail. | |
\paragraph{} | |
\begin{itemize} | |
\item Ένα σκυλί δάγκωσε έναν άνθρωπο στο δρόμο | |
\( \leftarrow \) δεν είναι πληροφορία, επειδή έχει | |
μεγάλη πιθανότητα να συμβεί. | |
\item Ένας άνθρωπος δάγκωσε έναν σκύλο στο δρόμο | |
\( \leftarrow \) είναι πληροφορορία, επειδή έχει μικρή | |
πιθανότητα. | |
\end{itemize} | |
\section{Θεωρία Πιθανοτήτων} | |
Ασχολείται με τυχαία γεγονότα, δηλαδή γεγονότα το αποτέλεσμα | |
των οποίων: | |
\begin{itemize} | |
\item Δεν μπορούμε να προβλέψουμε | |
\item Δεν μπορούμε να καταλάβουμε ή | |
\item Έχει πάρα πολλά στοιχεία που το επηρεάζουν | |
\end{itemize} | |
και πειράματα τα οποία όταν επαναλαμβάνουμε βγάζουν | |
διαφορετικό αποτέλεσμα στις ίδιες συνθήκες (π.χ. ρίψη | |
ζαριού, σε αντίθεση με το μήλο του Νεύτωνα). | |
Επομένως στα πειράματα τύχης \textbf{δεν μπορεί να | |
προβλεφθεί ακριβώς η έξοδος}. | |
\paragraph{Ορισμός Πιθανότητας από Laplace} | |
\hspace{0pt} | |
\begin{tikzpicture}[scale=1.2] | |
\filldraw[fill=green!20,draw=black!70!green,very thick] plot [smooth cycle] | |
coordinates {(0.8,1) (1.5,1.7) (2,1.5) (2.6,1.5) (2.5,0.8) (1.9, 0.6) (1.6,0.3) (1.2,0.2) (0.6, 0.7)}; | |
\draw (0,0) rectangle (2.7,2.2) node[below left] {$N$}; | |
\filldraw (1,1) circle(1pt) node[above right] {$1$}; | |
\filldraw (1.5,1.2) circle(1pt) node[above right] {$2$}; | |
\filldraw (0.2,0.4) circle(1pt) node[above right] {$3$}; | |
\filldraw (2,1.1) circle(1pt) node[above right] {$4$}; | |
\filldraw (1.3,0.3) circle(1pt) node[above right] {$5$}; | |
\filldraw (2.1,0.4) circle(1pt) node[below right] {$6$}; | |
\filldraw (0.3,1.7) circle(1pt) node[above right] {$7$}; | |
\filldraw (0.5,1.1) circle(1pt) node[above right] {$8$}; | |
\draw[->,blue!30!black] (0.2,1.7) to[bend left=45] (-0.5, 2.2) node[above] {ισοπίθανα ενδεχόμενα}; | |
\draw[->,green!30!black] (0.8,0.35) to[bend right=85] (0.5, -1) node[right] {γεγονός}; | |
\end{tikzpicture} | |
\[ | |
P(A) = \frac{N_A}{N} | |
\] | |
Ο ορισμός έχει τα προβλήματα: | |
\begin{itemize} | |
\item Δεν αντιστοιχεί σε πραγματικό πείραμα τύχης | |
\item Είναι κυκλικός (ορίζει την πιθανότητα με βάση | |
ισο\underline{πίθανα} ενδεχόμενα) | |
\end{itemize} | |
\paragraph{Ορισμός Πιθανότητας von Mises} | |
Εκτελούμε ένα πείραμα τύχης με \(N\) επαναλήψεις. Αν ένα | |
γεγονός συμβεί \(N_A\) φορές, τότε | |
\[ | |
P(A) = \lim_{N\to \infty } \frac{N_A}{N} | |
\] | |
Όμως είναι δύσκολο να χρησιμοποιηθεί επειδή αντιστοιχεί σε | |
πραγματικό πείραμα. | |
\paragraph{Ιδιότητες που προκύπτουν από | |
τους παραπάνω ορισμούς} | |
\begin{enumroman} | |
\item \( 0 \leq P(A) \leq 1 \) | |
\item \( S \text{ δειγματικός χώρος } \quad | |
P(S) = 1 \) | |
\item \( P(A\cup B) = P(A+B) = P(A \text{ ή } B) | |
= P(A) + P(B) \qquad (A,B \text{ ασυμβίβαστα}) | |
\) | |
\end{enumroman} | |
\subsection{Αξιωματικός ορισμός της πιθανότητας | |
Wiener - Kolmogorov} | |
\textbf{Πείραμα} είναι κάθε νοητική ή φυσική διεργασία, | |
με την οποία | |
συνδέουμε μία πράξη με κάποιο αποτέλεσμα. | |
Κάθε εκτέλεση του πειράματος ονομάζεται \textbf{δοκιμή} | |
Ένα πείραμα έχει έναν δειγματικό χώρο με όλα τα δυνατά | |
αποτελέσματά του: | |
\[ | |
S = \left\lbrace J_1,J_2,\dots,J_n \right\rbrace | |
\] | |
Ένα \textbf{γεγονός} είναι ένα από τα \( 2^n \) δυνατά | |
υποσύνολα του \(S\): \[ A \subseteq S \] | |
\paragraph{Ορισμός} | |
\( A \to P(A) \) | |
\begin{enumroman} | |
\item \( P(A) \geq 0 \) | |
\item \( P(S) = 1 \) | |
\item αν \( A \cap B = 0 \), τότε \( P(A \cup B) | |
= P(A)+P(B) \) | |
\end{enumroman} | |
Ο ορισμός αυτός δεν μας δίνει συγκεκριμένη τεχνική υπολογισμού | |
πιθανοτήτων, επομένως μπορούμε να χρησιμοποιήσουμε οποιαδήποτε | |
τεχνική (π.χ. Laplace) θέλουμε. | |
\def\boundingbox{(-2cm,-2cm) rectangle (4cm,2cm)} | |
\colorlet{circle edge}{blue!50} | |
\colorlet{circle area}{blue!20} | |
\tikzset{filled/.style={fill=circle area, draw=circle edge, thick}, | |
outline/.style={draw=circle edge, thick}} | |
\subsection{Ιδιότητες} | |
\begin{enumpar} | |
\item \( A = B \implies P(A)=P(B) \) \\ | |
\item \( P(\emptyset) = 0 \) | |
\item Αφού \( A\cdot\bar A = \emptyset \quad | |
A+\bar A = S \), τότε: | |
\begin{align*} | |
P(A+\bar A) = P(S) = 1 & \quad P(\bar A) = 1 - P(A) \\ | |
P(A) + P(\bar A) = 1 | |
\end{align*} | |
\item Αν \( A \cdot B \neq \emptyset \), τότε | |
\[ | |
P(A+B) = P(A) + P(B) - P(A\cdot B) \leq 1 | |
\] | |
\begin{tikzpicture}[scale=0.65] | |
\def\firstcircle{(0,0) circle (1.5cm)} | |
\def\secondcircle{(0:2cm) circle (1.5cm)} | |
\begin{scope} | |
\clip \firstcircle; | |
\fill[filled] \secondcircle; | |
\end{scope} | |
\draw[outline] \firstcircle node {$A$}; | |
\draw[outline] \secondcircle node {$B$}; | |
\draw \boundingbox; | |
\draw (1,0) node[scale=0.6] {$A\cap B$}; | |
\end{tikzpicture} | |
\subparagraph{Απόδειξη} | |
\begin{align*} | |
A+B &= A+ \bar A \cdot B \\ | |
B &= A\cdot B + \bar A \cdot B \\ | |
P(A+B) &= P(A) + P(\bar A \cdot B) \\ | |
P(B) &= P(A\cdot B) + P(\bar A \cdot B)\\ | |
P(A+B) &= P(B)+P(A) -P(AB) | |
\end{align*} | |
\item \( A \subseteq B \implies P(A) \leq P(B) \) | |
\begin{tikzpicture}[scale=.7] | |
\draw[outline] (1,0) circle (1.5cm) node {$B$}; | |
\draw[outline] (0.5,-0.75) circle (0.4cm) node {$A$}; | |
\draw \boundingbox; | |
\end{tikzpicture} | |
\begin{align*} | |
\intertext{επειδή} | |
B &= A + \bar A \cdot B \\ | |
P(B) &= P(A) + P(\bar A\cdot B) \geq P(A) | |
\end{align*} | |
\item Υπό συνθήκη πιθανότητα | |
\[ | |
P(A/B) = \frac{P(AB)}{P(B)} | |
\] | |
\begin{tikzpicture} | |
\filldraw (-0.1,0) circle (1.5pt); | |
\draw (0,0) node[below right,yshift=2.5mm,rectangle,align=left] | |
{Αν $A\cdot B=\emptyset$\\$P(A/B)=0$}; | |
\begin{scope}[xshift=5cm,yshift=3mm] | |
\draw (0,0) rectangle (-1.5,-1); | |
\draw[fill=blue,fill opacity=0.2] (-0.375,-0.5) circle (2.5mm); | |
\draw[fill=blue,fill opacity=0.2] (-1.125,-0.5) circle (2.5mm); | |
\draw (-0.8,-0.2) node[scale=.8] {$A$}; | |
\draw (-0.13,-0.2) node[scale=.8] {$B$}; | |
\draw (-1.3,0) arc(360:270:0.2) node[xshift=0.8mm,yshift=1.1mm,scale=.5] {$S$}; | |
\end{scope} | |
\begin{scope}[yshift=-1.5cm] | |
\filldraw (-0.1,0) circle (1.5pt); | |
\draw (0,0) node[below right,yshift=2.5mm,rectangle,align=left] | |
{Αν $A\subset B$\\$A\cdot B = A$\\$P(A/B)=\frac{P(A)}{P(B)}$}; | |
\begin{scope}[xshift=5cm,yshift=3mm] | |
\draw (0,0) rectangle (-1.5,-1); | |
\draw[fill=blue,fill opacity=0.2] (-0.75,-0.5) circle (4mm); | |
\draw[fill=blue,fill opacity=0.2] (-0.75,-0.5) circle (1.5mm); | |
\draw (-0.75,-0.5) node[scale=.7] {$A$}; | |
\draw (-0.25,-0.2) node[scale=.8] {$B$}; | |
\draw (-1.3,0) arc(360:270:0.2) node[xshift=0.8mm,yshift=1.1mm,scale=.5] {$S$}; | |
\end{scope} | |
\end{scope} | |
\begin{scope}[yshift=-3.5cm] | |
\filldraw (-0.1,0) circle (1.5pt); | |
\draw (0,0) node[below right,yshift=2.5mm,rectangle,align=left] | |
{Αν $A\supset B$\\$A\cdot B = B$\\$P(A/B)=\frac{P(B)}{P(B)}=1$}; | |
\begin{scope}[xshift=5cm,yshift=3mm] | |
\draw (0,0) rectangle (-1.5,-1); | |
\draw[fill=blue,fill opacity=0.2] (-0.75,-0.5) circle (4mm); | |
\draw[fill=blue,fill opacity=0.2] (-0.75,-0.5) circle (1.5mm); | |
\draw (-0.75,-0.5) node[scale=.7] {$B$}; | |
\draw (-0.25,-0.2) node[scale=.8] {$A$}; | |
\draw (-1.3,0) arc(360:270:0.2) node[xshift=0.8mm,yshift=1.1mm,scale=.5] {$S$}; | |
\end{scope} | |
\end{scope} | |
\begin{scope}[xshift=5cm,yshift=2cm] | |
\draw (0,0) rectangle (-1.5,-1); | |
\draw[fill=blue,fill opacity=0.2] (-0.6,-0.5) circle (3mm); | |
\draw[fill=blue,fill opacity=0.2] (-0.9,-0.5) circle (3mm); | |
\draw (-1.33,-0.5) node[scale=.8] {$A$}; | |
\draw (-0.17,-0.5) node[scale=.8] {$B$}; | |
\draw (-1.3,0) arc(360:270:0.2) node[xshift=0.8mm,yshift=1.1mm,scale=.5] {$S$}; | |
\end{scope} | |
\end{tikzpicture} | |
\item \begin{tikzpicture}[baseline=(current bounding box.north)] | |
\draw (0,0) rectangle (4,2); | |
\draw[orange,fill=orange!50!white] (2,1) circle (0.8cm); | |
\draw plot [smooth,tension=1] coordinates {(0.6,2) (1.5,1.6) (2,1.3) (2.5,1.6) (3.4,2)}; | |
\draw plot[smooth,tension=1.5] coordinates {(0.4,0) (2,0.9) (3.6,0)}; | |
\draw plot[smooth,tension=2] coordinates {(2,1.3) (2.1,1.1) (2,0.9)}; | |
\draw[brown!50!black] (0,1.7) arc (270:360:0.3); | |
\draw[brown!50!black] (0.12,1.87) node {$\mathsmaller{S}$}; | |
\draw (2,1.7) node {$A_1$}; | |
\draw (3.4,1.1) node {$A_2$}; | |
\draw (2,0.4) node {$A_3$}; | |
\draw (0.8,1.1) node {$A_4$}; | |
\draw[orange!70!black] (2.85,0.35) node {$B$}; | |
\end{tikzpicture} | |
Έστω ένας διαμερισμός του δειγματικού χώρου και ένα | |
ενδεχόμενο \( B \) αυτού, δηλαδή: | |
\begin{gather*} | |
A_1+A_2+A_3+A_4 = S \\ | |
A_i A_j = \emptyset \ \forall i,j \\[.3ex] | |
(B \cdot A_i) \cdot (B \cdot A_j) = \emptyset | |
\end{gather*} | |
Τότε: | |
\begin{align*} | |
B &= B\cdot S = B(A_1+A_2+A_3+A_4) \\ | |
B &= B\cdot A_1 + B\cdot A_2 + B\cdot A_3 + B\cdot A_4 \\ | |
P(B) &= P(BA_1) + P(BA_2) + P(BA_3) + P(BA_4) | |
\intertext{\( P(B/A_i) = \frac{P(B)\cdot A_i}{P(A_i)} \)} | |
\intertext{\( P(BA_i) = P(B/A_i)\cdot P(A_i) \)} | |
P(B) &= P(B/A_1)P(A_1)+P(B/A_2)P(A_2)+P(B/A_3)P(A_3) | |
+P(B/A_4)P(A_4) | |
\end{align*} | |
Το παραπάνω (\textbf{θεώρημα ολικής πιθανότητας}) | |
εκφράζεται γενικά ως εξής: | |
\[ | |
P(B) = \sum_{i=1}^{m} P(A_i)P(B/A_i) | |
\] | |
\item | |
Από την παραπάνω ιδιότητα έχουμε: | |
\begin{align*} | |
P(A_iB) &= P(B)P(A_i/B) = P(A_i)P(B/A_i) \\ | |
P(A_i/B) &= \frac{P(B/A)P(A_i)}{P(B)} \\ | |
\Aboxed{ | |
P(A_i/B) &= | |
\frac{P(B/A_i)P(A_i)}{\displaystyle\sum_{i=1}^{n}P(A_i)P(B/A_i)} | |
} \qquad \text{\textbf{Θεώρημα Bayes}} | |
\end{align*} | |
\end{enumpar} | |
\paragraph{Παράδειγμα} | |
\hspace{0pt} | |
\begin{tikzpicture}[every node/.style={scale=0.8}] | |
\draw (0,0) rectangle node[midway] {Πομπός} (2,1); | |
\draw (2.5,0.2) rectangle node[midway] {Κανάλι} ++(1.2,0.6); | |
\draw (4.2,0) rectangle node[midway] {Δέκτης} ++(2,1); | |
\draw[->] (2,0.5) --++ (0.5,0); | |
\draw[->] (3.7,0.5) --++ (0.5,0); | |
\draw (0,-0.5) node[right] {$A=\lbrace A_1,A_2,A_3,A_4\rbrace$}; | |
\end{tikzpicture} | |
Η είσοδος μπορεί να είναι ένα αλφάβητο \( A \): | |
\begin{align*} | |
A &= \left\lbrace A_1,A_2,A_3,A_4 \right\rbrace | |
\intertext{με πιθανότητες για το καθένα:} | |
\Pi_A &= \left\lbrace | |
\Pi_{A_1},\Pi_{A_2},\Pi_{A_3},\Pi_{A_4} | |
\right\rbrace | |
\end{align*} | |
Το κανάλι ποτέ δεν θα μεταφέρει ακριβώς την πληροφορία, αλλά θα | |
την μεταβάλλει με κάποιον τρόπο (π.χ. θόρυβος). Αν \( B \) είναι το | |
αλφάβητο εξόδου, έχουμε: | |
\begin{align*} | |
B &= \left\lbrace B_1,B_2,B_3,B_4 \right\rbrace \\ | |
\Pi_B &= \left\lbrace | |
\Pi_{B_1},\Pi_{B_2},\Pi_{B_3},\Pi_{B_4} | |
\right\rbrace | |
\end{align*} | |
Για να μελετήσουμε το κανάλι, μπορούμε να βάλουμε κάποιον να μετράει | |
τις πιθανότητες εμφάνισης κάποιας εξόδου με δεδομένη είσοδο (για | |
παράδειγμα, να στείλουμε 100\,000 φορές την είσοδο \( A_1 \), και | |
να μετρήσουμε πόσες φορές εμφανίζεται η κάθε έξοδος). Έτσι έχουμε | |
τις υπό συνθήκη (\textbf{a posteriori}) πιθανότητες: | |
\[ | |
\Pi_{B/A} = \begin{cases} | |
\Pi(B_1/A_1),\ \Pi(B_1/A_2),\ \Pi(B_1/A_3), \dots \\ | |
\Pi(B_2/A_1),\ \Pi(B_2/A_2),\ \dots \\ | |
\vdots | |
\end{cases} | |
\] | |
Από τις παραπάνω ιδιότητες έχουμε: | |
\[ | |
P(B_1) = P(A_1)P(B_1/A_1) | |
+P(A_2)P(B_1/A_2) | |
+P(A_3)P(B_1/A_3) | |
+P(A_4)P(B_1/A_4) | |
\] | |
Άρα: | |
\[ | |
% \mathlarger{ | |
P(A_i/B_j) = \frac{P(B_j/A_i)P(A_i)}{ | |
\sum_{i=1}^n P(A_i)P(B_j/A_i) | |
} | |
% } | |
\] | |
Έτσι, για κάθε έξοδο, μπορούμε να υπολογίσουμε την πιθανότητα | |
να προέρχεται από μια είσοδο. | |
Αν π.χ. έχουμε: \begin{align*} | |
P(A_1/B_4) &= 70\% \\ | |
P(A_2/B_4) &= 15\% \\ | |
P(A_3/B_4) &= 8\% \\ | |
P(A_4/B_4) &= 7\% | |
\end{align*} | |
μπορούμε να φανταστούμε ότι η έξοδος \( B_4 \) αντιστοιχεί με | |
μεγαλύτερη πιθανότητα σε είσοδο \( A_1 \), σύμφωνα με το κριτήριο | |
\textbf{MAP} (\textit{maximum a-posteriori probability}). | |
Είναι συχνό βέβαια να μη γνωρίζουμε τις \todo{a-priori?} | |
πιθανότητες \( P(A_i) \), οπότε μπορούμε να καταφύγουμε σε κόλπα, | |
όπως να θεωρήσουμε ότι τα ενδεχόμενα της εισόδου είναι ισοδύναμα. | |
\subsubsection{Σήματα} | |
\hspace{0pt} | |
\begin{tikzpicture}[scale=1.3] | |
\fill[cyan!40,path fading=north] (-1,1.125) rectangle (8,2); | |
\fill[cyan!40,path fading=south] (-1,-1.125) rectangle (8,-2); | |
\fill[green,opacity=.15] (-1,1.125) rectangle (8,0); | |
\fill[yellow,opacity=.2] (-1,-1.125) rectangle (8,0); | |
\draw[dashed] (-1,1.125) -- (8,1.125); | |
\draw[dashed] (-1,-1.125) -- (8,-1.125); | |
\draw (-1,0) -- (8,0); | |
\draw (0,-2) -- (0,2); | |
\def\1{1.5}; | |
\def\2{0.75} | |
\def\3{-0.75} | |
\def\4{-1.5} | |
\draw (-0.1,\1) node[left,scale=.7] {$1$} -- (0.1,\1); | |
\draw (-0.1,\2) node[left,scale=.7] {$2$} -- (0.1,\2); | |
\draw (-0.1,\3) node[left,scale=.7] {$3$} -- (0.1,\3); | |
\draw (-0.1,\4) node[left,scale=.7] {$4$} -- (0.1,\4); | |
\draw (-1.5,\1) node {$a$}; | |
\draw (-1.5,\2) node {$b$}; | |
\draw (-1.5,\3) node {$c$}; | |
\draw (-1.5,\4) node {$d$}; | |
\draw (-0.8,\1) node[scale=.6] {$\mathtt{11}$}; | |
\draw (-0.8,\2) node[scale=.6] {$\mathtt{10}$}; | |
\draw (-0.8,\3) node[scale=.6] {$\mathtt{01}$}; | |
\draw (-0.8,\4) node[scale=.6] {$\mathtt{00}$}; | |
\draw[very thick,black] plot [const plot] coordinates | |
{(0,\2) (1,\4) (2,\1) (3,\2) (4,\3) (5,\2) (6,\4) (7,\1) (8.1,\1)} | |
node[above right] {αρχικό σήμα}; | |
\foreach \x in {1,2,3,...,5} { | |
\draw[draw=gray] (\x,-0.1) -- (\x,0.1) node[midway,below left,scale=.6] {$\x T$}; | |
} | |
\draw (6,0) node[below left,scale=.6] {$\cdots$}; | |
\draw[very thick,orange!70!brown] plot [smooth,tension=.2] coordinates | |
{(0,0) (0.15,0.4) (0.3,1.05) (0.4,1.1) (0.5,1) (0.6,1.10) | |
(0.7,1+rand/5) (1,rand/10) (1.2,-1.5+rand/3) (1.4,-1.5+rand/4) (1.5,-1.5+rand/5) | |
(1.6,-1.5+rand/4) (1.8,-1.5+rand/2) (1.9,-0.75+rand/2) (2,rand/5) (2.1,0.7+rand/3) | |
(2.2,1.2+rand/3) (2.4,1.5+rand/5) (2.6,1.5+rand/5) (2.7,1.2+rand/6) (2.9,1+rand/5) | |
(3.1, 0.7+rand/4) (3.3, 0.8+rand/5) (3.4, 0.8+rand/4) (3.6,0.5+rand/3) (3.8,0.9+rand/4) | |
(4,1+rand/4) (4.1,rand/4) (4.2, 0.4+rand/4) (4.3, -0.3+rand/3) (4.4, -0.5+rand/4) | |
(4.5,-0.5+rand/5) (4.6,-0.5+rand/6) (4.8,-0.3+rand/4) (5,0+rand/4) (5.2,0.3+rand/4) | |
(5.4,0.6+rand/4) (5.6,1+rand/4) (5.8,0.8+rand/4) (5.9,rand/4) (6,rand/7) | |
(6.2,-0.2+rand/4) (6.4,-1.3+rand/4) (6.6, -0.5+rand/5) (6.8,0.5+rand/3) | |
(7,1+rand/3) (7.2,2+rand/4) (7.4,1.6+rand/4) (7.6,1.3+rand/6) (7.8,1.3+rand/8) | |
(8,1.3)} node[below right] {σήμα με θόρυβο}; | |
\draw[very thick,green!50!black] plot [smooth] coordinates | |
{(0,0) (0.3,1) (0.7,1) (1.5,-1.5) (2.5,1.5) (3.6,0.6) (3.9,0.8) | |
(4.6,-0.5) (5.6,0.85) (6.4,-1.2) (7.1,1.7) (7.7,1.5) (8,1.4)} | |
node[right] {σήμα χωρίς υψηλές συχνότητες}; | |
\end{tikzpicture} | |
Ένα πραγματικό σήμα έχει θόρυβο, όπως φαίνεται στο διάγραμμα. | |
Το σήμα που στέλνει ο πομπός είναι το αρχικό καθαρό σήμα, ενώ αυτό που λαμβάνει | |
ο δέκτης είναι το \textcolor{orange!70!brown}{σήμα με θόρυβο}. Ο δέκτης μπορεί | |
αυτό να το επεξεργαστεί ώστε να πάρει ένα | |
\textcolor{green!50!black}{σήμα χωρίς υψηλές συχνότητες}. Για | |
να εξάγουμε την αρχική τιμή του σήματος από την είσοδο με θόρυβο, | |
μπορούμε να χωρίσουμε τη ζώνη του πλάτους σε διαφορετικές περιοχές, | |
και κάθε μία από αυτές να την αντιστοιχούμε σε μία τιμή εξόδου, | |
\( \alpha, \beta, \gamma \) ή \( \delta \). Όπως και πριν, κάθε | |
είσοδος αντιστοιχεί με διαφορετική πιθανότητα σε κάθε έξοδο: | |
\begin{center} | |
\begin{tikzpicture}[xscale=1.3] | |
\coordinate (a) at (2,6); | |
\coordinate (b) at (2,4); | |
\coordinate (c) at (2,2); | |
\coordinate (d) at (2,0); | |
\coordinate (1) at (0,6); | |
\coordinate (2) at (0,4); | |
\coordinate (3) at (0,2); | |
\coordinate (4) at (0,0); | |
\draw[green!50!blue!50!white,->] (1.7,6.02) to[bend left] (3.5,7) | |
node[right] {$P(1/a)$}; | |
\draw[green!50!blue!50!white,->] (1.58,5.65) to[bend right] (3.2,6) | |
node[right] {$P(2/a)$}; | |
\draw[green!50!blue!50!white,->] (1.20,4.56) to[bend left=20] (3,5.2) | |
node[right] {$P(3/a)$}; | |
\draw[green!50!blue!50!white,->] (1.36,4.37) to[bend right=20] (3,4.4) | |
node[right] {$P(4/a)$}; | |
\foreach \x in {2,3,4} | |
\foreach \y in {a,b,c,d} | |
\draw (\x) to[bend left={5-\x}] (\y); | |
\draw (1) to[bend left=4] node[midway,above] {$P(a/1)$} (a); | |
\draw (1) to[bend left=4] node[midway,above,sloped] {$P(\beta/1)$}(b); | |
\draw (1) to[bend left=4] node[midway,above,sloped] {$\cdots$} (c); | |
\draw (1) to[bend left=4] (d); | |
\foreach \x in {1,2,3,4} | |
\fill (\x) circle (2pt) node[left] {$P_\x \qquad \x$}; | |
\fill (a) circle (2pt) node[right] {$a$}; | |
\fill (b) circle (2pt) node[right] {$\beta$}; | |
\fill (c) circle (2pt) node[right] {$\gamma$}; | |
\fill (d) circle (2pt) node[right] {$\delta$}; | |
\end{tikzpicture} | |
\end{center} | |
\subsubsection{Ανεξαρτησία} | |
Δύο γεγονότα λέγονται ανεξάρτητα ανν: | |
\[ | |
P(A\cdot B) = P(A)P(B) | |
\] | |
Ομοίως ορίζεται η ανεξαρτησία για περισσότερα ενδεχόμενα, ανν: | |
\[ | |
P(A_1A_2\cdots A_n) = P(A_1)P(A_2)\cdots P(A_n) | |
\] | |
\subsection{Πιθανοτικό Μοντέλο} | |
Ένας δειγματικός χώρος \( S \) έχει μεγάλο αριθμό δυνατών υποσυνόλων, | |
και στο καθένα από αυτά αντιστοιχεί μία πιθανότητα. Για εμάς μπορεί | |
να είναι εύκολο/δυνατό να βρούμε την πιθανότητα μόνο για μερικά | |
από αυτά τα υποσύνολα, επομένως ονομάζουμε αυτά γεγονότα, και τα | |
τοποθετούμε σε μια τάξη συνόλων \( \mathcal F \), που θα ικανοποιούν: | |
\begin{enumroman} | |
\item \( \emptyset \in \mathcal F,\ | |
S \in \mathcal{F} | |
\) | |
\item \( A \in \mathcal F \) και το \( \bar A \in \mathcal F \) | |
\item \( A \in \mathcal F \) και \( B \in \mathcal F \) | |
\( \implies A + B \in \mathcal F \) \quad | |
(τότε θα έχουμε και \( A\cdot B,\ A-B \in \mathcal F \)) | |
\end{enumroman} | |
Τότε προκύπτει, αν \( A_1,A_2,\dots,A_n \in \mathcal F \): | |
\begin{gather*} | |
A_1+A_2+\dots +A_n \in \mathcal F \\ | |
A_1\cdot A_2 \cdot \cdots \cdot A_n \in \mathcal F | |
\end{gather*} | |
Το πεδίο \( \mathcal F \) ονομάζεται \textbf{πεδίο Borel}. | |
Αν έχουμε τα \( \mathlarger{\mathlarger{(S,\mathcal F,P)}} \), | |
δηλαδή το | |
δειγματικό χώρο, ένα πεδίο Borel, και τις αντίστοιχες πιθανότητές | |
του, τότε έχουμε ένα πλήρες πιθανοτικό μοντέλο. | |
\paragraph{Σύνολο με πεπερασμένο αριθμό γεγονότων} | |
\begin{align*} | |
S &= \left\lbrace J_1,J_2,\dots,J_n \right\rbrace \\ | |
P_i \to \quad A_1 &= | |
\left\lbrace J_i \right\rbrace \in \mathcal F \\ | |
& P_1+P_2+\dots+P_N = 1 \\ | |
A &= \left\lbrace J_{k_1},J_{k_2},\dots,J_{k_i} \right\rbrace | |
\quad i \leq n \qquad \text{(επιλέγουμε μερικά | |
απλά ενδεχόμενα από τον χώρο $S$)} \\ | |
P(A) &= P\left\lbrace J_{k_1} \right\rbrace + | |
P\left\lbrace J_{k_2} \right\rbrace + \dots + | |
P\left\lbrace J_{k_i} \right\rbrace \\ &= | |
P_{k_1} + P_{k_2} + \dots + P_{k_n} | |
\end{align*} | |
\paragraph{Σύνολο με πραγματικούς αριθμούς} | |
Όταν, για παράδειγμα, περιμένουμε το λεωφορείο στη στάση, ο χρόνος | |
\( t \) που πρέπει να περιμένουμε μέχρι να έρθει είναι πραγματικός | |
αριθμός: | |
\begin{gather*} | |
t_1 \leq t \leq t_2 \\ t_1,t_2 \in [0,+\infty) | |
\end{gather*} | |
Θα προσπαθήσω να δώσω μια πιθανότητα της μορφής | |
\( P(0 \leq t \leq t_1) \) | |
σε κάθε διάστημα. | |
Έστω λοιπόν μια \underline{\( f(t) \)} με \( f(t) \leq 0 \) και | |
\( \displaystyle \int_0^\infty f(t) = 1 \). Τότε μπορώ να ορίσω: | |
\[ | |
P\left\lbrace 0 \leq t \leq t_1 \right\rbrace = | |
\int_0^{t_1} f(t)\dif t. | |
\] | |
Με αυτόν τον τρόπο μπορώ να ορίσω και πιθανότητες για \( t \) που | |
δεν ξεκινούν από το 0, παρατηρώντας ότι: | |
\begin{align*} | |
0 \leq t \leq t_2 &= \left(0 \leq t \leq t_1\right) \ + \ \left(t_1\leq t \leq t_2\right) \\ | |
P\left\lbrace 0\leq t \leq t_2 \right\rbrace &= | |
P\left\lbrace 0 \leq t \leq t_1 \right\rbrace + P\left\lbrace | |
t_1 \leq t \leq t_2 \right\rbrace \\ | |
\int_0^{t_2} f(t)\dif t - \int_0^{t_1} f(t)\dif t &= | |
P\left\lbrace t_1 \leq t \leq t_2 \right\rbrace \\ | |
P\left\lbrace t_1<t\leq t_2 \right\rbrace = | |
\int_{t_1}^{t_2} f(t)\dif t | |
\end{align*} | |
\begin{tikzpicture} | |
\draw[->] (-0.2,0) -- (3,0); | |
\filldraw (0,0) circle (1pt) node[below] {$0$}; | |
\filldraw (1,0) circle (1pt) node[below] {$t_1$}; | |
\filldraw (2,0) circle (1pt) node[below] {$t_2$}; | |
\draw[thick,black!70!blue] (0,0) -- (0.25,0.3) -- (0.75,0.3) -- (1,0); | |
\draw[thick,black!70!blue] (1,0) -- (1.25,0.3) -- (1.75,0.3) -- (2,0); | |
\draw[thick,black!80!blue] (0,0) -- (0,0.5) -- (2,0.5) -- (2,0); | |
\end{tikzpicture} | |
Η \( f(t) \) επομένως είναι μια συνάρτηση γραμμικής πυκνότητας. | |
\subparagraph{Πιθανότητα στιγμής} | |
Πόση είναι η πιθανότητα για μια στιγμή, "μηδενικής" διάρκειας; | |
\begin{align*} | |
\lim_{\epsilon\to 0} P(t_2-\epsilon < t \leq t_2) &= | |
\lim_{\epsilon\to 0} \int_{t_2-\epsilon}^{t_2} f(t)\dif t | |
\\ &= \int_{t_2}^{t_2} f(t)\dif t = 0. | |
\end{align*} | |
\paragraph{Πιθανότητα πολλαπλών πειραμάτων} | |
Έχουμε δύο πειράματα με διαφορετικούς δειγματικούς χώρους: | |
\begin{align*} | |
S_A &= \left\lbrace a_1,a_2,\dots,a_n \right\rbrace \\ | |
S_B &= \left\lbrace \beta_1,\beta_2,\dots,\beta_n \right\rbrace | |
\end{align*} | |
Αν πραγματοποιήσουμε και τα δύο πειράματα, παίρνουμε έναν δειγματικό | |
χώρο που είναι το καρτεσινό γινόμενο του καθενός, το οποίο | |
αποτελείται από διατεταγμένα ζεύγη γεγονότων: | |
\[ | |
S = S_A \times S_B = \left\lbrace | |
(a_1,\beta_1),(a_1,\beta_2),\dots,(a_2,\beta_1),(a_2,\beta_2),\dots, | |
(a_n,\beta_n) | |
\right\rbrace | |
\] | |
με παρόμοιο αποτέλεσμα αν τα \( S_A,S_B \) είναι σύνολα πραγματικών | |
αριθμών. | |
Για παράδειγμα, έχουμε: | |
\begin{align*} | |
A_i &= \left\lbrace a_1,a_2 \right\rbrace \in S_A \\ | |
B_j &= \left\lbrace \beta_3 \right\rbrace \in S_B \\ | |
C &= A_i \times B_j = \left\lbrace | |
(a_1,\beta_3),(a_2,\beta_3) \right\rbrace \subseteq S = S_A \times S_B | |
\end{align*} | |
Το ερώτημα που προκύπτει είναι, αν γνωρίζουμε τις πιθανότητες | |
\( P(A_i), P(B_i) \), πώς μπορούμε να υπολογίσουμε την πιθανότητα | |
των γεγονότων του \( C \); | |
Αν τα δύο πειράματα είναι \textit{ανεξάρτητα}, τότε έχουμε: | |
\[ | |
P(A_i,B_j) = P(A_iB_j) | |
\] | |
Στην περίπτωση που δεν υπάρχει ανεξαρτησία, θα πρέπει να μελετηθεί | |
εκ νέου ο δειγματικός χώρος \( S \) των δύο πειραμάτων. Αν όμως | |
γνωρίζουμε τις πιθανότητες του \( S \), μπορούμε να υπολογίσουμε | |
τις αρχικές (marginal) πιθανότητες: | |
\begin{align*} | |
P(A_i) &= \sum_j P(A_i, B_j) \\ | |
P(B_j) &= \sum_i P(A_i, B_j) \\ | |
P(A_i/B_j) &= \frac{P(A_iB_j)}{P(B_j)} | |
\end{align*} | |
\section{Τυχαίες Μεταβλητές} | |
\subsection{Ορισμός} | |
Ας κάνουμε ένα πείραμα. Στο πείραμα έχουμε τρία κουτιά. Σε κάθε | |
κουτί υπάρχει μια άσπρη και μια μαύρη μπάλα, και τραβάω μία από | |
κάθε κουτί. | |
\begin{center} | |
\begin{tikzpicture}[scale=1] | |
\def\sphere#1#2#3{ | |
\begin{scope} | |
\clip {#1} circle (#2); | |
\draw [fill=black!70] {#1} circle (#2); | |
\begin{scope}%[transform canvas={rotate=45}] | |
\shade [ball color={#3},yshift={#2*0.6}] {#1} ellipse (#2*1.8 and #2*1.6); | |
\end{scope} | |
\end{scope} | |
} | |
\def\cr{1.7mm} | |
\def\js{0.8cm} | |
\begin{scope}[] | |
\sphere{(0,0)}{\cr}{white} | |
\sphere{(0.5,0)}{\cr}{black} | |
\draw (-0.3,0.3) rectangle (0.5+0.3,-0.3); | |
\end{scope} | |
\begin{scope}[xshift=2cm] | |
\sphere{(0,0)}{\cr}{white} | |
\sphere{(0.5,0)}{\cr}{black} | |
\draw (-0.3,0.3) rectangle (0.5+0.3,-0.3); | |
\end{scope} | |
\begin{scope}[xshift=4cm] | |
\sphere{(0,0)}{\cr}{white} | |
\sphere{(0.5,0)}{\cr}{black} | |
\draw (-0.3,0.3) rectangle (0.5+0.3,-0.3); | |
\end{scope} | |
\draw[->,thick] (0.3,-0.5) to[bend left=20] (\js+1cm,-1); | |
\draw[->,thick] (2.3,-0.5) to[bend left=20] (\js+1.6cm,-1); | |
\draw[->,thick] (4.3,-0.5) to[bend right=30] (\js+2.2cm,-1); | |
\begin{scope}[yshift=-1.5cm,xshift=\js] | |
\draw (0,0) node {$J_1=$}; | |
\draw (0.3,0) node[right,scale=1] {$\bigg\{$}; | |
\sphere{(1,0)}{\cr}{white} | |
\sphere{(1.6,0)}{\cr}{black} | |
\sphere{(2.2,0)}{\cr}{white} | |
\draw (2.9,0) node[left,scale=1] {$\bigg\}$}; | |
\end{scope} | |
\end{tikzpicture} | |
\end{center} | |
\begin{align*} | |
S_A &= \left\lbrace \varLambda, M \right\rbrace | |
= \left\lbrace J_{A_1},J_{A_2} \right\rbrace \\ | |
S_B &= \left\lbrace \varLambda, M \right\rbrace | |
= \left\lbrace J_{B_1},J_{B_2} \right\rbrace \\ | |
S_\varGamma &= \left\lbrace \varLambda, M \right\rbrace | |
= \left\lbrace J_{\varGamma_1},J_{\varGamma_2} \right\rbrace | |
\end{align*} | |
\begin{align*} | |
S &= S_A \times S_B \times S_\varGamma \\ | |
&= \left\lbrace \varLambda\varLambda\varLambda, | |
\varLambda\varLambda M,\dots,MMM \right\rbrace | |
\\ &= \left\lbrace J_1,J_2,\dots,J_8 \right\rbrace | |
\end{align*} | |
\[ | |
P(J_i) = P(J_{A_i}) P(J_{B_i}) P(J_{\varGamma_i}) | |
\] | |
Έστω ότι αυτό είναι ένα παιγνίδι με πόντους, όπου οι λευκές μπάλες | |
δίνουν 1 πόντο, ενώ οι μαύρες αφαιρούν 1. | |
\[ | |
\begin{array}{c|c|c|l} | |
& \text{Επιλογή} & \text{Πιθ. επιλογής} & \text{Πόντοι} \\ | |
i & J_i & P(J_i) & \\ \hline | |
1 & \varLambda\varLambda\varLambda & p^3 & 3 \\ \hline | |
2 & \varLambda\varLambda M & p^2(1-p) & 1 \\ \hline | |
3 & \varLambda M \varLambda & p^2(1-p) & 1 \\ \hline | |
4 & M\varLambda\varLambda & p^2(1-p) & 1 \\ \hline | |
5 & \varLambda M M & p(1-p)^2 & -1 \\ \hline | |
6 & M \varLambda M & p(1-p)^2 & -1 \\ \hline | |
7 & \varLambda M \varLambda & p(1-p)^2 & -1 \\ \hline | |
8 & M M M & (1-p)^3 & -3 \\ \hline | |
\end{array} | |
\] | |
Αν σε ένα πείραμα τύχης αποκαταστήσουμε μια σχέση που αντιστοιχεί | |
το αποτέλεσμα σε έναν αριθμό (ακέραιο, πραγματικό, \dots\ — για παράδειγμα | |
οι πόντοι), τότε έχουμε μία τυχαία μεταβλητή. | |
\paragraph{2\textsuperscript{ο} Παράδειγμα} | |
Σε ένα κουτί υπάρχουν αντιστάσεις \( R= 100\, \Omega \) | |
με ανοχή \( 0.1\% \). | |
Αυτό είναι ένα πείραμα τύχης με δειγματικό χώρο | |
\( S = \left\lbrace J_1,\dots,J_n \right\rbrace \), και το εύρος | |
της τιμής για κάθε αντίσταση είναι \( x=x(J_i), \quad | |
99,9 \leq x(J_i) \leq 100.1 \), δηλαδή \( x \in [99.9,\ 100.1] \). | |
\paragraph{Τυχαία μεταβλητή} ονομάζεται μία συνάρτηση \( X \) | |
που αντιστοιχεί κάθε ένα αποτέλεσμα \( J \in S \) του πειράματός μας | |
σε έναν αριθμό \( X=X(J) \). | |
\paragraph{} | |
Για παράδειγμα, στο αρχικό παιχνίδι μπορώ να γράψω: | |
\begin{align*} | |
C &= \left\lbrace \varLambda\varLambda\varLambda, | |
\varLambda\varLambda M, \varLambda M \varLambda, | |
M\varLambda\varLambda \right\rbrace | |
\\ &= \left\lbrace 1 \leq x \leq 3 \right\rbrace | |
\end{align*} | |
\paragraph{} | |
Η συνάρτηση \( X \) επομένως αντιστοιχεί κάθε ενδεχόμενο του \( S \) | |
σε έναν αριθμό (φυσικό αν έχουμε αριθμήσιμα αποτελέσματα, πραγματικό | |
αν είναι μη αριθμήσιμα): | |
\begin{center} | |
\begin{tikzpicture}[scale=.8] | |
\draw (-1.2,0) node[left] {$S$}; | |
\draw (0,0) ellipse (1 and 1.3); | |
\draw[->,thick] (1,0) to[bend left=10] node[midway,above] {$X(J)$} (4-1.1,0); | |
\draw (4,0) ellipse (1.1 and 1.27); | |
\node at ($(4,0)+(70:1.1 and 1.27)$)[above right] {$\mathbb C$}; | |
\node at ($(4,0)+(30:1.1 and 1.27)$)[above right] {$\mathbb R$}; | |
\node at ($(4,0)+(-10:1.1 and 1.27)$)[above right] {$\mathbb N$}; | |
\node at ($(4,0)+(-40:1.2 and 1.3)$)[right] {$\mathbb X = X(J)$}; | |
\end{tikzpicture} | |
\end{center} | |
\subsection[Συνάρτηση Κατανομής Πιθανότητας]{ | |
Συνάρτηση Κατανομής Πιθανότητας \\ (Probability Distribution | |
Function - PDF)} | |
\( \mathlarger{F(x)} \) | |
\begin{defn}{Συνάρτηση κατανομής πιθανότητας}{} | |
Ως συνάρτηση κατανομής πιθανότητας για μία τυχαία μεταβλητή \( X \) | |
ορίζεται η συνάρτηση που ικανοποιεί: | |
\[ | |
P\left\lbrace X \leq x \right\rbrace = F_X(x) | |
\] | |
\end{defn} | |
Δηλαδή μας δίνει την πιθανότητα η τυχαία μεταβλητή να είναι | |
μικρότερη από έναν αριθμό: | |
\begin{tikzpicture}[scale=.8] | |
\draw[thick] (-2,0) -- (2,0); | |
\draw (-1,0) -- (-1,0.7) -- ++(2,0) -- (1,0); | |
\filldraw (-1,0) circle (2pt) node[below] {$x_1$}; | |
\filldraw (1,0) circle (2pt) node[below] {$x_2$}; | |
\draw (current bounding box.north) node[above,yshift=5mm] | |
{$\big\{ x_1 < x \leq x_2 \big\}$}; | |
\draw (current bounding box.south) node[below,align=left,yshift=-3mm] | |
{$P\big\{ x = -\infty\big\} = 0$\\ | |
$P\big\{ x = +\infty\big\} = 0$}; | |
\end{tikzpicture} | |
\paragraph{Ιδιότητες} | |
Η συνάρτηση αυτή ικανοποιεί μερικές ιδιότητες: | |
\begin{enumroman} | |
\item \( F_X(-\infty) = 0 \qquad | |
\mathsmaller{P\left\lbrace X\leq-\infty \right\rbrace = 0} \) | |
\item \( F_X(+\infty) = 1 \qquad | |
\mathsmaller{P\left\lbrace X\leq+\infty \right\rbrace = P(S)}\) | |
\item \( F_X(x_1) \leq F_X(x_2) \text{ ανν } x_1 \leq x_2 \) | |
(δηλαδή είναι \textbf{αύξουσα}, όχι όμως απαραίτητα γνησίως αύξουσα) | |
\item Απαιτούμε να είναι \textbf{συνεχής από τα δεξιά}, δηλαδή | |
\( F_X(x^+) = F_X(x) \). | |
\begin{tikzpicture}[scale=.6,every node/.style={scale=.8},yscale=.9] | |
\draw (-2,0) -- (2,0); | |
\draw (1.2,0) -- ++(0,0.5) --++(-2,0); | |
\draw (0.5,0) -- ++(0,1) --++(-2,0); | |
\draw (-0.5,0) -- ++(0,1.5) --++(-1.5,0); | |
\filldraw (-0.5,0) circle (2pt) node[below] {$x_1$}; | |
\filldraw (0.5,0) circle (2pt) node[below] {$x_2$}; | |
\filldraw (1.2,0) circle (2pt) node[below] {$x_3$}; | |
\filldraw (-1.6,0) circle (1.5pt) node[below] {$0$}; | |
\end{tikzpicture} | |
\end{enumroman} | |
\paragraph{Παράδειγμα για την ιδιότητα (iv)} | |
\begin{align*} | |
F_X(x^+) &= \underset{\epsilon\to 0}{P} | |
\left\lbrace X \leq x+\epsilon \right\rbrace | |
\\ &= P\left\lbrace X \leq x \right\rbrace | |
+ \underset{\epsilon\to 0}{P}\left\lbrace x<X\leq x+\epsilon | |
\right\rbrace | |
\end{align*} | |
\todo{?} | |
\paragraph{} | |
Από τη στιγμή που έχουμε την συνάρτηση αυτή, μπορούμε να υπολογίσουμε | |
τις πιθανότητες οποιουδήποτε διαστήματος. Το πιο συχνό διάστημα είναι | |
το: | |
\[ | |
\left\lbrace x_1 < X \leq x_2 \right\rbrace, | |
\] | |
του οποίου συχνά καλούμαστε να υπολογίσουμε την πιθανότητα, ενώ θα | |
έχουμε την συνάρτηση κατανομής \( F_X(x) \). | |
Για να την υπολογίσουμε έχουμε: | |
\begin{tikzpicture}[scale=1.2] | |
\draw (0.4,0) -- (3,0); | |
\draw[thick] (1,0) -- (1,0.5) -- (2,0.5) -- (2,0); | |
\draw[very thick,green!70!black] (1,0) -- (0.7,0.4) -- ++(-1,0); | |
\draw[very thick,green!70!black] (2,0) -- (1.7,0.6) -- ++(-1.8,0); | |
\filldraw (1,0) circle(2pt) node[below] {$x_1$}; | |
\filldraw (2,0) circle(2pt) node[below] {$x_2$}; | |
\end{tikzpicture} | |
\begin{align*} | |
\left\lbrace X \leq x_2 \right\rbrace &= | |
\left\lbrace X \leq x_1 \right\rbrace + | |
\left\lbrace x_1 < X \leq x_2 \right\rbrace \\ | |
P\left\lbrace X \leq x_2 \right\rbrace &= | |
P\left\lbrace X \leq x_1 \right\rbrace + | |
P \left\lbrace x_1 < X \leq x_2 \right\rbrace \\ | |
\Aboxed{ | |
F_X(x_2) - F_X(x_1) &= P \left\lbrace x_1<X\leq x_2 \right\rbrace | |
} | |
\end{align*} | |
Ένα αποτέλεσμα του παραπάνω είναι: | |
\begin{align*} | |
\underset{\epsilon\to 0}{P} \left\lbrace x-\epsilon < X \leq x | |
\right\rbrace = F_X(x) - \underset{\epsilon\to 0}{F_X}(x-\epsilon) | |
&= F_X(x^+)-F_X(x^-) \\ &= \begin{cases} | |
0 & \quad \text{αν είναι συνεχής} \\ | |
\text{η διαφορά των ορίων} & \quad \text{αν δεν είναι συνεχής} | |
\end{cases} \\ &= \mathlarger{P\left\lbrace X=x \right\rbrace} | |
\end{align*} | |
Παρατηρούμε ότι: | |
\begin{align*} | |
\text{συνεχής} &\implies P\left\lbrace X=x \right\rbrace = 0\\ | |
\text{ασυνεχής} &\implies P\left\lbrace X=x \right\rbrace\neq 0 | |
\end{align*} | |
δηλαδή με "πηδήματα" της συνάρτησης κατανομής πιθανότητας, μπορούμε | |
να προσδώσουμε πιθανότητα σε σημείο, όπως φαίνεται στα δύο | |
παραδείγματα παρακάτω. | |
\begin{tikzpicture}[scale=1.2] | |
\draw (-4,0) -- (4,0); | |
\draw (0,-0.7) -- (0,4) node[left] {$F_X$}; | |
\draw (0,0) node[below left] {$0$}; | |
\draw[dashed] (0.7,0) node[below] {$x$} -- (0.7,1) -- (0,1) node[left] {$F_x(x^-)$}; | |
\draw[dashed] (0.7,2) -- (0,2) node[left] {$F_x(x^+)$}; | |
\draw[very thick,blue!50!black] plot[smooth] coordinates {(-3,0.5) (-0.2,0.5) (0.7,1)}; | |
\draw[very thick,blue!50!black] plot[smooth,tension=1] coordinates {(0.7,2) (2.2,3.1) (3.5,3.55)}; | |
\draw[thick,fill=white] (0.7,1) circle (3pt); | |
\draw[thick,fill=black!70!blue] (0.7,2) circle (3pt); | |
\begin{scope}[yshift=-4cm] | |
\draw (-4,0) -- (4,0); | |
\draw (0,-1) -- (0,3) node[below left] {$F_X$}; | |
\draw[thick,black!70!blue] plot[const plot] coordinates {(-4,0) (.7*1,.7*1) (.7*2,.7*2) (.7*3,.7*3) (.7*4,.7*4) (.7*5,.7*4)}; | |
\end{scope} | |
\end{tikzpicture} | |
\subsection{Συνάρτηση Πυκνότητας Πιθανότητας} | |
\begin{defn}{Συνάρτηση Πυκνότητας Πιθανότητας}{} | |
Ως συνάρτηση πυκνότητας πιθανότητας \( f_X(x) \) ορίζουμε: | |
\[ | |
f_X(x) = \od{F_X(x)}{x} | |
\] | |
\end{defn} | |
\paragraph{Ιδιότητες} | |
\begin{enumroman} | |
\item \( f_X(x) \geq 0 \) | |
\item \( \displaystyle | |
\int_{-\infty}^{\infty} f_X(x) \dif x = 1\) | |
\item \( \displaystyle | |
F_X(x) = \int_{-\infty}^{x} f_X(x)\dif x \) | |
\item \( \displaystyle | |
P\left\lbrace x_1 < X \leq x_2 \right\rbrace | |
= \int_{x_1^+}^{x_2^+} f(x)\dif x \quad | |
\mathsmaller{=\ F_X(x_2) - F_X(x_1)} | |
\) | |
\end{enumroman} | |
\begin{center} | |
\begin{tikzpicture}[scale=1.6] | |
\draw[dashed] (1.8,0) -- ++(0,2.5) (1.8+0.4,0) -- ++(0,2.5); | |
\draw[<->] (1.8,2.3) -- ++(0.4,0) node[midway,above,scale=.8] {$\dif x$}; | |
\begin{scope} | |
\clip plot[smooth,tension=.6] coordinates {(-1,0.04) (-0.5,0.3) (1.3,2) (3,0.3) (3.4,0.03)} |- (0,0) -- (-1,0) -- cycle; | |
\fill[orange,postaction={pattern=north east lines,opacity=.3},fill opacity=.5] (-1,0) rectangle (0.4,2); | |
\fill[orange,postaction={pattern=north east lines,opacity=.3},fill opacity=.5] (1.8,0) rectangle ++(0.4,2); | |
\draw (0.4,0) -- ++(0,2); | |
\draw (1.8,0) -- ++(0,2) (1.8+0.4,0) -- ++(0,2); | |
\end{scope} | |
\draw (0.4,0) node[below] {$x_1$}; | |
\draw (1.8,0) node[below,scale=.7] {$\vphantom{\dif}x$}; | |
\draw (1.8+0.4,0) node[below,scale=.7] {$x+\dif x$}; | |
\draw (-1,0) -- (3.5,0); | |
\draw (0,-0.2) -- (0,2.5) node[left] {$f_x(x)$}; | |
\draw[thick,blue!40!black] plot[smooth,tension=.6] coordinates {(-1,0.04) (-0.5,0.3) (1.3,2) (3,0.3) (3.4,0.03)}; | |
\end{tikzpicture} | |
\end{center} | |
Παρατηρούμε ότι η συνάρτηση πυκνότητας πιθανότητας μοιάζει π.χ. με | |
συνάρτηση πυκνότητας γραμμικής μάζας, και για να λάβουμε την | |
πιθανότητα μεταξύ δύο τιμών, απλώς υπολογίζουμε το εμβαδόν της | |
συνάρτησης μεταξύ εκείνων των σημείων. | |
Μεταξύ των \( f_X(x) \) και \( F_X(x) \) επιλέγουμε αυτήν που μας | |
βολεύει περισσότερο, με βάση την ευκολία υπολογισμών. Για | |
παράδειγμα, η κανονική κατανομή \( f_X(x) = | |
\frac{1}{\sqrt{2\sigma^2\pi} } \; e^{ -\frac{(x-\mu)^2}{2\sigma^2} } | |
\) έχει αναλυτική έκφραση, αλλά όχι η αντίστοιχη \( F_X(x) \), για | |
την οποία χρειαζόμαστε πίνακες ή υπολογιστή. | |
\subsection{Πολλαπλές τυχαίες μεταβλητές} | |
Ηχογραφούμε την φωνή μας να λέει την ίδια λέξη κάθε ένα λεπτό. Σε | |
κάθε ηχογράφηση παίρνουμε ένα διαφορετικό σήμα: | |
\begin{tikzpicture} | |
\draw (0,-1) -- (0,2); | |
\draw (-1,0) -- (7,0); | |
\draw [blue, very thick, name path=a] | |
plot [smooth, tension=0.4, domain=0:7, samples=25] (\x,{0.7+rand/1.2}); | |
\draw [green!50!orange, very thick, name path=b] | |
plot [smooth, tension=0.4, domain=0:7, samples=25] (\x,{0.4+rand/1.2}); | |
\foreach \i in {1,2,...,4} { | |
\path[name path=l1] (\i*1.4,-1) -- ++(0,2.5); | |
\path[name intersections={of=a and l1,by=m}]; | |
\path[name intersections={of=b and l1,by=n}]; | |
\draw[gray!50!black,thick] (m) -- (m |- 0,0) | |
node[below,rectangle,align=center,yshift=-4mm] {$t_\i$\\$x(t_\i)$}; | |
\draw[red!50!black,thick] (n) -- (n |- 0,0); | |
} | |
\end{tikzpicture} | |
Παίρνουμε αυθαίρετα 4 χρονικές στιγμές \( t_1,t_2,t_3,t_4 \). Σε κάθε | |
μία από αυτές, η τιμή της έντασης του ήχου για την κάθε ηχογράφηση | |
είναι διαφορετική. Για την πρώτη στιγμή, για παράδειγμα, έχουμε μια | |
τυχαία μεταβλητή \( X(t_1) \) που εκφράζει την ένταση του ήχου εκείνη | |
τη στιγμή, και άλλες 3 αντίστοιχες τυχαίες μεταβλητές για τις \( | |
t_2,t_3,t_4 \). | |
Τις 4 στιγμές τις επιλέξαμε αυθαίρετα, αλλά το πραγματικό σήμα έχει | |
άπειρες τυχαίες μεταβλητές, μία για κάθε στιγμή. Είναι αυτές μεταξύ | |
τους ανεξάρτητες; | |
\paragraph{Παράδειγμα \#2} | |
Έχουμε ένα σύστημα που δέχεται μία μόνο είσοδο \( X \), και παράγει | |
μια έξοδο \( Υ \) (που εξαρτάται μόνο από την \( X \)): | |
\begin{align*} | |
X &= X(J) \\ | |
Y &= Y(J) | |
\end{align*} | |
\begin{tikzpicture}[scale=1.3] | |
\draw (0,0) rectangle (2,1); | |
\draw (0,0.5) -- (-1,0.5) node[below,midway] {$X(J)$}; | |
\draw (2,0.5) -- (3,0.5) node[below,midway] {$Y(J)$}; | |
\end{tikzpicture} | |
Έστω το ενδεχόμενο \( A \) για το οποίο: | |
\[ | |
A = \left\lbrace X\leq x, Y \leq y \right\rbrace | |
= \left\lbrace X \leq x \right\rbrace \cdot | |
\left\lbrace Y \leq y \right\rbrace | |
\] | |
Τότε ορίζουμε μία κοινή πιθανότητα μεταξύ τους (joint probability distribution function): | |
\[ | |
F_X(x,y) = P\left\lbrace X \leq x,\ Y \leq y \right\rbrace | |
\] | |
\paragraph{Ιδιότητες} | |
\begin{enumroman} | |
\item \( F(-\infty,y) = F(x,-\infty) = F(-\infty,-\infty) | |
= 0 \) | |
επειδή: | |
\begin{gather*} | |
\left\lbrace X=-\infty, Y \leq y \right\rbrace | |
\subset \left\lbrace X=-\infty \right\rbrace, \text{ αλλά } | |
P\left\lbrace X=-\infty \right\rbrace = 0. | |
\end{gather*} | |
\item \( F(+\infty,+\infty) = 1 \) | |
\item \( F(x,y) \, \uparrow \) αύξουσα ως προς \( x,\ y,\ x \) | |
και \( y \) (όχι απαραίτητα γνησίως) | |
Για \( x_1<x_2 \), έχουμε: | |
\begin{align*} | |
P\left\lbrace X\leq x_2,Y\leq y \right\rbrace | |
&= P\left\lbrace X\leq x_1, Y \leq y \right\rbrace | |
+ P\left\lbrace x_1<X\leq x_2,Y \leq y \right\rbrace\\ | |
\Aboxed{P\left\lbrace x_1<X\leq x_2,Y\leq y \right\rbrace | |
&= F(x_2,y) - F(x_1,y) \geq 0 \implies F(x_2,y)\geq | |
F(x_1,y)} | |
\end{align*} | |
Με τον παραπάνω τύπο μπορούμε να υπολογίσουμε την πιθανότητα | |
μιας κομμένης λωρίδας, όπως φαίνεται στο διάγραμμα: | |
\begin{tikzpicture}[scale=1.3] | |
\fill[green!50] (0.5,0) rectangle (1.5,1.5); | |
\fill[green!50,path fading=south] (0.5,-2) rectangle (1.5,0); | |
\draw[->] (-0.5,0) -- (2.5,0) node[below right] {$x$}; | |
\draw[->] (0,-2) -- (0,2); | |
\draw (0.5,0) node[below left] {$x_1$}; | |
\draw (1.5,0) node[below right] {$x_2$}; | |
\draw[gray] (0.5,1.5) -- (0.5,2); | |
\draw[gray] (1.5,1.5) -- (1.5,2); | |
\draw[gray] (0,1.5) -- (2,1.5); | |
\draw[thick] (0.5,-2) -- | |
(0.5,1.5) node[above right,xshift=2mm,rotate=45,scale=.5]{$(x_1,y)$} -- | |
(1.5,1.5) node[above right,xshift=2mm,rotate=45,scale=.5]{$(x_2,y)$}-- | |
(1.5,-2); | |
\end{tikzpicture} | |
\item \( 0 \leq F(x,y) \leq 1 \) | |
\item \( F_{XY}(+\infty,y) = F_Y(y) \) \\ | |
\( F_{XY}(x,+\infty) = F_X(x) \) επειδή | |
\begin{align*} | |
\left\lbrace X\leq x, Y \leq +\infty \right\rbrace &= | |
\left\lbrace X\leq x \right\rbrace\cdot | |
\cancelto{S}{\left\lbrace Y \leq +\infty \right\rbrace} | |
\\ &\rightarrow P\left\lbrace X\leq x \right\rbrace | |
\end{align*} | |
\end{enumroman} | |
\paragraph{Υπολογισμός πιθανότητας} | |
Ποιά είναι η πιθανότητα | |
\( \left\lbrace x_1<X\leq x_2,\ | |
y_1<Y\leq y_2 \right\rbrace \) | |
να βρεθούμε μέσα στο ορθογώνιο του σχήματος; | |
\begin{tikzpicture}[scale=1.2] | |
\fill[green!50!white,path fading=south,opacity=.6] (1,0.4) rectangle (1.5,1); | |
\fill[green!50!white] (1,1) rectangle (1.5,1.5); | |
\draw[->] (-0.5,0) -- (2,0) node[below right] {$x$}; | |
\draw[->] (0,-0.5) -- (0,2) node[left] {$y$}; | |
\draw (1,-0.5) node[above left] {$x_1$} -- (1,2); | |
\draw (1.5,-0.5) node[above right] {$x_2$}-- (1.5,2); | |
\draw (-0.5,1) node[below] {$y_1$} -- (2,1); | |
\draw (-0.5,1.5) node[above] {$y_2$} -- (2,1.5); | |
\filldraw[fill opacity=.1] (1,1.5) circle (2.5pt); | |
\filldraw[fill opacity=.8] (1.5,1.5) circle (2.5pt); | |
\filldraw[fill opacity=.8] (1,1) circle (2.5pt); | |
\filldraw[fill opacity=.1] (1.5,1) circle (2.5pt); | |
\end{tikzpicture} | |
Έχουμε: | |
\begin{align*} | |
\left\lbrace x_1<X\leq x_2,Y\leq y_2 \right\rbrace | |
&= \left\lbrace x_1<X\leq x_2, Y\leq y_1 \right\rbrace | |
+ \left\lbrace x_1<X\leq x_2,y_1<Y\leq y_2 \right\rbrace | |
\\ | |
P\left\lbrace x_1<X\leq x_2,Y\leq y_2 \right\rbrace | |
&= P\left\lbrace x_1<X\leq x_2, Y\leq y_1 \right\rbrace | |
+ P \left\lbrace x_1<X\leq x_2,y_1<Y\leq y_2 \right\rbrace | |
\end{align*} | |
Άρα: | |
\[ | |
\mathlarger{ | |
P \left\lbrace x_1<X\leq x_2,\ y_1<Y\leq y_2 \right\rbrace | |
= F(x_2,y_2) - F(x_1,y_2) - F(x_2,y_1) + F(x_1,y_1) | |
} | |
\] | |
Δηλαδή μπορούμε να βρούμε την πιθανότητα να "πέσουμε" μέσα στο | |
ορθογώνιο (άρα και σε κάθε χωρίο), χρησιμοποιώντας τις | |
πιθανότητες από τις άκρες. | |
\subsubsection{Συνάρτηση πυκνότητας πιθανότητας (από κοινού)} | |
\[ | |
\mathlarger{f_{XY}(x,y) | |
= \frac{\partial^2 F_{XY}(x,y)}{\partial x\,\partial y} | |
} | |
\] | |
\paragraph{Ιδιότητες} | |
\begin{enumroman} | |
\item \( f(x,y) \geq 0 \) | |
\item \( \displaystyle | |
\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} f(x,y)\dif x | |
\dif y = 1 | |
\) | |
\item \( \displaystyle | |
F(x,y) = \int_{-\infty}^{x}\int_{-\infty}^{y} f(x,y)\dif x\dif y | |
\) | |
\item \( \displaystyle | |
f_X(x) = \int_{-\infty}^{\infty} f(x,y)\dif y \) \\ | |
\( \displaystyle | |
f_Y(y) = \int_{-\infty}^{\infty} f(x,y)\dif x \) | |
\item \( \displaystyle | |
P\left\lbrace x_1<X\leq x_2,\ y_1<Y\leq y_2 \right\rbrace | |
= \int_{x_1^+}^{x_2^+} \int_{y_1^+}^{y_2^+} f(x,y)\dif x\dif y | |
\) | |
\end{enumroman} | |
Επομένως για να βρούμε την πιθανότητα ενός χωρίου, αρκεί να | |
ολοκληρώσουμε τη συνάρτηση πυκνότητας πιθανότητας σε αυτό. | |
\textbf{Παράδειγμα:} Η κανονική κατανομή (καμπάνα) | |
για δύο μεταβλητές: | |
\begin{tikzpicture} | |
\begin{axis}[ | |
no markers, domain=0:8, samples=50, | |
axis lines*=left, xlabel=$x$, ylabel=$y$, | |
every axis y label/.style={at=(current axis.above origin),anchor=south}, | |
every axis x label/.style={at=(current axis.right of origin),anchor=west}, | |
height=6cm, width=7cm, | |
xtick=\empty, ytick=\empty, | |
enlargelimits=false, clip=false, axis on top, | |
grid = major | |
] | |
\addplot [very thick,cyan!50!black] {gauss(4,1.5)}; | |
\end{axis} | |
\begin{axis}[xshift=8cm] | |
\addplot3[surf,domain=-4:4,domain y=-4:4] | |
{exp(-( (x-0)^2 + (y-0)^2)/3 )}; | |
\node[circle,inner sep=1pt,fill=blue,pin=90:$\mu$] | |
at (axis cs:0,0,1) {}; | |
\end{axis} | |
\end{tikzpicture} | |
Η κανονική κατανομή δεν μπορεί να ολοκληρωθεί με αναλυτική έκφραση, | |
επομένως χρησιμοποιούμε πίνακες ολοκληρωμάτων ή υπολογιστές. | |
\paragraph{} | |
Τελικά, η συνάρτηση πυκνότητας πιθανότητας είναι μία επιφάνεια, | |
η οποία αν ολοκληρωθεί σε κάποιο χωρίο για να λάβουμε τον όγκο που | |
καλύπτει, θα πάρουμε την πιθανότητα του χωρίου (μοιάζει με συνάρτηση | |
πυκνότητας μάζας). | |
\subsection{Συνάρτηση κατανομής υπό συνθήκη πιθανότητας} | |
Έστω: | |
\[ | |
A = \left\lbrace X \leq x \right\rbrace | |
\qquad | |
B = \left\lbrace X \leq x_2 \right\rbrace | |
\] | |
Τότε: | |
\[ | |
P(A/B) = \frac{P(A\cdot B)}{P(B)} | |
\] | |
Επομένως μπορούμε να ορίσουμε μια συνάρτηση: | |
\[ | |
\boxed{ | |
F_X(x/B) = P\left\lbrace X\leq x/B \right\rbrace | |
= \frac{P\left\lbrace X\leq x, B \right\rbrace}{P(B)} | |
} | |
\] | |
(όπου το \( P\left\{X\leq x,B\right\} \) δηλώνει την τομή των | |
ενδεχομένων \( X\leq x \) και \(B\)) | |
για την οποία ισχύουν οι ιδιότητες, αντίστοιχα με προηγουμένως: | |
\begin{itemize} | |
\item \( F_X(+\infty/B) = 1, \quad F(-\infty/B) = 0 \) | |
\item \( \displaystyle | |
P\left\lbrace x_1<X\leq x_2\ /B \right\rbrace | |
=\frac{P\left\lbrace x_1 < X\leq x_2,\ B \right\rbrace}{P(B)} | |
=F(x_2/B) - F(x_1/B) \) | |
\item \( \displaystyle f_X(x/B) = \frac{\dif F_X(x/B)}{\dif x} \) | |
\item \( f_X(x/B) \geq 0 \ \forall x \) | |
\item \( \displaystyle | |
\int_{-\infty}^{\infty} f_x(x/B) \dif x = F_X(\infty/B) | |
- F_X(-\infty/B) = 1 \) | |
\item \( \displaystyle F_X(x_1/B) = \int_{-\infty}^{x_1} f_x(x/B)\dif x \) | |
\item \( \displaystyle P \left\lbrace x_1<X\leq x_2\ /B \right\rbrace | |
= \int_{x_1^+}^{x_2^+} f_X(x/B)\dif x \) | |
\end{itemize} | |
Επίσης έχουμε: | |
\begin{align*} | |
F_X(x/B) &= \begin{cases} | |
\frac{F_X(x)}{F_X(x_2)} &\quad x<x_2 \\ | |
1 &\quad x\geq x_2 | |
\end{cases} \\ | |
f_X(x/B) &= \begin{cases} | |
\frac{f_X(x)}{\int_{-\infty}^{x_2} f_X(x) \dif x} | |
&\quad x<x_2 \\ 0 &\quad x \geq x_2 | |
\end{cases} | |
\end{align*} | |
\begin{tikzpicture}[scale=1] | |
\draw[->] (-1,0) -- (2.5,0); | |
\draw[->] (0,-1) -- (0,2.5); | |
\draw[very thick,blue!50!black] plot[smooth] coordinates {(-0.7,0.2) (-0.2,0.4) (1,1.5) (2,1.8)} node[below right] {$F_X(x)$}; | |
\draw[very thick,green!50!black] plot[smooth] coordinates {(-0.7,0.4) (-0.2,0.6) (0.7,1.6) (1,1.8)} -- (2.5,1.8) node[above] {$F_X(x/B)$}; | |
\draw[dashed] (1,0) node[below] {$x_2$} -- (1,1.5) -- (0,1.5) node[left] {$F_X(x_2)$}; | |
\draw[dashed] (1.7,0) node[below] {$x$} -- (1.7,1.8) -- (0,1.8) node[left] {$1$}; | |
\begin{scope}[yshift=-4cm] | |
\draw[->] (-1,0) -- (2.5,0); | |
\draw[->] (0,-1) -- (0,2.5); | |
\draw[very thick,blue!50!black] plot[smooth] coordinates {(-0.7,0.2) (1,1.5) (2,0.4) (2.5,0.3)} node[above right] {$f_X(x)$}; | |
\draw[very thick,green!50!black] plot[smooth,tension=1] coordinates {(-0.7,0.5) (0,1.45) (1,2)} -- (1,0) -- (2.4,0) node[below] {$f_X(x/B)$}; | |
\draw[dashed] (1,0) node[below] {$x_2$} -- (1,1.5); | |
\filldraw[green!70!black,opacity=.4] (1,2) circle (2pt); | |
\filldraw[green!70!black,opacity=.4] (1,0) circle (2pt); | |
\begin{scope} | |
\clip (1,0) rectangle (2.5,2); | |
\fill[red!70!black,path fading=east] plot[smooth] | |
coordinates {(-0.7,0.2) (1,1.5) (2,0.4) (2.5,0.3)} -- (2.5,0) -- (-0.7,0); | |
\end{scope} | |
\end{scope} | |
\end{tikzpicture} | |
(θυμόμαστε ότι \(B= \left\{ X\leq x_2 \right\} \)) | |
\subsubsection{Υπό συνθήκη πιθανότητα με δύο τυχαίες μεταβλητές} | |
\paragraph{Έστω} ότι \( A=\left\lbrace X \leq x \right\rbrace | |
\qquad B = \left\lbrace Y \leq y \right\rbrace | |
\) | |
\[ | |
\boxed{F_X(x/B) | |
= \frac{F_{XY}(x,y)}{F_Y(y)}} | |
\] | |
Για τη συνάρτηση πυκνότητας πιθανότητας: | |
\begin{align*} | |
\pd{F_{XY}(x,y)}{x} &= \pd{}{x} \left[ | |
\int_{-\infty}^{y} \int_{-\infty}^{x} f_{XY} (x,y)\dif x\dif y | |
\right] \\ &= | |
\int_{-\infty}^{y} \left[\pd{}{x}\int_{-\infty}^{x}f(x,y) | |
\dif x\right]\dif y = \int_{-\infty}^{y} f_{XY}(x,y)\dif y | |
\end{align*} | |
Άρα: | |
\begin{align*} | |
f_X (x,\ Y \leq y) &= \frac{1}{F_Y(y)}\pd{F_{XY}(x,y)}{x} \\ | |
&= \frac{\int_{-\infty}^{y}f_{XY}(x,y)\dif y}{ | |
\int_{-\infty}^{\infty} \int_{-\infty}^{y} | |
f(x,y)\dif y\dif x} | |
\end{align*} | |
\paragraph{Έστω όμως} ότι | |
\( B = \left\lbrace y_1 < Y \leq y_2 \right\rbrace \) | |
\begin{align*} | |
F_X(x/\ y_1 < Y \leq y_2) &= | |
\frac{P\left\lbrace x\leq x,\ y_1 < Y \leq y_2\right\rbrace}{ | |
P\left\lbrace y_1 < Y \leq y_2 \right\rbrace} | |
\\ &= \frac{F_{XY}(x,y_2) - F_{XY}(x,y_2)}{ | |
F_Y(y_2)-F_Y(y_1)} | |
\\ &= \frac{\int_{y_1}^{y_2} f_{XY}(x,y)\dif y}{ | |
\int_{-\infty}^{\infty} \int_{y_1}^{y_2} f_{XY}(x,y) | |
\dif y\dif x} | |
\end{align*} | |
\todo{fix} | |
\paragraph{Έστω ότι \( B = \left\lbrace Y=y \right\rbrace \)} | |
\begin{align*} | |
F_X(Y=y) &= \frac{ | |
\sfrac{\partial F_{XY}(x,y)}{\partial\. y} }{ | |
\sfrac{\dif }{den} }\quad???? | |
\end{align*} | |
\subsection{Ανεξαρτησία Τυχαίων Μεταβλητών} | |
Ο γνωστός ορισμός της ανεξαρτησίας είναι: | |
\[ | |
P(A\cdot B) = P(A) \cdot P(B) | |
\] | |
Επομένως, για δύο τυχαίες μεταβλητές \( X,Y \) και τα αντίστοιχα | |
ενδεχόμενα \( A=\left\lbrace X\leq x \right\rbrace \) και | |
\( B = \left\lbrace Y \leq y \right\rbrace \), έχουμε: | |
\begin{align*} | |
P\left\lbrace X\leq x,\ Y\leq y \right\rbrace &= | |
P\left\lbrace X \leq x \right\rbrace \cdot | |
P\left\lbrace Y \leq y \right\rbrace \\ | |
F_{XY}(x,y) &= F_X(x) \cdot F_Y(y) \\ | |
\xRightarrow{\frac{\partial^2 F(x,y)}{\partial x\,\partial y}} | |
f_{XY}(x,y) &= f_X(x)\cdot f_Y(y) | |
\end{align*} | |
Άρα για δύο ανεξάρτητες τυχαίες μεταβλητές ισχύει: | |
\begin{align*} | |
F_X(x/\ Y\leq y) = \frac{P\left\lbrace X\leq x,\ Y\leq y | |
\right\rbrace}{P\left\lbrace Y\leq y \right\rbrace} | |
= P\left\lbrace X\leq x \right\rbrace = F_X(x) | |
\end{align*} | |
\subsection{Ντετερμινιστική σχέση μεταξύ τυχαίων ματαβλητών} | |
\[ \mathlarger{\left(X,f_X(x)\right) | |
\xrightarrow{\qquad} \left(Y,f_Y(y)\right)} | |
\] | |
Έστω ότι υπάρχει μία \textit{ντετερμινιστική} σχέση \( g(\cdot) \) | |
που συνδέει τις | |
\textit{τυχαίες} μεταβλητές \( X,Y \): | |
\[ | |
\mathlarger{Y=g(X)} | |
\] | |
Ομοίως μπορεί να έχουμε: | |
\( | |
(X,Y,f_{XY}(x,y)) \to (Z,W,f_{ZW}(z,w)) | |
\) | |
\( Z =g(X,Y)\) | |
\( W=h(X,Y) \) | |
\todo{add more text} | |
\begin{tikzpicture}[scale=1.1] | |
\begin{scope} | |
\clip plot[smooth] coordinates {(-0.7,0.2) (1,1.5) (3,0.4) (3.7,0.2)} -- (3.7,0) -- (-0.7,0); | |
\fill[orange,postaction={pattern=north east lines,opacity=.3},fill opacity=.5] (1,0) rectangle ++(0.4,2); | |
\draw[dashed] (1,0) -- ++(0,2) (1+0.4,0) -- ++(0,2); | |
\end{scope} | |
\draw[->] (-1,0) -- (2.5,0) node[below right] {$x$}; | |
\draw[->] (0,-1) -- (0,2.5); | |
\draw[thick,blue!40!black] plot[smooth] coordinates {(-0.7,0.2) (1,1.5) (3,0.4) (3.7,0.2)} node[right] {$f_X$}; | |
\draw[dashed] (1,1.5) -- (0,1.5) node[left] {$f_X(x)$}; | |
\draw (current bounding box.south) node[below,align=center] { | |
$f_X(x_0)\dif x = P\big\{ x_0<x<x_0+\dif x\big\}$ \\ | |
$f_Y(y)\dif x = P\big\{ y<Y<y+\dif y\big\}$ | |
}; | |
\draw (current bounding box.south east) node[above right,scale=.7] {$\big(y=g(x)\big)$}; | |
\end{tikzpicture} | |
\begin{tikzpicture}[scale=1.7,xscale=1.5] | |
\begin{scope} | |
\clip plot[smooth] coordinates {(-1.5,0.4) (-0.3,2) (1.2,1) (1.6,2) (2.2,1.6) (3,3)} -- (3,-1) -- (-1.5,-1); | |
\fill[cyan,postaction={pattern=north east lines,opacity=.3},fill opacity=.5] | |
(-0.65,0) rectangle ++(0.4,3) | |
(1.64,0) rectangle ++(0.32,3) | |
(2.3,0) rectangle ++(0.2,3) | |
; | |
\draw[dashed,every node/.style={scale=.5}] | |
(-0.65,0) node[below] {$x_1+\dif x_1$} -- ++(0,3) | |
(-0.65+0.4,0) node[below] {$\vphantom{\dif}x_1$} -- ++(0,3) | |
(1.64,0) node[below] {$\vphantom{\dif}x_2$} -- ++(0,3) | |
(1.64+0.32,0) node[below] {$x_2+\dif x_2$} -- ++(0,3) | |
(2.3,0) node[below] {$x_3+\dif x_3$} -- ++(0,3) | |
(2.3+0.2,0) node[below] {$\vphantom{\dif}x_3$} -- ++(0,3) | |
; | |
\end{scope} | |
\draw[->] (-2,0) -- (3,0) node[below right] {$x$}; | |
\draw[->] (0,-1) -- (0,2.5) node[left] {$y$}; | |
\draw[thick,blue!40!black] plot[smooth] coordinates {(-1.5,0.4) (-0.3,2) (1.2,1) (1.6,2) (2.2,1.6) (3,3)} node[above] {$y=g(x)$}; | |
\draw[dashed] (-0.2,2) -- (2.5,2); | |
\draw[dashed] (-0.65,1.7) -- (2.3,1.7); | |
\filldraw[green!50!cyan!90!black,thin,fill opacity=.4] | |
(-0.65,1.7) circle (1pt) | |
(-0.65+0.4,2) circle (1pt) | |
(1.64,2) circle (1pt) | |
(1.64+0.32,1.7) circle (1pt) | |
(2.3,1.7) circle (1pt) | |
(2.3+0.2,2) circle (1pt) | |
; | |
\end{tikzpicture} | |
\begin{align*} | |
f_Y(y)\dif y &= P\left\lbrace y<Y\leq y+\dif y \right\rbrace \\ | |
&= P\left\lbrace x_1<X\leq x_1+\dif x_1 \right\rbrace | |
+ P\left\lbrace x_2<X\leq x_2+\dif x_2 \right\rbrace | |
+ P\left\lbrace x_3<X\leq x_3+\dif x_3 \right\rbrace | |
\end{align*} | |
Άρα: | |
\begin{align*} | |
f_Y(y) &= f_X(x_1) \frac{|\dif x_1|}{\dif y} | |
+ f_X(x_2)\frac{|\dif x_2|}{\dif y} | |
+ f_X(x_3)\frac{|\dif x_3|}{\dif y} \\ | |
\Aboxed{ f_Y(y) &= \frac{f_X(x_1)}{\left|g'(x_1)\right|} | |
+ \frac{f_X(x_2)}{\left|g'(x_2)\right|} | |
+ \frac{f_X(x_3)}{\left|g'(x_3)\right|}} | |
\intertext{και γενικότερα} | |
\Aboxed{ | |
f_Y(y) &= \sum_{i=1}^{m} \left. | |
\frac{f_X(x)}{\left|g'(x)\right|} | |
\right|_{x=x_i} | |
} | |
\end{align*} | |
\paragraph{Για δύο ζευγάρια τυχαίων μεταβλητών} | |
προκύπτει ότι, για \( z=g(x_i,y_i) \) και \( w=h(x_i,y_i) \): | |
\[ | |
\boxed{ | |
f_{ZW}(z,w) = \sum_{i=1}^{n} \left. | |
\frac{f_{XY}(x,y)}{\left|\mathrm J(x,y)\right|} | |
\right|_{\scriptsize \begin{matrix} | |
x=x_i \\ y=y_i | |
\end{matrix}} | |
} | |
\] | |
όπου \( \mathrm J \) η ιακωβιανή ορίζουσα \( | |
\mathrm J = \left|\begin{matrix} | |
\pd{g(x,y)}{x} & \pd{g(x,y)}{y} \\ | |
\pd{h(x,y)}{x} & \pd{h(x,y)}{y} | |
\end{matrix}\right|. | |
\) | |
\paragraph{Παράδειγμα} | |
Έστω ότι έχουμε ένα μοντέλο \( \left(X,Y,f_{XY}\right) \), και τις | |
τυχαίες μεταβλητές: | |
\begin{align*} | |
Z &= g(X,Y) \leftrightarrow f_Z(z) \\ | |
W &= X = h(X,Y) | |
\end{align*} | |
Τότε έχουμε: | |
\begin{align*} | |
f_Z(z) &= \int_{-\infty}^{\infty} f_{ZW}(z,w)\dif w\\ | |
f_{ZW}(z,w) &= \sum_{i=1}^{n} \left. | |
\frac{f_{XY}(x,y)}{\left|J(x,y)\right|} \right|_{x=x_i,\ y=y_i} | |
\end{align*} | |
\paragraph{Παράδειγμα} | |
Έστω μοντέλο \( \left(X,Y,f_{XY}\right) \) και οι: | |
\begin{align*} | |
Z &= X+Y \\ | |
W &= X | |
\end{align*} | |
Αν λύσουμε το παραπάνω σύστημα, έχουμε: | |
\begin{align*} | |
y_1 &= z-w \\ | |
x_1 &= w | |
\end{align*} | |
Επομένως: | |
\begin{align*} | |
J(x) &= \left|\begin{matrix} | |
1 & 1 \\ 1 & 0 | |
\end{matrix}\right| = -1\\ | |
f_{ZW}(z,w) &= \left. \frac{f_{XY}(x,y)}{|-1|} | |
\right|_{x_1=w,\ y_1=z-w} \\ &= f_{XY}(w,\ z-w) | |
\end{align*} | |
Έχει ενδιαφέρον όταν οι \( X \) και \( Y \) είναι ανεξάρτητες, | |
οπότε: | |
\begin{align*} | |
f_{XY}(x,y) &= f_X(x) \cdot f_Y(y) \\ | |
f_{ZW}(z,w) &= \left. \frac{f_X(x)f_Y(y)}{|-1|}\right|_{ | |
x_1=w,\ y_1=z-w} \\ | |
f_Z(z) &= \int_{-\infty}^{\infty} f_X(w)f_Y(z-w) | |
= f_X(z) | |
\underset{\substack{\downarrow\\\mathclap{\text{συνέλιξη}}}}{*} | |
f_Y(z) | |
\end{align*} | |
\subsection{Χρήση γενικευμένων συναρτήσεων} | |
Οι συναρτήσης κατανομής και πυκνότητας πιθανότητας που | |
χρησιμοποιούμε μπορεί να μην είναι συνεχείς ή παραγωγίσιμες: | |
\begin{tikzpicture}[scale=1.2,xscale=1.1] | |
\draw[->] (-1,0) -- (4,0); | |
\draw[->] (0,-1) -- (0,4) node[left] {$F_X(x)$}; | |
\draw[very thick,black!60!blue] plot[const plot] coordinates | |
{(-1,0) (.7*1,.3+.7*1) (.7*2,.3+.7*2) (.7*3,.3+.7*3) (.7*4,.3+.7*4) (.7*5,.3+.7*4)}; | |
\def\x{1} | |
\draw (0.7*\x,0) node[below] {$x_1$}; | |
\draw[fill=white] (0.7*\x,{1*(\x-1)}) circle (2pt); | |
\draw[fill=black!70!blue] (0.7*\x,{1*(\x)}) circle (2pt); | |
\foreach \x in {2,3,4} { | |
\draw[dashed] (0.7*\x,0) node[below] {$x_\x$} -- (0.7*\x,{.3+0.7*(\x-1)}); | |
\draw[fill=white] (0.7*\x,{.3+0.7*(\x-1)}) circle (2pt); | |
\draw[fill=black!70!blue] (0.7*\x,{.3+0.7*(\x)}) circle (2pt); | |
} | |
\draw[dashed] (2.8,3.1) -- (0,3.1) node[left] {$1$}; | |
\begin{scope}[yshift=-3.5cm] | |
\draw[->] (-1,0) -- (4,0); | |
\draw[->] (0,-1) -- (0,2) node[left] {$f_X(x)$}; | |
\draw[very thick,black!60!blue] plot[const plot] coordinates {(-1,0) (3.7,0)}; | |
\def\x{1} | |
\draw[very thick,black!50!blue,->] (0.7*\x,0) node[below,black] {$x_\x$} -- ++(0,1) node[above] {$P_\x$}; | |
\foreach \x in {2,3,4} { | |
\draw[very thick,black!50!blue,->] (0.7*\x,0) node[below,black] {$x_\x$} -- ++(0,.7) node[above] {$P_\x$}; | |
} | |
\end{scope} | |
\end{tikzpicture} | |
\begin{align*} | |
P(X=x_i) &= p_i = F_X(x_i) - F_X(x_i^-) \\ | |
\sum_i p_i &= \cancelto{1}{F_X(+\infty)} - | |
\cancelto{0}{F_X(-\infty)} = 1 \\ | |
F_X(x) &= \sum_i P \left\lbrace X=X_i \right\rbrace | |
\end{align*} | |
Απ' ό,τι βλέπουμε, η συνάρτηση πυκνότητας πιθανότητας στο | |
παραπάνω σχήμα δεν είναι πεπερασμένη, αλλά περιέχει τέσσερις | |
\textbf{ώσεις}, δηλαδή συναρτήσεις \( \delta(t) \): | |
\[ | |
f_X(x) = \sum_i p_i \delta(x-x_i) | |
\] | |
Αυτή ήταν μία συνάρτηση που περιείχε μόνο ώσεις. Αντίστοιχα, | |
μπορούμε να έχουμε μικτές συναρτήσεις: | |
\begin{tikzpicture}[scale=1.5] | |
\draw[->] (-1,0) -- (4,0); | |
\draw[->] (0,-1) -- (0,4) node[left] {$F_X(x)$}; | |
\draw[dashed] (1,1) -- (1,0) node[below] {$x_1$}; | |
\draw[dashed] (1.5,2.55) -- (1.5,0) node[below] {$x_2$}; | |
\draw[very thick,blue!50!black] plot[smooth] coordinates {(-1,0.4) (-0.2,0.5) (1,1)}; | |
\draw[very thick,blue!50!black] plot[smooth,tension=1] coordinates {(1,2) (1.2,2.3) (1.5,2.55)}; | |
\draw[very thick,blue!50!black] plot[smooth,tension=1] coordinates {(1.5,3) (2.3,3.4) (3.7,3.53)}; | |
\draw[blue!50!black] (1,1) -- (1,2) (1.5,2.55) -- (1.5,3); | |
\draw[thick,fill=white] (1,1) circle (2pt); | |
\draw[thick,fill=black!70!blue] (1,2) circle (2pt); | |
\draw[thick,fill=white] (1.5,2.55) circle (2pt); | |
\draw[thick,fill=black!70!blue] (1.5,3) circle (2pt); | |
\draw[dashed] (3.7,3.6) -- (0,3.6) node[left] {$1$}; | |
\begin{scope}[yshift=-3.5cm] | |
\draw[->] (-1,0) -- (4,0); | |
\draw[->] (0,-1) -- (0,2) node[left] {$f_X(x)$}; | |
\draw[very thick,black!60!blue,->] (1,0) -- ++(0,0.7); | |
\draw[very thick,black!60!blue,->] (1.5,0) -- ++(0,0.7); | |
\draw[very thick,black!60!blue,mark position=0.5(a),mark position={(1+1)/(1+4)}(b)] | |
plot[smooth,tension=.6] coordinates {(-1,0.04) (-0.5,0.3) (1.4,2) (3,0.3) (3.7,0.03)}; | |
\draw[dashed] (1,1.84) -- (1,0) node[below] {$x_1$}; | |
\draw[dashed] (1.5,2.00) -- (1.5,0) node[below] {$x_2$}; | |
\draw[thick,fill=white] (1,1.84) circle (2.5pt); | |
\draw[thick,fill=white] (1.5,2.00) circle (2.5pt); | |
\end{scope} | |
\end{tikzpicture} | |
\section{Ροπές} | |
Έχουμε το μοντέλο: | |
\[ | |
\left(\mathlarger{\mathlarger{X,f_X(x)}}\right) | |
\] | |
Αν γνωρίζουμε την \( f_X(x) \), μπορούμε να κάνουμε όποιον | |
υπολογισμό θέλουμε για την τυχαία μεταβλητή, αλλά συχνά είναι | |
πολύ δύσκολο να βρούμε τη συνάρτηση αυτή. Τότε χρησιμοποιούμε | |
προσεγγίσεις που προκύπτουν από τις ροπές, που θα δούμε παρακάτω. | |
Οι ροπές είναι μεγέθη (μέσος όρος, τυπική απόκλιση κλπ.) που | |
προκύπτουν από στατιστικά δεδομένα. | |
\subsection{Χαρακτηριστική συνάρτηση} | |
\begin{defn}{Χαρακτηριστική συνάρτηση τυχαία μεταβλητής}{} | |
\[ | |
\Phi(\omega ) = \int_{-\infty}^{\infty} f_X(x) e^{j\omega x} | |
\dif x | |
\] | |
\end{defn} | |
Παρατηρούμε ότι ουσιαστικά είναι ένας αντίστροφος μετασχηματισμός | |
Fourier, και ότι η αντίστροφη διαδικασία είναι: | |
\[ | |
f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} | |
\underline{\Phi(\omega )} e^{-j\omega x}\dif \omega | |
\] | |
\paragraph{Ιδιότητες} | |
\begin{enumpar} | |
\item \( \displaystyle \Phi(0) | |
= \int_{-\infty}^{\infty} f_X(x)\dif x = 1 \) | |
\item \( \displaystyle \left| \Phi(\omega ) \right| = \left| | |
\int_{-\infty}^{\infty} f_X(x) e^{-j\omega x}\dif x | |
\right| | |
\leq \left|\int_{-\infty}^{\infty} f_X(x)\dif x\right| = 1 | |
\implies \boxed{\left|\Phi(\omega )\right|\leq1} | |
\) | |
Γενικά, αν \( \omega \neq 0 \), τότε \( \left| | |
\Phi(\omega ) < 1 \right| | |
\) (με μία εξαίρεση) | |
\item \( F_X(x) \leftarrow \Phi(\omega ) \): | |
\begin{align*} | |
P\left\lbrace x_1 < x \leq x_2 \right\rbrace | |
&= \boxed{F_X(x_2) - F_X(x_1)} | |
\\ &= \int_{x_1}^{x_2} f_X(x)\dif x | |
\\ &= \frac{1}{2\pi} \int_{x_1}^{x_2} | |
\int_{-\infty}^{\infty} \Phi(\omega )e^{-j\omega x} | |
\dif \omega \dif x = \boxed{ | |
\frac{1}{2\pi} \int_{-\infty}^{\infty} | |
\Phi(\omega) \cdot | |
\frac{e^{-j\omega x_2}-e^{-j\omega x_1}}{-j\omega } | |
\dif \omega | |
} | |
\end{align*} | |
\end{enumpar} | |
Μέχρι στιγμής έχουμε μια συνάρτηση που μπορεί να μας οδηγήσει στην | |
\( f_X(x) \). Πώς μπορούμε να την βρούμε; | |
\begin{align*} | |
e^{j\omega x} &= \sum_{k=-\infty}^{\infty} | |
\frac{(j\omega x)^k}{k!} \\ | |
\Phi(\omega ) &= \int_{-\infty}^{\infty} f_X(x) | |
\sum_{k=0}^{\infty} \frac{(j\omega x)^k}{k!}\dif x | |
= \sum_{k=0}^{\infty} \int_{-\infty}^{\infty} | |
\frac{(j\omega x)^k}{k!} f_X(x)\dif x | |
\\ &= \sum_{k=0}^{\infty} \frac{(j\omega )^k}{k!} | |
\left[ | |
\int_{-\infty}^{\infty} x^k f_X(x)\dif x | |
\right] | |
\end{align*} | |
\subsubsection{Ορισμός} | |
\begin{defn}{Ροπή}{} | |
Ονομάζουμε \( \mathbf{k} \)\textbf{-οστή ροπή} τον αριθμό: | |
\[ | |
\mathlarger{m_k | |
= \int_{-\infty}^{\infty} x^k f_X(x)\dif x | |
} | |
\] | |
\end{defn} | |
Τότε: | |
\[ | |
\boxed{\mathlarger{ | |
\Phi(\omega ) = \sum_{k=0}^{\infty} | |
\frac{(j\omega )^k}{k!} \cdot m_k | |
}} | |
\] | |
Παρατηρούμε ότι η ροπή με \( k=1 \) είναι η \textit{μέση τιμή} μιας | |
μεταβλητής. Επίσης παρατηρούμε ότι για να βρούμε τις συναρτήσεις | |
πυκνότητας \& κατανομής πιθανότητας, χρειαζόματε τον άπειρο | |
αριθμό ροπών, αλλά με μεγάλο \( k \), αυξάνεται ο παρονομαστής, | |
και μετράν όλο και λιγότερο στο τελικό αποτέλεσμα. | |
Δηλαδή: | |
\begin{align*} | |
\Phi(\omega ) &= 1 + j\omega m_1 | |
+ \frac{(j\omega )^2}{2!}m_2 + \dots + | |
\frac{(j\omega )^k}{k!}m_k + \dots \\ | |
\od{\Phi(\omega )}{\omega } &= jm_1 + \frac{2(j\omega )j}{2!}m_2 | |
+ \dots + \frac{k(j\omega )^{k-1}j^k}{k!}m_k + \dots\\ | |
\left.\od{\Phi(\omega )}{\omega }\right|_{\omega =0}&=jm_1 | |
\intertext{Και γενικότερα:} | |
\left.\Phi^{(k)}(\omega )\right|_{\omega = 0} &= j^k m_k | |
\end{align*} | |
Δηλαδή μπορούμε από την \( k \)-οστή παράγωγο της χαρακτηριστικής | |
συνάρτησης στο \( \omega = 0 \) να βρούμε την \( k \)-οστή ροπή. | |
\subsection{Μέση τιμή} | |
\subsubsection{Σε μία μεταβλητή} | |
\paragraph{Διακριτή \( f_X \)} | |
Έστω ότι η \( f_X \) είναι διακριτή, δηλαδή προκύπτει από ώσεις. | |
\[ | |
m_1 = \int_{-\infty}^{\infty} xf_X(x)\dif x | |
\] | |
Την πρώτη ροπή ονομάζουμε μέσο όρο: | |
\[ | |
m_1 = E[x] = \sum_{i} x_i f_X(x_i) | |
\] | |
\paragraph{Παράδειγμα - ηλικίες} | |
\begin{tabular}{cccc} | |
Πατέρας & Μητέρα & Παιδί 1 & Παιδί 2 \\ | |
40 & 28 & 5 & 3 \\ | |
\end{tabular} | |
\begin{align*} | |
\text{Μ.Ο } &= \frac{40+28+5+3}{4} = 19 | |
\\ &= \frac{1}{4}40 + \frac{1}{4}28 + \frac{1}{4}5 | |
+ \frac{1}{4}3 | |
\end{align*} | |
Όμως δεν υπάρχει στην οικογένεια άτομο με ηλικία (κοντά στα) 19 έτη! | |
Αν παρομοιάσουμε το παραπάνω με ένα πείραμα τύχης με δειγματικό | |
χώρο: | |
\[ | |
S = \left\lbrace \varPi, M, \varPi_1, \varPi_2 \right\rbrace | |
\] | |
όπου η τυχαία μεταβλητή \( x \) είναι η ηλικία και έχουμε ίδια | |
πιθανότητα \( f(x_i) = \frac{1}{4} \) να επιλέξουμε ένα άτομο, | |
έχουμε: | |
\[ | |
E[x] = \sum_{i=1}^{4} x_if_X(x) = \frac{1}{4}40 + \frac{1}{4}28 + \frac{1}{4}5 + \frac{1}{4}3 | |
\] | |
\paragraph{Μία ενδιαφέρουσα ιδιότητα}\hspace{0pt}\par | |
\begin{tikzpicture} | |
\draw[draw=blue!50!green,fill=green,fill opacity=.5,postaction={pattern=north east lines,opacity=.2}] (-0.2,0) rectangle (2.3,0.797115095315); | |
\begin{scope}[] | |
\clip plot [variable=\x,domain=-0.3:2.5,samples=40,yscale=.5] | |
(\x,-3.47852*\x^6+19.8404*\x^5-33.1088*\x^4+1.97819*\x^3+36.2435*\x^2-21.1624*\x+1) | |
-- (2.5,0) -- (-0.3,0); | |
\fill[yellow!90!brown,opacity=.7,postaction={pattern=north west lines,opacity=.2}] | |
(-0.2,2) rectangle (2.3,-2); | |
\draw[dashed] (-0.2,0) -- ++(0,2); | |
\draw[dashed] (2.3,0) -- ++(0,2); | |
\end{scope} | |
\draw[blue,very thick] plot [variable=\x,domain=-0.3:2.5,samples=150,yscale=.5] | |
(\x,-3.47852*\x^6+19.8404*\x^5-33.1088*\x^4+1.97819*\x^3+36.2435*\x^2-21.1624*\x+1); | |
\draw (-1,0) -- (3,0); | |
\draw (0,-1.5) -- (0,2); | |
\end{tikzpicture} | |
Το εμβαδόν μιας συνάρτησης σε ένα διάστημα είναι ίσο με το ορθογώνιο | |
που έχει ύψος τη μέση τιμή της συνάρτησης στο διάστημα αυτό. | |
\subsubsection{Σε πολλές μεταβλητές} | |
Αν μία τυχαία μεταβλητή \( Y \) εξαρτάται από την \( X \): | |
\[ | |
Y = g(X) | |
\] | |
τότε προκύπτει: | |
\begin{align*} | |
E[y] &= \int_{-\infty}^{\infty} yf_Y(y)\dif y \\ | |
E[y] &= \bar y = \int_{-\infty}^{\infty} g(X)\dif x | |
\end{align*} | |
δηλαδή προκύπτει με απλή ολοκλήρωση της \( g \). | |
\subsubsection{Ιδιότητες} | |
\begin{enumparen} | |
\item \( E[C] = C \) | |
\item \( E[Cx] = CE[x] \) | |
\item \( E\left[g_1(x)+g_2(x)+\dots+g_n(x)\right] | |
= E\left[g_1(x)\right] + E\left[g_2(x)\right] + \dots | |
+ E\left[g_n(x)\right] | |
\) | |
\end{enumparen} | |
\subsection{Δεύτερη ροπή} | |
\begin{align*} | |
m_2 &= \int_{-\infty}^{\infty} x^2 f_X(x) \dif x\\ | |
m_2 &= E[x^2] = \overline{x^2} | |
\end{align*} | |
Αν η τυχαία μεταβλητή μας είναι το ρεύμα ή η ένταση, η ροπή αυτή | |
μπορεί να αναπαριστά ισχύ (επειδή υψώνεται η τυχαία μεταβλητή | |
στο τετράγωνο). | |
\subsection{Κεντρική ροπή} | |
\begin{defn}{Κεντρική ροπή}{} | |
\begin{align*} | |
\mathlarger{\mu_k} | |
= \int_{-\infty}^{\infty} (x-\bar x)^k f_X(x)\dif x | |
\end{align*} | |
\( y=(x-\bar x)^k \) | |
\end{defn} | |
(οι προηγούμενες ροπές που μελετήσαμε λέγονταν κανονικές) | |
\begin{tikzpicture} | |
\begin{axis}[ | |
no markers, domain=-4:4, samples=100, | |
axis y line=center, | |
axis x line=middle, | |
ylabel=$f_x(x)$, | |
height=6cm, width=7cm, | |
xtick=\empty, ytick=\empty, | |
enlargelimits=false, clip=false, axis on top, | |
enlarge y limits=0.15, | |
grid = major | |
] | |
\addplot [very thick,cyan!50!black] {gauss(0,1.5)}; | |
\draw[<->] (0,0.07) -- (1.5,0.07) node[midway,above] {$x-\bar x$}; | |
\draw[dashed] (1.5,0) -- (1.5,0.16); | |
\draw (0,0) node[below left] {$\bar x$}; | |
\end{axis} | |
\end{tikzpicture} | |
Παρατηρούμε ότι: | |
\[ | |
E\left[(x-\bar x)^k\right] = \mu_k | |
\] | |
Αν έχουμε ένα "τραίνο ώσεων", δηλαδή η τυχαία μεταβλητή μας είναι | |
διακριτή (ή θεωρήσουμε πως είναι διακριτή): | |
\begin{align*} | |
\mu_k &= \sum_i (x_i-\bar x)^k f_X(x_i) \\ | |
\mu_k &= E\left[(x-\bar x)^k\right] | |
= E\left[\sum_{\tau = 0}^{k} | |
\binom{k}{\tau} (-1)^\tau (\bar x)^\tau x^{k-\tau} | |
\right] = \sum_{\tau = 0}^{k} \binom{k}{\tau} | |
(-1)^\tau (\bar x)^\tau \cancelto{m_{k-\tau}}{E[x^{k-\tau}]} | |
\end{align*} | |
\subsubsection{Τυπική απόκλιση} | |
Η τυπική απόκλιση προκύπτει από την κεντρική ροπή με \(k=2\): | |
\begin{align*} | |
\mu_2 &= \int_{-\infty}^{\infty} (x-\bar x)^2 f_X(x)\dif x \\ | |
&= \int x^2 f(x)\dif x - 2 \bar x^2 \int x f(x) \dif x + | |
(\bar x)^2 \cancelto{1}{\int f(x) \dif x} \intertext{Δηλαδή:} | |
\mu_2 &= m_2 - \bar x^2 \\ | |
\mu_2 &= m_2 - (m_1)^2 \\ | |
\sigma_x^2 &= E[x^2] - \left(E[x]\right)^2 | |
\end{align*} | |
όπου ονομάζουμε το \( \sigma^2 \) \textbf{διασπορά} και την | |
\( \sqrt{\sigma^2} \) \textbf{τυπική απόκλιση}, και εκφράζουν το πόσο | |
μεγάλο "εύρος" καταλαμβάνει η κατανομή στη συνάρτηση πυκνότητας | |
πιθανότητας. | |
\subsection{Για δύο τυχαίες μεταβλητές} | |
\begin{defn}{Ροπή \( kr \)}{} | |
Έστω \[ | |
(X,Y,f_{XY}(x,y)) | |
\] | |
\tcblower | |
Ορίζουμε \textbf{ροπή} \( \mathbf{kr} \) τον αριθμό: | |
\[ | |
m_{kr} = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} | |
x^k y^r f_{XY}(x,y)\dif x\dif y \ = E[x^ky^r] | |
\] | |
και λέμε \( n = k+r \). | |
\end{defn} | |
\begin{defn}{Κεντρική Ροπή \( kr \)}{} | |
\textbf{Κεντρική ροπή} είναι: | |
\[ | |
\mu_{kr} = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} | |
(x-\bar x)^k (y-\bar y)^r f_{XY}(x,y)\dif x\dif y | |
= E \left[(x-\bar x)^k(y-\bar y)^r\right] | |
\] | |
\end{defn} | |
Για \( m_{11} \), ορίζουμε συγκεκριμένα την \textbf{συσχέτιση}: | |
\begin{defn}{Συσχέτιση}{} | |
\[ | |
m_{11} = E[XY] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} | |
xy f(x,y)\dif x \dif y | |
\] | |
\end{defn} | |
Αντίστοιχα, την \textbf{συμμεταβλητότητα} (covariance – | |
\( \cov \)): | |
\begin{defn}{Συμμεταβλητότητα}{} | |
\[ | |
\mu_{11} = E\left[ | |
(x-\bar x)(y-\bar y) | |
\right] | |
\] | |
\end{defn} | |
Αν κάνουμε μερικές πράξεις: | |
\begin{align*} | |
\mu_{11} &= E\left[(x-\bar x)(y-\bar y)\right] \\ | |
&= E[xy-\bar x y-\bar y x +\bar x\bar y] \\ | |
&= E[xy]-\bar xE[y]-\bar y E[x] +\bar x \bar y \\ | |
&= E[xy] - E[x]E[y] \\ | |
&= m_{11} - E[x]E[y] | |
\end{align*} | |
Τους παραπάνω ορισμούς θα τους χρησιμοποιήσουμε για να ορίσουμε τον | |
\textit{συντελεστή συσχέτισης}. | |
Στο αναλογικό σήμα υπάρχει η χρονική συσχέτιση, που ορίζεται ως εξής: | |
\[ | |
\lim_{T\to \infty} \frac{1}{T} \int_{-\sfrac{T}{2} }^{\sfrac{T}{2} } | |
x(t)y(t)\dif t | |
\] | |
Εδώ, η συσχέτιση δείχνει ότι υπάρχει κάποια στατιστική | |
σχέση/αλληλοεξάρτηση μεταξύ δύο μεταβλητών. Η συμμεταβλητότητα είναι | |
η συσχέτιση, μειωμένη κατά έναν σταθερό όρο. Αν η μέση τιμή κάποιας | |
από τις δύο μεταβλητές είναι 0, τότε η συμμεταβλητότητα ισούται με τη | |
συσχέτιση. | |
\subsubsection{Συντελεστής Συσχέτισης} | |
Πριν ορίσουμε το συντελεστή συσχέτισης, θα \textbf{κανονικοποιήσουμε} | |
τις μεταβλητές μας, ώστε να αναφερόμαστε σε όμοια μεγέθη: | |
\[ | |
z=\frac{x-\bar x}{\sigma_x} | |
\qquad \theta = \frac{y-\bar y}{\sigma_y} | |
\] | |
Παρατηρούμε ότι έχουν μέση τιμή \( \bar z=\bar \theta \): | |
\[ | |
\bar z = E[z]=E\left[\frac{x-\bar x}{\sigma_x}\right] | |
= \frac{1}{\sigma_x}\cancelto{0}{\left(E[x]-\bar E[x]\right)} = 0 | |
\] | |
Δηλαδή η κανονικοποίηση μετακίνησε τη μέση τιμή των μεταβλητών στο 0. | |
Για τη μεταβλητότητα έχουμε: | |
\begin{align*} | |
\sigma_z^2 &= E\left[(z-\cancelto{0}{\bar z})\right] | |
\\ &= E[z^2] = E\left[\left(\frac{x-\bar x}{\sigma^2}\right)\right] | |
= 1 | |
\end{align*} | |
Δηλαδή: | |
\begin{align*} | |
\bar z = \bar \theta &= 0 \\ | |
\sigma_z^2 = \sigma_\theta^2 &= 1 | |
\end{align*} | |
Ορίζουμε τον \textbf{συντελεστή συσχέτισης} \( \rho \) ως την αναμενόμενη | |
τιμή ενός γινομένου: | |
\begin{defn}{Συντελεστής Συσχέτισης}{} | |
\begin{align*} | |
\rho &= E\left[\left( | |
\frac{x-\bar x}{\sigma_x} | |
\right)\left( | |
\frac{y-\bar y}{\sigma_y} | |
\right) | |
\right] \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} | |
\frac{(x-\bar x)(y-\bar y)}{\sigma_x \sigma_y}f_{XY}(x,y)\dif x | |
\dif y \\ | |
&= \frac{\mathrm{Cov}[X,Y]}{\sigma_x\sigma_y}\\ | |
&= E[z\theta] | |
\end{align*} | |
\end{defn} | |
Παρατηρούμε ότι \( -1 \leq \rho \leq 1 \): | |
\paragraph{Απόδειξη} | |
\begin{align*} | |
E\left[ | |
\left(a(x-\bar x)\pm (y-\bar y)\right)^2 | |
\right] &= | |
a^2E\left[(x-\bar x)^2\right] \pm 2E\left[(x-\bar x)(y-\bar y)\right] | |
+E\left[(y-\bar y)^2\right] | |
\\ &= a^2\sigma_x^2 \pm 2a\mathrm{Cov}[X,Y] + \sigma_y^2 \geq 0 | |
\end{align*} | |
Για να είναι το παραπάνω τριώνυμο μη αρνητικό | |
(αφού \( \left(a(x-\bar x)\pm(y-\bar y)\right)^2 \geq 0 \)), | |
θα πρέπει η διακρίνουσά | |
του να είναι \( \Delta \leq 0 \): | |
\begin{align*} | |
\cancel{4}\mathrm{Cov}^2[X,Y]-\cancel{4}\sigma_x^2\sigma_y^2 &\leq 0 | |
\\ | |
\mathrm{Cov}^2[X,Y]&\leq \sigma_x^2\sigma_y^2 | |
\end{align*} | |
\subsubsection{Χαρακτηριστική συνάρτηση} | |
\[ | |
(X,Y,f_{XY}(x,y)) | |
\] | |
\begin{defn}{}{} | |
\[ | |
\Phi_{XY}(\omega_1,\omega_2) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} | |
e^{j(\omega_1 x + \omega_2 y)} f_{XY}(x,y)\dif x\dif y | |
\] | |
\end{defn} | |
Αντιστρόφως:\[ | |
f_{XY}(x,y) = \frac{1}{4\pi^2} \int_{-\infty}^{\infty} | |
\int_{-\infty}^{\infty} | |
\Phi_{XY}(\omega_1,\omega_2) e^{-j(\omega_1 x + \omega_2 y)} | |
\dif \omega_1 \dif \omega_2 | |
\] | |
Παρατηρώ ότι: | |
\begin{align*} | |
e^{j\omega_1} e^{j\omega_2 y} &= | |
\sum_{k=0}^{\infty} \frac{(j\omega_1 x)^k}{k!} | |
\sum_{r=0}^{\infty} \frac{(j\omega_2 y)^r}{r!} | |
\end{align*} | |
Αν το τοποθετήσω εντός του ορισμού της χαρακτηριστικής συνάρτησης: | |
\begin{align*} | |
\Phi_{X,Y}(w_1,w_2) &= | |
\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} | |
\sum_{k=0}^{\infty} \sum_{r=0}^{\infty} | |
\frac{(j\omega_1 x)^k(j\omega_2y)^r}{k!r!} f_{XY}(x,y) | |
\dif x\dif y \\ &= | |
\sum_{k=0}^{\infty}\sum_{r=0}^{\infty} | |
\cancelto{m_{kr}}{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} | |
x^ky^r f(x,y)\dif x\dif y | |
} \\ | |
\Phi_{XY}(\omega_1,\omega_2) &= | |
\sum_{k=0}^{\infty}\sum_{r=0}^{\infty} | |
\frac{j^{kr}\omega_1^k\omega_2^r}{k!r!}m_{kr} | |
\end{align*} | |
\subsubsection{Ανακεφαλαίωση} | |
\[ | |
\left(X,Y,f_X(x),f_Y(y),f_{XY}(x,y)\right) | |
\] | |
\begin{itemize} | |
\item Ανεξάρτητες \( \iff \boxed{ | |
f_{XY}(x,y) = f_X(x) f_Y(y) | |
} \) | |
\item Ασυσχέτιστες \( \rho = 0 \qquad \mathrm{cov}[X,Y]=0 | |
\iff E\left[xy\right] = E[x]E[y] \qquad E\left[(x-\bar x) | |
(y-\bar y)\right] = E[xy] - E[x]E[y]\) | |
\item Αν επιπλέον \( Ε[ΧΥ] = 0 \), τότε καλούνται | |
\textbf{ορθογώνιες}. | |
\end{itemize} | |
\subsubsection{Θεωρήματα} | |
\begin{enumerate} | |
\item Αν \( X,Y \) είναι στατιστικά ανεξάρτητες, και | |
έχουμε δύο συναρτήσεις \[ z=g(x) \quad w=h(y) \] τότε: | |
\[ | |
f_{ZW}(z,w) = f_Z(z)f_W(w) | |
\] | |
\item \( X,Y \) στατ. ανεξάρτητες \( \xrightarrow{\hspace{15pt}}\) | |
στατ. ασυσχέτιστες (εν γένει δεν συμβαίνει το ανάποδο) | |
\begin{align*} | |
E[XY] &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} | |
x\cdot y \cdot \cancelto{f_X(x)f_Y(y)}{f(x,y)}\dif x\dif y | |
= \int xf_X(x)\dif x \cdot \int y f_Y(y)\dif y = E[x]E[y] \\ | |
E\left[ | |
\overset{z}{g(x)} \overset{w}{h(y)} | |
\right] &= E\left[g(x)\right]E\left[h(x)\right] | |
\quad \text{ (παραπάνω θεώρημα)} | |
\end{align*} | |
\item \( x,y \) ασυσχέτιστες \( \implies \) | |
\( x-\bar x,\ y-\bar y \) ορθογώνιες: | |
\begin{align*} | |
E\left[(x-\bar x)(y-\bar y)\right] &= | |
E\left[xy-x\bar y-\bar x y +\bar x\bar y\right] | |
= E[xy] - \bar x -\bar y = 0 | |
\end{align*} | |
Στο παρακάτω σήμα, έχουμε αρχικά έναν DC όρο \( s \), άρα το σήμα | |
έχει ισχύ. Αν τον αφαιρέσουμε, έχει μέση τιμή 0, άρα και μέση ισχύ | |
0. Δύο μεταβλητές μπορεί να είναι ασυσχέτιστες, κάτι που όμως | |
μπορούμε να το δούμε αν αφαιρέσουμε από αυτές την μέση τους τιμή. | |
\begin{tikzpicture} | |
\draw (-1,0) -- (6,0); | |
\draw (-1,2.5) -- (6,2.5); | |
\draw (0,-1) -- (0,4); | |
\def\c{plot[samples=25,domain=-0.5:5.8,smooth] (\x+rand*0.1,rand/1.5)} | |
\pgfmathsetseed{15394} | |
\draw[thick,green!80!blue!70!black] \c node[above,xshift=2mm] {$f(t)-s$}; | |
\pgfmathsetseed{15394} | |
\draw[thick,green!80!blue!70!black,yshift=2.5cm] \c node[above] {$f(t)$}; | |
\draw (0,0) node[below left,yshift=-2mm] {$0$}; | |
\draw (0,2.5) node[below left,yshift=-2mm] {$s$}; | |
\draw[->] (-1.5,1.5) node[below left] {DC όρος} to[bend right] (-0.35,1.9); | |
\end{tikzpicture} | |
\item | |
Αν \( X,Y \) ασυσχέτιστες \( \rightarrow \) μια καινούρια | |
μεταβλητή \[ | |
z = x+y | |
\] τότε: | |
\begin{align*} | |
\sigma_{x+y}^2 &= \sigma_x^2+\sigma_y^2 | |
\end{align*} | |
διότι: \begin{align*} | |
\bar z &= \bar x + \bar y \\ | |
\sigma_z^2 &= E\left[(z-\bar z)\right] = E\left[ | |
\left((x+y)-(\bar x+\bar y)\right)^2 | |
\right] | |
= E\left[ | |
\left((x-\bar x)+(y-\bar y)\right)^2 | |
\right] \\ &= | |
\cancelto{\sigma_x^2}{E\left[(x-\bar x)^2\right]} | |
+ 2\cancelto{0}{E\left[(x-\bar x)(y-\bar y)\right]} | |
+ \cancelto{\sigma_y^2}{E\left[(y-\bar y)^2\right]} | |
\end{align*} | |
\item Αν \( x,y \) ορθογώνιες: | |
\[ | |
E\left[(x+y)^2\right] = E[x^2]+E[y^2] | |
\] αφού γίνεται \( x^2+2xy+y^2 \), αλλά \( E[xy]=0 \) | |
\item \( \displaystyle | |
E\left[x-\bar x\right] = \cancelto{\bar x}{E[x]} - \bar x | |
= 0 | |
\) | |
\end{enumerate} | |
\subsubsection{Εφαρμογές} | |
\paragraph{Y=aX} | |
Για δύο τυχαίες μεταβλητές \( Υ,Χ \) έχουμε: | |
\[ | |
\underline{Y= aX} | |
\] | |
\begin{align*} | |
\mathrm{cov}[X,Y] &= E\left[(x-\bar x)(y-\bar y)\right] | |
= E\left[\overset{xy}{ax^2}\right] - \bar x \bar y | |
= aE[x^2]-a(\bar x)^2 = a\left[E[x^2]-(\bar x)^2\right] | |
= a\sigma_x^2 \\ | |
\bar{y} &= E\left[ aX \right] = a \bar{X} \\ | |
\sigma_y^2 &= E\left[ Y^2 \right] - \left( \bar{Y} \right)^2 | |
= a^2 E \left[ \bar{x^2} \right] - a^2\left(\bar{x}\right) | |
\\ &= a^2\left[E\left[x^2\right]\right] = a^2\sigma_x^2 \\ | |
\sigma_y &= |a|\cdot\sigma_x \\ | |
\rho &= \frac{a\sigma_x^2}{|a|\sigma_x^2} = \frac{a}{|a|} = \pm 1 | |
\end{align*} | |
\paragraph{Ανισότητα Cauchy} | |
\[ | |
\mathlarger{\left[E\left[XY\right]\right]^2 \leq | |
E[x^2]E[y^2]} | |
\] | |
Για τη μεταβλητή \( (x-\lambda y)^2,\quad \lambda \in \mathbb R \) | |
έχουμε: | |
\begin{gather*} | |
0 \leq E\left[(x-\lambda y)^2\right] = | |
\lambda^2 E\left[y^2\right] - 2\lambda E[xy]+E[x^2] \\ | |
E\left[(x-\lambda y)^2\right]_{\min} = | |
\frac{\left(E[xy]\right)^2}{\left(E[y^2]\right)^{\cancel{2}}} | |
\cancel{E[y^2]} - 2\frac{\left(E[xy]\right)^2}{E[y^2]}+E[x^2] | |
= E[x^2] - \frac{\left(E[xy]\right)^2}{E[y^2]} \geq 0 | |
\end{gather*} | |
\section{Κατανομές} | |
\[ | |
\mathlarger{X,f_X(x)} | |
\] | |
Τα τυχαία σήματα με τα οποία ασχολούμαστε μεταβάλλονται | |
\textit{στον χρόνο}, π.χ. \( E(t), I(t), H(t), B(t), U(t) \) που μπορεί | |
π.χ. να είναι ίσα με \(U_0(t)\cos\left(2\pi f(t) t + \phi(t)\right) \). | |
Το σήμα δεν είναι ντετερμινιστικό, αλλιώς δεν θα μετέφερε καμία | |
πληροφορία. | |
Η τυχαία μεταβλητή είναι το πλάτος του σήματος. Η πιθανότητα που | |
μας ενδιαφέρει είναι η πιθανότητα να βρεθούμε εντός μιας περιοχής: | |
\[ | |
P \left\lbrace x < X \leq x+\dif x \right\rbrace = f_X(x)\Delta x | |
\] | |
\begin{tikzpicture}[every node/.style={scale=.8}] | |
\draw (-1,0) -- (6,0) node[below] {$t$}; | |
\draw (0,-1) -- (0,3) node[below left] {$x(t)$}; | |
\draw[dashed] (0.48,0) node[below,xshift=2mm] {$\Delta t_1$} -- ++(0,1.5); | |
\draw[dashed] (0.55,0) -- ++(0,1.7); | |
\draw[dashed] (1.12,0) node[below,xshift=2mm] {$\Delta t_2$} -- ++(0,1.5); | |
\draw[dashed] (1.24,0) -- ++(0,1.7); | |
\draw[dashed] (1.90,0) node[below,xshift=2mm] {$\Delta t_3$} -- ++(0,1.5); | |
\draw[dashed] (2.00,0) -- ++(0,1.7); | |
\draw[dashed] (2.52,0) node[below,xshift=2mm] {$\Delta t_4$} -- ++(0,1.5); | |
\draw[dashed] (2.62,0) -- ++(0,1.7); | |
\draw[dashed] (3.15,0) node[below,xshift=2mm] {$\Delta t_5$} -- ++(0,1.5); | |
\draw[dashed] (3.24,0) -- ++(0,1.7); | |
\draw[very thick,orange] (0,1.5) node[left] {$x$} -- (5.5,1.5); | |
\draw[orange!50!red] (0,1.7) node[left] {$x+\Delta x$} -- ++(5.5,0); | |
\draw[very thick,blue!60!black] plot [smooth] | |
coordinates {(0,0) (0.7,2) (1.5,1.2) (2.2,1.6) (3,1.3) (3.4,1.9) (4,0.9) (4.5,1.5) (5,1.2)}; | |
\end{tikzpicture} | |
την οποία βρίσκουμε μέσω μίας κατανομής \( f_X \): | |
\begin{tikzpicture} | |
\begin{axis}[ | |
no markers, domain=-2:6, samples=100, | |
axis y line=center, | |
axis x line=middle, | |
ylabel=$f_x(x)$, | |
height=5cm, width=8cm, | |
xtick=\empty, ytick=\empty, | |
enlargelimits=false, clip=false, axis on top, | |
enlarge y limits=0.2, | |
grid = major | |
] | |
\addplot [dashed,domain=3.5:4,fill=green,postaction={pattern=north east lines,opacity=.2}] {gauss(2,1.5)} -- (4,0) -- (3.5,0) -- cycle; | |
\draw (3.5,0) node[below,scale=.6,xshift=-1mm] {$x\vphantom{\dif}$}; | |
\draw (4,0) node[below,scale=.6,xshift=2mm] {$x+\dif x$}; | |
\addplot [very thick,cyan!50!black] {gauss(2,1.5)}; | |
\end{axis} | |
\end{tikzpicture} | |
Τον χρόνο που το σήμα μας έχει πλάτος που βρίσκεται εντός των τιμών | |
που θέλουμε τον αποκαλούμε \( T_X \): | |
\[ | |
T_X = \sum_i \Delta t_i | |
\] | |
και έχουμε: | |
\[ | |
f_X(x)\Delta x = \frac{\cancelto{T_X}{\sum_i \Delta t_i}}{T} | |
\implies | |
f_X(x) = \lim_{\substack{\Delta x\to 0 \\ T\to \infty}} | |
\frac{T_X}{T\Delta x} | |
\] | |
όπου \( T \) είναι ο χρόνος όλου του σήματος. | |
\subsection{Gaussιανή Κατανομή} | |
Gaussιανή ή Κανονική κατανομή | |
\[ \mathlarger{ | |
f_X(x) = \frac{1}{\sigma_x \sqrt{2\pi}}\exp\left[ | |
-\frac{(x-\bar x)^2}{2\sigma_x^2} | |
\right] } | |
\] | |
\begin{tikzpicture}[scale=1.5] | |
\begin{axis}[ | |
no markers, domain=-2:6, samples=100, | |
axis y line=center, | |
axis x line=middle, | |
ylabel=$f_x(x)$,xlabel=$x$, | |
height=5cm, width=8cm, | |
xtick=\empty, ytick=\empty, | |
enlargelimits=false, clip=false, axis on top, | |
enlarge y limits=0.2, | |
xlabel style={below}, | |
grid = major | |
] | |
\addplot [fill=green!5!white,draw opacity=0,postaction={pattern=north east lines,opacity=.1},samples=20] | |
{gauss(2,1.5)} -- (6,0) -- (-2,0) -- cycle; | |
\addplot [dashed,domain=-1:5,fill=green!30!white,postaction={pattern=north east lines,opacity=.2},samples=20] | |
{gauss(2,1.5)} -- (5,0) -- (-1,0) -- cycle; | |
\addplot [dashed,domain=0.5:3.5,fill=green,postaction={pattern=north east lines,opacity=.2},samples=10] | |
{gauss(2,1.5)} -- (3.5,0) -- (0.5,0) -- cycle; | |
%\addplot [dashed,domain=0.5:3.5,fill=green,postaction={pattern=north east lines,opacity=.2}] {gauss(2,1.5)} -- (3.5,0) -- (0.5,0) -- cycle; | |
\draw (0,0) node[below left] {$0$}; | |
\addplot [ultra thick,cyan!50!black] {gauss(2,1.5)}; | |
\draw[dashed] (2,-0.02) node[right] {$\bar x$} -- (2,0.265); | |
\draw (2,0.265/2) node[label={[inner sep=2pt, fill=white,text=black, fill opacity=0.55, text opacity=1]center:$68\%$}] {}; | |
\draw (4.2,0.025) node[label={[inner sep=2pt, fill=white,text=black, fill opacity=0.55, text opacity=1]center:$95\%$}] {}; | |
\end{axis} | |
\end{tikzpicture} | |
Με μέση τιμή \( \bar x \) και τυπική απόκλιση \( \sigma_x \). | |
Σε ένα διάστημα \( \bar x - 3\sigma_x \) μέχρι \( \bar x + 3\sigma_x \) | |
συγκεντρώνεται πάνω από το 99\% των ενδεχομένων. | |
Έχει \textbf{συνάρτηση κατανομής πιθανότητας}: | |
\[ | |
F_X(x) = \cdots \quad \text{(δεν υπολογίζεται αναλυτικά)} | |
\] | |
\begin{tikzpicture}[scale=1.2] | |
\draw[dashed] (0,3) node[left] {$1$} -- ++(4,0); | |
\draw[dashed] (0,1.5) node[left] {$0.5$} -- ++(1,0); | |
\draw[dashed] (1,0) node[below] {$\bar x$} -- ++(0,3); | |
\draw[very thick,blue!75!magenta] plot[smooth,xscale=0.5,yscale=3] file{data/gaussian_integral.data}; | |
\filldraw[draw=blue!50!black,thick,fill=white,fill opacity=.6] (1,1.5) circle (3pt); | |
\draw (0,-0.2) -- (0,3.5) node[above] {$F_x(x)$}; | |
\draw[->] (-1,0) -- (4,0) node[right] {$x$}; | |
\end{tikzpicture} | |
\subsubsection[Συνάρτηση Y=aX+b]{Συνάρτηση \( Y=aX+b \)} | |
Αν έχουμε μια συνάρτηση για την τυχαία μεταβλητή \( X \): | |
\[ | |
Y = aX+b | |
\] | |
Γνωρίζουμε ότι: \[ | |
f_Y(y) = \left. \frac{f_X(x)}{\od{y}{x}}\right|_{x=y_1} | |
\] | |
Το \( x \) λύνεται ως εξής: | |
\[ | |
x_1 = \frac{y-b}{a} | |
\] | |
και επειδή η σχέση είναι γραμμική: | |
\[ | |
\od{y}{x} = a | |
\] | |
άρα: | |
\begin{align*} | |
f_Y(y) = \left. \frac{f_X(x)}{\od{y}{x}}\right|_{x=y_1} | |
&= \frac{1}{a\sigma_x \sqrt{2\pi}} \exp\left[ | |
-\frac{(y-b-\bar{x_a})^2}{2a^2\sigma_x^2} | |
\right] \intertext{ | |
με αντικατάσταση \( \sigma_y^2=a^2\sigma_x^2 \) | |
και \( \bar y = a\bar x + b \): | |
} | |
&= \frac{1}{\sigma_y \sqrt{2\pi}}\exp \left[ | |
-\frac{(y-\bar y)^2}{2\sigma_y^2} | |
\right] | |
\end{align*} | |
Δηλαδή αν εφαρμόσουμε μια \textbf{γραμμική συνάρτηση} | |
σε μια \textbf{γκαουσιανή κατανομή}, | |
θα πάρουμε πάλι γκαουσιανή κατανομή. | |
\subsubsection{Συνάρτηση Κατανομής Πιθανότητας} | |
\begin{align*} | |
F_X(x) &= \int_{-\infty}^{x} f_X(u)\dif u \\ | |
&= \frac{1}{\sigma_x \sqrt{2\pi}} \int_{-\infty}^{x} \exp \left[ | |
-\frac{(u-\bar u)^2}{2\sigma_x^2} | |
\right] \dif u | |
\\ &= | |
\frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\frac{x-\bar x}{\sigma_x}} | |
\exp\left[\frac{u^2}{2}\right] \dif y | |
\end{align*} | |
Το παραπάνω ολοκλήρωμα δεν μπορεί να εκφραστεί αναλυτικά, επομένως πρέπει | |
να καταφύγουμε σε \textbf{πίνακες}. | |
Για να βρούμε την πιθανότητα: | |
\[ | |
P \left\lbrace X \leq x_1 \right\rbrace | |
\] | |
ψάχνουμε στους πίνακες την τιμή: | |
\[ | |
\boxed{\frac{x_1-\bar x}{\sigma_x}} | |
\] | |
η οποία είναι η μεταβλητή \( X \), αλλά κανονικοποιημένη, ώστε να έχει | |
μέση τιμή \( \bar y = 0 \) και τυπική απόκλιση \( \sigma_y = 1 \), άρα | |
εκφράζεται από τη συνάρτηση \[ | |
\phi(x) = \frac{1}{\sqrt{2\pi}} | |
\int_{-\infty}^{x} \exp\left[-\frac{y^2}{2}\right]\dif y | |
\] | |
Για ευκολία, ορίζουμε τη συνάρτηση: | |
\[ | |
\boxed{ | |
\erf(x) = \frac{1}{\sqrt{2\pi}} | |
\int_{0}^{x} \exp\left[-\frac{y^2}{2}\right]\dif y | |
} \qquad \text{(error function)} | |
\] | |
επομένως: | |
\[ | |
\phi(x) = \frac{1}{2} + \erf(x) | |
\] | |
(αφού η \( \erf \) ολοκληρώνει από το \( 0 \), όχι το | |
\( -\infty \)). | |
\paragraph{Ιδιότητες} | |
\begin{gather*} | |
\phi(-x) = 1-\phi(x) \\ | |
\erf(-x) = -\erf(x) \\ | |
\erf(+\infty) = \frac{1}{2} | |
\end{gather*} | |
\subsubsection{Χαρακτηριστική συνάρτηση} | |
Η χαρακτηριστική της γκαουσιανής είναι: | |
\[ | |
\Phi(\omega ) = \exp\left[ | |
j\omega \bar X - \frac{\omega^2\sigma_x^2}{2} | |
\right] | |
\] | |
\subsubsection{Από κοινού Gaussιανή κατανομή} | |
Έχουμε δύο μεταβλητές, με τα δικά τους \( \begin{matrix} | |
\sigma_x,\sigma_y \\ \bar x,\bar y | |
\end{matrix} \) και συντελεστή συσχέτισης \( \rho \). Τότε: | |
\[ | |
f_{XY}(x,y) = \frac{1}{2\pi \sigma_x \sigma_y \sqrt{1-\rho^2}} | |
\exp\left\lbrace | |
-\frac{1}{2(1-\rho^2)}\left[ | |
\left[ | |
\frac{x-\bar x}{\sigma_x} | |
\right]^2 - 2\rho\left[\frac{x-\bar x}{\sigma_x}\right]\left[ | |
\frac{y-\bar y}{\sigma_y} | |
\right] + \left[\frac{y-\bar y}{\sigma_y}\right]^2 | |
\right] | |
\right\rbrace | |
\] | |
Αντίστοιχα υπάρχουν εκφράσεις με πίνακες για \( n \) τυχαίες μεταβλητές. | |
\paragraph{}Αν \( \rho = 0 \) (ασυσχέτιστες): | |
\begin{align*} | |
f_{XY}(x,y) &= \frac{1}{2\pi \sigma_x\sigma_y}\exp \left\lbrace | |
-\frac{1}{2}\frac{(x-\bar x)^2}{\sigma_x^2} | |
-\frac{1}{2}\frac{(y-\bar y)^2}{\sigma y^2} | |
\right\rbrace \\ &= | |
\frac{1}{\sqrt{2\pi} \sigma_x}\exp\left[ | |
-\frac{(x-\bar x)^2}{2\sigma_x^2}\right] | |
\cdot\frac{1}{\sqrt{2\pi}\sigma_y}\exp\left[ | |
-\frac{(y-\bar y)^2}{2\sigma_y^2}\right] | |
\\ &= f_X(x) \, f_Y(y) | |
\end{align*} | |
Δηλαδή \textbf{δύο Gaussian μεταβλητές που είναι ασυσχέτιστες, είναι και | |
ανεξάρτητες} (δεν ισχύει απαραίτητα το αντίστροφο). | |
\subsubsection{Θεώρημα κεντρικού ορίου} | |
Έχουμε δύο τυχαίες μεταβλητές, κατανεμημένες κατά Gauss: | |
\begin{align*} | |
f_X(x) &= \frac{1}{\sigma_x \sqrt{2\pi}} | |
e^{-\sfrac{(x-\bar x)^2}{2\sigma_x^2} } \\ | |
f_Y(y) &= \frac{1}{\sigma_y\sqrt{2\pi}} | |
e^{-\sfrac{(y-\bar y)^2}{2\sigma_y^2} } | |
\end{align*} | |
και μία τρίτη, που είναι το άθροισμα των πρώτων δύο: | |
\[ | |
\underline{Z=X+Y} | |
\] | |
τότε: | |
\[ | |
\boxed{ | |
\mathlarger{f_Z(z) = f_X(z) * f_Y(z)} | |
} | |
\] | |
Εφαρμόζοντας τον μετασχηματισμό Fourier \( F \): | |
\begin{align*} | |
F\left[f_Z(z)\right] &= F\left[f_X(z)\right] | |
F\left[f_Y(z)\right] = | |
e^{\frac{-(\sigma_x^2+\sigma_y^2)\omega^2}{2}} | |
e^{j\omega (\bar x+\bar y)} | |
\\ | |
F\left[f_X(x)\right] &= e^{\frac{-(\omega\sigma_x)^2}{2}} | |
e^{j\omega \bar x} | |
\\ | |
F\left[f_Y(y)\right] &= e^{\frac{-(\omega \sigma_y)^2}{2}} | |
e^{j\omega \bar y} | |
\\[2ex] | |
f_Z(z) &= \frac{1}{2\pi\sqrt{\sigma_x^2+\sigma_y^2}} | |
e^{\displaystyle \sfrac{ | |
-\left[z-(\bar x+\bar y)\right] | |
}{2(\sigma_x^2+\sigma_y^2)} | |
} | |
\end{align*} | |
Αν το αποτέλεσμα αυτό το επεκτείνουμε σε \( n \) ανεξάρτητες Τ.Μ. | |
(τυχαίες μεταβλητές) Gauss: | |
\begin{align*} | |
\sigma_z^2 &= \sigma_1^2+\sigma_2^2+\dots+\sigma_n^2 \\ | |
\bar z &= \bar{x_1} + \bar{x_2} + \dots + \bar{x_n} | |
\end{align*} | |
και η \( z \) θα είναι και αυτή Gaussιανή. | |
\paragraph{} | |
Σύμφωνα με το Κεντρικό Οριακό Θεώρημα, αν προσθέσουμε άπειρες τυχαίες | |
μεταβλητές, με οποιαδήποτε κατανομή, διαφορετική για την κάθε μία, το | |
αποτέλεσμα θα είναι μια Gaussιανή κατανομή. | |
Για παράδειγμα, αν έχουμε ηλεκτρόνια να κινούνται σε ένα μέταλλο, και | |
προσθέσουμε το αποτέλεσμα του καθενός από τα δισεκατομμύρια ηλεκτρόνια | |
που κινούνται με διαφορετική κατανομή, το αποτέλεσμα θα είναι μια | |
Gaussιανή κατανομή του θορύβου που θα εμφανιστεί στην τάση. | |
\paragraph{} | |
Έστω \( X_1,X_2,\dots,X_n \) (η κάθε μία μεταβλητή έχει τη δικιά της | |
οποιαδήποτε - μη Gaussian - κατανομή), και \( Z = X_1+X_2+\dots+X_n \) με | |
\( n\to \infty \), άρα \( f_Z(z) | |
= \frac{1}{\sigma_z\sqrt{2\pi}} e^{\sfrac{-(z-\bar z)^2}{2\sigma_2^2} } | |
\) | |
Έστω | |
\( Z = \frac{1}{\sqrt{n}} \left[X_1+X_2+\dots+X_n\right]\). | |
Αν \( \sigma_1^2+\sigma_2^2+\dots+\sigma_n^2 \to \infty \), και | |
\( n\to \infty \), και \( a \) μια σταθερά \( >2 \), τότε: | |
\[ | |
\int_{-\infty}^{\infty} z^a f(z) < C = \text{ σταθερά.} | |
\] | |
\subsection{Υπόλοιπες Κατανομές} | |
\begin{quote} | |
\emph{Από το βιβλίο του Πανά} | |
\[\cdots \] | |
\end{quote} | |
\newpage | |
\section{Στοχαστικό Σήμα} | |
Το στοχαστικό σήμα έχει διαφορετικές ονομασίες: | |
\begin{itemize} | |
\item Στοχαστική διαδικασία | |
\item Τυχαίο σήμα | |
\item Τυχαία διαδικασία | |
\item Στοχαστική ανέλιξη | |
\end{itemize} | |
\paragraph{} | |
Έστω ότι έχουμε ένα πείραμα με δειγματικό χώρο \( S \). | |
Αν σε κάθε αποτέλεσμα αντιστοιχήσουμε μια συνάρτηση | |
\( S(t) \), τότε έχουμε ορίσει το \textbf{στοχαστικό σήμα}. | |
Δηλαδή το τυχαίο σήμα αποτελείται από ένα σύνολο (ensemble) | |
συναρτήσεων, η καθεμία από τις οποίες αντιστοιχεί σε ένα | |
ενδεχόμενο του πειράματος. | |
\begin{tikzpicture}[scale=1.5] | |
\def\radius{1cm} | |
\pgfmathsetseed{1000} | |
\draw[mark position=0.5(c),mark position=0.65(d)] | |
plot[ | |
smooth cycle, | |
samples=30, | |
domain=0:360, | |
variable=\t | |
] | |
(\t:{\radius+2*(rand)}) | |
; | |
\draw (0.4,0.4) node {$J_1$}; | |
\draw (0.5,-0.2) node {$J_2$}; | |
\draw (0.2,-0.6) node {$J_k$}; | |
\draw (-0.5,0) node {$J_m$}; | |
\draw (-0.3,0.5) node {$J_n$}; | |
\draw (c) to[bend left] (-0.4,-0.4) to[bend left] (d); | |
\draw (-0.6,-0.52) node[scale=.85] {$S$}; | |
\draw[gray!50!brown,->] (0.6,0.35) to[bend left] node[midway,above] {$S(t,J_1)$} (2.5,1); | |
\draw[gray!50!brown,->] (0.8,-0.25) to[bend left=20] node[midway,above] {$S(t,J_2)$} (2.5,-0.5); | |
\draw[gray!50!brown,->] (0.45,-0.70) to[bend right] node[midway,below,yshift=-2mm] {$S(t,J_k)$} (2.5,-2); | |
\begin{scope}[xshift=3cm,yshift=-2cm] | |
\draw (0,-1) -- (0,4); | |
\foreach \y in {0,1.5,3} | |
\draw[->] (-0.2,\y) -- (6,\y) node[right] {$t$}; | |
\draw[thick,green!80!cyan,dashed,name path=D] (1.9,-1) node[right] {$t_i$} -- ++(0,5); | |
\foreach \i in {1,2,3} | |
\draw[thick,yellow!70!cyan!70!orange,dashed] (2.5+0.9*\i,-1) node[right] {$t_\i$} -- ++(0,5); | |
\draw[thick,blue,name path=A] plot [domain=0:5.5,smooth,samples=25] | |
(\x,rand/1.5); | |
\draw[thick,blue,name path=B] plot [domain=0:5.5,smooth,samples=20,yshift=1.5cm] | |
(\x,{rand*abs(rand)/1.5}); | |
\draw[thick,blue,name path=C] plot [domain=0:5.5,smooth,samples=30,yshift=3cm] | |
(\x+0.05*rand,rand/1.5); | |
\path [name intersections={of=A and D,by=E}]; | |
\path [name intersections={of=B and D,by=F}]; | |
\path [name intersections={of=C and D,by=G}]; | |
\foreach \x in {E,F,G} { | |
\filldraw[fill=green!30!white,draw=blue!30!black,fill opacity=.5] | |
(\x) circle (2pt); | |
} | |
\end{scope} | |
\end{tikzpicture} | |
Κάθε φορά που εκτελούμε το πείραμα (για παράδειγμα, αν έχουμε | |
έναν ραδιοφωνικό σταθμό, και τον ηχογραφήσουμε για λίγα λεπτά 100 | |
διαφορετικές φορές), θα πάρουμε \( n \) (100) διαφορετικές | |
συναρτήσεις (επειδή π.χ. άλλαξε το τραγούδι, ένα σύννεφο επηρέασε | |
τη διάδοση του κύματος, κλπ.). Θα παρατηρήσουμε ότι αυτά τα 100 | |
σήματα, αν και διαφέρουν, μεταξύ τους παρουσιάζουν μερικές | |
ομοιότητες. | |
Όπως το βλέπουμε, το στοχαστικό σήμα είναι μία συνάρτηση: | |
\[ | |
X(t,J) | |
\] | |
όπου \( t \) ο χρόνος, και \( J \) η έξοδος του πειράματος. | |
Για μια σταθερή τιμή του χρόνου: | |
\[ | |
t=t_i | |
\] | |
έχουμε μία τυχαία μεταβλητή: | |
\[ | |
X(t_i,J) | |
\] | |
Αντίστοιχα, για ένα συγκεκριμένο αποτέλεσμα του πειράματος, π.χ. | |
\( J_5 \), έχουμε ένα σήμα στο πεδίο του χρόνου: | |
\[ | |
X(t,J_5) | |
\] | |
το οποίο μπορούμε να συμβολίσουμε ως εξής: | |
\[ | |
x_5(t) | |
\] | |
και μπορούμε π.χ. να βρούμε την τιμή ενός συγκεκριμένου | |
σήματος κάποια στιγμή: | |
\[ | |
x_5(4) | |
\] | |
\paragraph{} | |
Τα στοχαστικά σήματα διακρίνονται σε: | |
\begin{itemize} | |
\item \textbf{Συνεχές στ. σήμα} | |
\begin{tikzpicture} | |
\draw[->] (-0.5,0) -- (6.5,0); | |
\draw[->] (0,-1) -- (0,2.5) node[left] {$x_J(t)$}; | |
\draw[thick,blue!70!black, name path=line1] | |
plot [smooth] | |
coordinates {(0,0) (0.2,0.4) (0.5,0.8) (0.7,2.1)(1,0.7)(1.3,0.8)(1.8,1.4)(2,1.6)(2.2,0.7)(2.5,0.8) | |
(2.8,1) (3,1.7) (3.25,1.4) (3.5,1.7) (3.75,1.4) (3.9,1.7) (4,0.8) (5,0.3) | |
}; | |
\draw[name path=line2] (1.7,0) node[below] {$t_i$} -- (1.7,2); | |
\path [name intersections={of=line1 and line2,by=E}]; | |
\filldraw[fill=blue!50!black,fill opacity=.7] (E) circle (2pt); | |
\begin{scope}[xshift=8cm] | |
\draw[->] (-0.5,0) -- (6.5,0); | |
\draw[->] (0,-1) -- (0,2.5) node[left] {$f_x\left(\underline{x(t_i)}\right)$}; | |
\draw[very thick,cyan!90!black] | |
plot [smooth,tension=1] | |
coordinates {(0,0) (1.5,1.7) (3.2,0.6) (5,0.1)}; | |
\draw[<-,thick] (1,-0.2) to[bend left] ++(0.2,-1.2) node[below] {Συνάρτηση πυκνότητας πιθανότητας}; | |
\end{scope} | |
\end{tikzpicture} | |
\item \textbf{Διακριτό στ. σήμα} | |
\begin{tikzpicture} | |
\draw[->] (-0.5,0) -- (7,0); | |
\draw[->] (0,-1) -- (0,2.5) node[left] {$x_J(t)$}; | |
\draw[dashed] (6,0.15*10) -- ++ (-6,0) node[left,scale=.9] {$10$}; | |
\draw[dashed] (6,0.15*7.3) -- ++ (-6,0) node[left,scale=.9] {$7.3$}; | |
\draw[very thick,blue!70!black, name path=line1] | |
plot [const plot,yscale=0.15] | |
coordinates {(0,10) (0.7,0) (1.4,10) (1.6,0) (2,10) (3,0) (4,10) (4.8,0) (5.5,7.3) (5.8,0) (6,0) | |
}; | |
\draw (0,0) node[below left] {$0$}; | |
\begin{scope}[xshift=9cm] | |
\draw[->] (-0.5,0) -- (5,0); | |
\draw[->] (0,-1) -- (0,2.5) node[left] {$f_x\big(x(t_i)\big)$}; | |
\draw[ultra thick,draw=cyan!90!black,->] | |
(0,0) node[cross=3pt,thick,cyan!20!black] {} node[below left] {$0$} -- ++(0,1); | |
\draw[ultra thick,draw=cyan!90!black,->] | |
(7.3/6,0) node[cross=3pt,thick,cyan!20!black] {} node[below,xshift=-1mm,scale=.9] {$7.3$} -- ++(0,0.6); | |
\draw[ultra thick,draw=cyan!90!black,->] | |
(10/6,0) node[cross=3pt,thick,cyan!20!black] {} node[below,xshift=1mm,scale=.9] {$10$} -- ++(0,1); | |
\end{scope} | |
\end{tikzpicture} | |
\item \textbf{Μικτό στ. σήμα} | |
\begin{tikzpicture} | |
\draw[->] (-0.5,0) -- (7,0); | |
\draw[->] (0,-1) -- (0,2.5) node[left] {$x_J(t)$}; | |
\draw[very thick,blue!70!black, name path=line1] | |
plot[smooth] coordinates | |
{(0,0) (0.1,0.2) (0.2,0.25) (0.5,1) (1,2) (1.5,0)} | |
-- (2,0) | |
plot [smooth] coordinates | |
{(2,0) (2.2,1) (2.4,0.9) (2.6,1.1) (2.8,0)} | |
-- (3.3,0) | |
plot [smooth,tension=.3] coordinates | |
{(3.3,0) (3.5,1) (3.7,2.4) (4.1,2.4) (4.3,0)} | |
-- (4.7,0) | |
plot[smooth] coordinates | |
{(4.7,0) (4.95,0.7) (5.1,0.7) (5.2,0)} | |
-- (6,0); | |
\draw (0,0) node[below left] {$0$}; | |
\begin{scope}[xshift=8.5cm] | |
\draw[->] (-0.5,0) -- (5.5,0); | |
\draw[->] (0,-1) -- (0,2.5) node[left] {$f_x\big(x(t_i)\big)$}; | |
\draw[ultra thick,draw=cyan!80!black,->] | |
(0,0) node[cross=3pt,thick,cyan!20!black,opacity=.5] {} node[below left] {$0$} -- ++(0,1.2); | |
\draw[very thick,cyan!90!black,yscale=.7] | |
plot [smooth,tension=1] | |
coordinates {(0.1,0) (1.5,1.7) (3.2,0.6) (5,0.1)}; | |
\end{scope} | |
\end{tikzpicture} | |
\end{itemize} | |
Επιπλέον, διακρίνονται ως εξής: | |
\begin{itemize} | |
\item \textbf{Μη ορισμένο σήμα} | |
(\underline{non-deterministic}) | |
Ένα σήμα στο οποίο οι τιμές κάποια στιγμή δεν εξαρτώνται | |
από τις προηγούμενες τιμές. | |
\item \textbf{Ορισμένο σήμα} (\underline{deterministic}) | |
Ένα σήμα, το οποίο αν αφήσουμε να εξελιχθεί, θα μπορούμε | |
να προβλέψουμε τις επόμενες τιμές από τις προηγούμενες. | |
\paragraph{Παράδειγμα} | |
\[ | |
x_i(t) = A\cos(\omega t + \underline{\theta_i}) | |
\] | |
\begin{tikzpicture}[xscale=0.7] | |
\draw (0,-1) -- (0,6); | |
\draw[->] (-0.5,0) -- (5.5,0); | |
\draw[->] (-0.5,2) -- ++(6,0); | |
\draw[->] (-0.5,4) -- ++(6,0); | |
\draw[thick,blue!70!black,variable=\x,samples=700,domain=0:5] plot ({\x},{(0.7*sin(\x r*3))}); | |
\draw[thick,blue!70!black,variable=\x,samples=700,domain=0:5,yshift=2cm] plot ({\x},{(0.7*sin((\x+0.4) r*3))}); | |
\draw[thick,blue!70!black,variable=\x,samples=700,domain=0:5,yshift=4cm] plot ({\x},{(0.7*sin((\x+0.8) r*3))}); | |
\end{tikzpicture} | |
Η οικογένεια αυτών των σημάτων αποτελείται από συνημίτονα | |
ίδιου πλάτους και συχνότητας, αλλά διαφορετικής φάσης. | |
Γνωρίζοντας τις παρελθοντικές τιμές ενός από αυτά τα σήματα, | |
μπορούμε να βρούμε το \( \theta_i \), άρα και τις μελλοντικές | |
του τιμές. | |
\end{itemize} | |
\subsection{Μοντέλο Στοχαστικού Σήματος} | |
Έστω ένα στοχαστικό σήμα \( \big\lbrace x(t) \big\rbrace \). | |
Για όλες τις χρονικές του στιγμές, η τιμή του σήματος βρίσκεται | |
από τις τυχαίες μεταβλητές | |
\( x(t_1),x(t_2),\dots,x(t_4),\dots \), οι οποίες είναι | |
\textbf{άπειρες} στον αριθμό. Τότε χρειάζεται να γνωρίζουμε | |
την συνάρτηση από κοινού πυκνότητας πιθανότητας όλων αυτών | |
των μεταβλητών: | |
\[ | |
f\left(x(t_1),x(t_2),\dots,x(t_n)\right) | |
\] | |
κάτι που είναι εξαιρετικά δύσκολο, ακόμα κι αν περιορίσουμε | |
το πλήθος των χρονικών στιγμών σε πεπερασμένο αριθμό. | |
Μπορούμε να αποκτήσουμε μια προσέγγιση, αν αποκτήσουμε τις | |
οριακές συναρτήσεις πυκνότητας πιθανότητας για κάποιες χρονικές | |
στιγμές: | |
\[ | |
f\left(x(t_1)\right),\ | |
f\left(x(t_2)\right),\ | |
\dots, | |
f\left(x(t_n)\right) | |
\] | |
Δεν γνωρίζουμε όμως τη συσχέτιση μεταξύ τους. Μπορούμε λοιπόν | |
να συμπεριλάβουμε την από κοινού συνάρτηση πυκνότητας πιθανότητας | |
του κάθε ζευγαριού: | |
\[ | |
\rightarrow \quad f\left(x(t_2),x(t_3)\right),\ | |
f\left(x(t_3),x(t_1)\right) | |
\] | |
Παρατηρούμε πως αν γνωρίζουμε το \textbf{μοντέλο της δεύτερης | |
πιθανότητας} (συναρτήσεις \( f\left(x(t_i),x(t_j)\right) \)), | |
μπορούμε εύκολα με μια ολοκλήρωση να εξάγουμε και την κάθε | |
συνάρτηση \( f\left(x(t_k)\right) \) ξεχωριστά. | |
Επομένως, θα ασχολούμαστε πιο συχνά με το μοντέλο: | |
\[ | |
\mathlarger{\boxed{ | |
f\left(x(t_i),x(t_j)\right) | |
}} | |
\] | |
\paragraph{1\textsuperscript{ης} τάξης} | |
Για μια στιγμή \( t_1 \): | |
\begin{gather*} | |
x(t_1) \\ | |
E\left[x(t_1)\right] = \overline{x(t_1)} = M(t_1) \\ | |
E\left[\left(x(t_1)-M(t_1)\right)^2\right]= | |
\sigma^2(t_1) | |
\end{gather*} | |
Για όλα τα \( t \): | |
\begin{gather*} | |
E\left[x(t)\right] = \overline{X(t)} | |
= \overline{M(t)} \\ | |
E\left[\left(x(t)-M(t)\right)^2\right] | |
= \sigma^2(t) | |
\end{gather*} | |
όπου: | |
\begin{align*} | |
M(t) &= \int_{x(t)}^{x} | |
X(t)f\left(x(t)\right)\dif x(t) \\ | |
\sigma^2(t) &= \int_{x(t)} \left[ | |
\left(x(t)-M(t)\right)^2 | |
\right]f\left(x(t)\right)\dif x(t) | |
\end{align*} | |
(με προσοχή ότι η ολοκλήρωση δεν γίνεται στο χρόνο) | |
\paragraph{2\textsuperscript{ης} τάξης} | |
Γνωρίζοντας τις: | |
\[ | |
M(t_1),\ M(t_2),\ \sigma^2(t_1),\ \sigma^2(t_2) | |
\] | |
ορίζουμε τη \textbf{συμμεταβλητότητα}: | |
\begin{align*} | |
\underbrace{\cov\left[x(t_1)x(t_2)\right]}_{\mathclap{\text{ | |
συμμεταβλητότητα}}} | |
&= E\left[\left(x(t_1)-M(t_1)\right) | |
\left(x(t_2)-M(t_2)\right)\right] | |
\\ &= \underbrace{E\left[x(t_1)x(t_2)\right]}_{\mathclap{\text{ | |
συσχέτιση}}} | |
- M(t_1)M(t_2) | |
\end{align*} | |
\begin{align*} | |
E\left[x(t_1)x(t_2)\right] &= | |
\int\limits_{x(t_1)}\int\limits_{x(t_2)} | |
x(t_1)x(t_2)f\left(x(t_1),x(t_2\right) | |
\dif x(t_1)\dif x(t_2) \\ \Aboxed{ | |
\underbrace{R(t_1,t_2)}_{{\text{συνάρτηση συσχέτισης}}} | |
&= | |
E\left[x(t_1)x(t_2)\right] | |
} | |
\end{align*} | |
\subsection{Στασιμότητα \& Εργοδικότητα} | |
\begin{defn}{Αυστηρά στάσιμο}{} | |
Αυστηρά στάσιμο (Straight Stationary) ονομάζεται ένα | |
σήμα \( \big\lbrace x(t) \big\rbrace \) όταν για οποιαδήποτε | |
μετακίνηση | |
\[ | |
\bigg\lbrace x(t+\tau) \bigg\rbrace | |
\] | |
η από κοινού πιθανότητα δεν μεταβάλλεται: | |
\[ | |
\mathlarger{ | |
f\left(x(t_1),x(t_2),\dots,x(t_n),\dots\right) = | |
f\left(x(t_1+\tau),x(t_2+\tau),\dots,x(t_n+\tau),\dots\right) | |
} | |
\] | |
\end{defn} | |
Στα μοντέλα με τα οποία ασχολούμαστε εμείς, ορίζουμε: | |
\begin{align*} | |
f\left(x(t)\right) &= | |
f\left(x(t+\tau)\right) \\ | |
f\left(x(t_1),x(t_2)\right) &= | |
f\left(x(t_1+\tau),x(t_2+\tau)\right) | |
\end{align*} | |
Πρακτικά, η στασιμότητα σημαίνει ότι τα σήματα | |
\textbf{δεν αλλάζουν στατιστικά χαρακτηριστικά στο χρόνο}. | |
\begin{defn}{Ασθενικά στάσιμο}{} | |
Ασθενικά στάσιμο (στάσιμο με την ευρεία έννοια, Wide Sense | |
Stationary) λέγεται ένα τυχαίο σήμα όταν: | |
\begin{enumroman} | |
\item \( | |
E\left[x(t)\right] = M(t) = M | |
\) | |
\item \( | |
R(t_1,t_2) = R(\tau) \qquad \text{όπου } t_1-t_2=\tau | |
\) | |
\end{enumroman} | |
\end{defn} | |
Εάν ένα σήμα είναι αυστηρά στάσιμο, τότε από τις ολοκληρώσεις προκύπτει | |
\( \implies \) ότι είναι και στάσιμο με την ευρεία έννοια. Το | |
αντίστροφο δεν ισχύει εν γένει. | |
\begin{defn}{Αυτοσυσχέτιση}{} | |
Όταν αναφερόμαστε στη συσχέτιση ενός σήματος με τον εαυτό του, | |
θα την αποκαλούμε \textbf{αυτοσυσχέτιση}. | |
\end{defn} | |
\paragraph{} | |
Προκύπτει το ερώτημα, αν γνωρίζουμε την τιμή του σήματος σε ένα | |
σημείο στο χρόνο, μπορούμε να προβλέψουμε τις επόμενες τιμές του; | |
Αν έχουμε ένα σήμα, μπορούμε να γνωρίζουμε τη μέση του τιμή και την | |
αυτοσυσχέτισή του, αντίστοιχα: | |
\begin{align*} | |
\widehat{x_1(t)} &= \lim_{T\to \infty} \frac{1}{T} | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } x_1(t)\dif t | |
\\ | |
\mathcal{R}_x(\tau) &= \lim_{T\to \infty} | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } x_1(t)x_1(t+\tau)\dif t | |
\end{align*} | |
\begin{defn}{Εργοδικό ως προς τη μέση τιμή σήμα}{} | |
Ένα σήμα ονομάζεται \textbf{εργοδικό} ως προς τη μέση τιμή, όταν: | |
\begin{enumparen} | |
\item Οι \textbf{χρονικές} μέσες τιμές κάθε ενδεχομένου σήματος | |
είναι ίσες μεταξύ τους \textbf{και ίσες} με | |
\item Τη στατιστική μέση τιμή κάθε χρονικής στιγμής. | |
\end{enumparen} | |
\end{defn} | |
\begin{defn}{Εργοδικό ως προς την αυτοσυσχέτιση σήμα}{} | |
Ένα σήμα ονομάζεται \textbf{εργοδικό} ως προς την αυτοσυσχέτιση, | |
όταν: | |
\begin{enumparen} | |
\item Οι \textbf{χρονικές} συναρτήσεις αυτοσυσχέτισης | |
κάθε ενδεχομένου σήματος | |
είναι ίδιες μεταξύ τους \textbf{και} | |
\item είναι ίσες με τη \textbf{στατιστική αυτοσυσχέτιση}. | |
\end{enumparen} | |
\end{defn} | |
\begin{defn}{Εργοδικό ως προς n-ροπή}{} | |
\[ | |
E\left[\left(x(t)\right)^n\right] = | |
\int\limits_{x(t)} \left(x(t)\right)^n | |
f\left(x(t)\right) \dif\left(x(t)\right) | |
= \lim_{T\to \infty} \frac{1}{T} | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
\left(x_J(t)\right)^n \dif t | |
\] | |
\end{defn} | |
Σχέση ανάμεσα σε στασιμότητα και εργοδικότητα: | |
Τα μη στάσιμα σήματα δεν είναι εργοδικά. | |
\subsection{Δύο στοχαστικά σήματα} | |
Η πιο συχνή περίπτωση είναι να έχουμε ένα σήμα πληροφορίας, και ένα | |
σήμα θορύβου: | |
\[ | |
x(t) + n(t) | |
\] | |
και μας ενδιαφέρει να διώξουμε τον θόρυβο, και να εξάγουμε την | |
πληροφορία. | |
\paragraph{} | |
Έστω ότι έχουμε δύο σήματα: | |
\[ | |
\big\lbrace x(t) \big\rbrace \quad | |
\big\lbrace y(t) \big\rbrace | |
\] | |
Για να τα περιγράψουμε πλήρως (πλήρες μοντέλο), | |
χρειαζόμαστε τη συνάρτηση από κοινού πυκνότητας πιθανότητας: | |
\[ | |
f_{XY} \left( | |
x(t_1),x(t_2),\dots x(t_n),\dots, | |
y(t_1),y(t_2),\dots,y(t_n),\dots | |
\right) | |
\] | |
ή, αν τα σήματα είναι ανεξάρτητα: | |
\[ | |
f_X\left(x(t_1),x(t_2),\dots,x(t_n)\right) | |
f_Y\left(y(t_1),y(t_2),\dots,y(t_n)\right) | |
\] | |
\paragraph{} | |
Ένα πιο απλό μοντέλο περιγραφής των δύο σημάτων περιλαμβάνει: | |
\begin{enumroman} | |
\item \( E\left[x(t)\right] = M_x(t) | |
\qquad E\left[ y(t) \right] = M_y(t) | |
\) (\textbf{μέση τιμή}) | |
\item \( R_x(t_1,t_2)\qquad R_y(t_1,t_2) \) | |
(\textbf{αυτοσυσχέτιση}) | |
\item \( E\left[x(t_1)y(t_2)\right] \) | |
(\textbf{ετεροσυσχέτιση} \( R_{xy}(t_1,t_2)= | |
E\left[x(t_1)y(t_2)\right] \) ) | |
\end{enumroman} | |
Τα δύο σήματα είναι στάσιμα, ως γνωστόν, όταν: | |
\[ | |
\begin{cases} | |
M_x(t) &= M_x \\ | |
M_y(t) &= M_y \\ | |
R_x(t_1,t_2) &= R_x(\tau) \\ | |
R_y(t_1,t_2) &= R_y(\tau) | |
\end{cases} | |
\] | |
όπου \( \tau = t_1-t_2 \) | |
Για να τα αποκαλέσουμε κοινά στάσιμα, πρέπει να πληρούν και την ιδιότητα: | |
\[ | |
R_{xy}(t_1,t_2) = R_{xy}(\overbrace{t_1-t_2}^{\tau}) = R_{xy}(\tau) | |
\] | |
\begin{defn}{Κοινά στάσιμα}{} | |
\textbf{Κοινά στάσιμα} (με την ευρεία έννοια) λέγονται δύο σήματα | |
όταν: | |
\begin{enumparen} | |
\item Είναι στάσιμα από μόνα τους, και | |
\item Ικανοποιούν την ιδιότητα: | |
\[ | |
R_{xy}(t_1,t_2) = R_{xy}(\overbrace{t_1-t_2}^{\tau}) = R_{xy}(\tau) | |
\] | |
\end{enumparen} | |
\end{defn} | |
\begin{defn}{Στατιστικά ασυσχέτιστα σήματα}{} | |
Δύο σήματα ονομάζονται στατιστικά ασυσχέτιστα, ανν: | |
\[ | |
E\left[x(t_1)y(t_2)\right] | |
= E\left[x(t_1)\right]E\left[y(t_2)\right] | |
= M_xM_y | |
\] | |
\end{defn} | |
Ισχύει: | |
\[ | |
\text{Ασυσχέτιστα} \implies \text{Ανεξαρτησία} | |
\] | |
(εν γένει όχι και το αντίθετο) | |
\begin{defn}{Εργοδικά ως προς την ετεροσυσχέτιση σήματα}{} | |
Δύο σήματα ονομάζονται \textbf{εργοδικό} ως προς την ετεροσυσχέτιση, | |
όταν: | |
\begin{enumparen} | |
\item Οι \textbf{χρονικές} συναρτήσεις αυτοσυσχέτισης | |
κάθε ενδεχομένου σήματος | |
είναι ίσες \textbf{και} | |
\item είναι ίσες με τη \textbf{στατιστική ετεροσυσχέτιση}. | |
\end{enumparen} | |
\end{defn} | |
Για τη χρονική ετεροσυσχέτιση θυμόμαστε ότι: | |
\[ | |
\mathcal{R}_{xy}(\tau) = \lim_{T\to \infty} | |
\frac{1}{T} \int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
X_n(t)Y_m(t+\tau)\dif t | |
\] | |
\subsection{Ιδιότητες} | |
\subsubsection{Ιδιότητες αυτοσυσχέτισης} | |
\begin{align*} | |
R_x(t_1,t_2) &= E\left[x(t_1)x(t_2)\right] \\ | |
&= E\left[x(t_2+\tau)x(t_2)\right] \qquad | |
\mathsmaller{t_1-t_2=\tau \implies t_1=t_2+\tau} | |
\\ &= R_x(t_1-t_2) = R_x(\tau) | |
\intertext{δηλαδή} | |
\Aboxed{R_x(\tau) &= E\left[x(t+\tau)x(t)\right]} | |
\end{align*} | |
Επίσης: | |
\[ | |
R_x(-\tau) = -E\underset{t'=t-\tau}{\left[x(t-\tau)x(t)\right]} | |
= E\left[x(t')x(t'+\tau)\right] = R_x(\tau) | |
\] | |
Άρα μερικές ιδιότητες της αυτοσυσχέτισης είναι: | |
\begin{enumerate} | |
\item \( R_x(0) = E\left[x(t)x(t)\right] = E\left[x^2(t)\right] \) | |
\item \( R_x(\tau) = R_x(-\tau) \) | |
\item \( \left\vert R_x(\tau) \right\vert \leq R_x(0) \) | |
\subparagraph{Απόδειξη} | |
\begin{gather*} | |
E\left[\left(x(t+\tau)\pm x(t)\right)^2\right]= | |
E\left[x^2(t+\tau)\pm 2x(t+\tau)x(t)+x^2(t)\right] \geq 0 | |
\\ | |
E\left[x^2(t+\tau)\right]+E\left[x^2(t)\right] | |
\leq \pm 2 E\left[x(t)x(t+\tau)\right] = \pm 2 R_x(\tau)\\ | |
\cancel{2}R_x(0) \geq \pm \cancel{2}R_x(t) \\ | |
R_x(0) \geq \left|R_x(t)\right| | |
\end{gather*} | |
\item Αν η τυχαία μεταβλητή έχει μέση τιμή \( M_x \neq 0 \), τότε | |
η αυτοσυσχέτιση περιέχει μια σταθερή ποσότητα. | |
\paragraph{Απόδειξη} | |
\begin{align*} | |
N(t) &= X(t) - M_x \qquad x(t) = M_x+N(t) \\ | |
R_x(\tau) &= E\left[X(t+\tau)X(t)\right] | |
= E\left[\left(M_x+N(t+\tau)\right) | |
\left(M_x+N(t)\right) | |
\right]\\ &= E\left[ | |
M_x^2 + M_xN(t) + M_xN(t+\tau)+N(t+\tau)N(t) | |
\right] \\ &= M_x^2 + M_x\cancelto{0}{E\left[N(t)\right]} | |
+ M_x\cancelto{0}{E\left[N(t+\tau)\right]} + R_N(t) \\ | |
&= M_x^2 + R_N(\tau) | |
\end{align*} | |
\item Αν \( X(t) \) περιοδική \( X(t+nT) \), τότε και η αυτοσυσχέτιση | |
περιοδική \( R_x(\tau) = R_x(\tau + NT) \) | |
\paragraph{Απόδειξη} | |
\begin{align*} | |
R_x(\tau) &= E\left[X(t)X(t+\tau)\right] | |
\\ &= E\left[X(t)X(t+\tau+NT)\right] | |
\\ &= R_x(\tau+NT) | |
\end{align*} | |
(με ανάλογο αποτέλεσμα και αν η περίοδος μεταβάλλεται ελαφρά) | |
\item \( \displaystyle | |
\lim_{\tau\to \infty} = M_x^2 | |
\) \todo{???} | |
\end{enumerate} | |
\subsubsection{Ιδιότητες ετεροσυσχέτισης} | |
Θυμόμαστε για την ετεροσυσχέτιση: | |
\begin{gather*} | |
\big\lbrace x(t) \big\rbrace,\quad | |
\big\lbrace y(t) \big\rbrace \\ | |
R_{xy}(t) = E\left[X(t_1)\ Y(t_1+\tau)\right] | |
\qquad \text{όπου } t_2-t_1=\tau | |
\end{gather*} | |
\begin{enumerate} | |
\item \( R_{xy}(0) = R_{yx}(0) \) | |
\item \( R_{xy}(\tau) = R_{yx}(-\tau) \), επειδή: | |
\begin{align*} | |
R_{yx}(\tau) &= E\left[Y(t_1)X(t_1+\tau)\right] \\ | |
R_{yx}(-\tau) &= E\left[X(t_1-\tau)Y(t_1)\right] \\ | |
R_{yx}(-\tau) &= E\left[X(t_2)Y(t_2+\tau)\right] | |
\end{align*} (\( t_1-\tau = t_2 \)) | |
\item \( \left| R_{xy}(\tau) \right| | |
\leq \left[ R_x(0) R_y(0) \right]^{\sfrac{1}{2}} | |
\) | |
\item Για \textbf{ανεξάρτητα} και στάσιμα σήματα: | |
\begin{align*} | |
\underline{R_{xy}(\tau) } &= E\left[X(t_1)Y(t_1+\tau)\right] | |
= E\left[X(t_1)\right]E\left[Y(t_1+\tau)\right] = | |
\underline{M_xM_y = R_{yx}(\tau)} | |
ί \end{align*} | |
Στην περίπτωση που: | |
\[ | |
R_{xy}(\tau) = 0, | |
\] | |
έχουμε την περίπτωση \textbf{ορθογωνικών σημάτων}. Αυτό σημαίνει ότι | |
μπορούμε εύκολα να ξεχωρίσουμε το ένα σε σχέση με το άλλο. | |
\end{enumerate} | |
\subsection{Αυτοσυσχέτιση} | |
Αν έχουμε ένα συμβατικό αναλογικό σήμα, \( x(t) \), ο μετασχηματισμός | |
Fourier του \( \mathscr{F}\big\lbrace x(t) \big\rbrace \) εκφράζει το | |
πλάτος της κάθε συχνότητας που συμμετέχει στη δημιουργία του σήματος. | |
Αν όμως πάρουμε την αυτοσυσχέτισή του, \( \mathcal{R}_x(t) \), ο | |
μετασχηματισμός Fourier της \( \mathscr{F} | |
\big\lbrace \mathcal{R}_x(\tau) \big\rbrace = S_{\mathrm P_{x}}\) | |
εκφράζει την πυκνότητα της φασματικής ισχύος. | |
Δηλαδή, αν πάρουμε το εμβαδόν ενός εύρους συχνοτήτων στο | |
\( S_{\mathrm P_{x}} \), θα βρούμε την ισχύ που συνεισφέρουν στο | |
σήμα αυτές οι συχνότητες: | |
\begin{tikzpicture} | |
\begin{scope} | |
\clip plot[smooth,tension=.7] coordinates | |
{(-3,0.2) (-1.5,1) (-0.2,2.3) (2,0.8) (3,0.5)} |- (-3,0) -- cycle; | |
\fill[orange,fill opacity=.7,postaction={pattern=north east lines,opacity=.2}] (1.4,0) rectangle (1.8,2); | |
\draw[dashed] (1.4,0) -- (1.4,2); | |
\draw[dashed] (1.8,0) -- (1.8,2); | |
\end{scope} | |
\draw ({(1.8+1.4)/2},0) node[below] {$\dif x$}; | |
\draw (-3,0) -- (3,0); | |
\draw (0,-0.5) -- (0,3.5) node[right] {$S_{\mathrm p x}(f)$}; | |
\draw[very thick,green!60!black] plot[smooth,tension=.7] coordinates | |
{(-3,0.2) (-1.5,1) (-0.2,2.3) (2,0.8) (3,0.5)}; | |
\end{tikzpicture} | |
\paragraph{} | |
Αν σε ένα στοχαστικό σήμα προσπαθήσουμε να πάρουμε τον μετασχηματισμό | |
Fourier, θα προκύψουν άπειρες συναρτήσεις για κάθε δυνατό σήμα: | |
\begin{align*} | |
x_1(t) \xrightarrow{\quad} & X_1(f) \\ | |
x_2(t) \xrightarrow{\quad} & X_2(f) \\ | |
\vdots\ \xrightarrow{\quad} & \ \vdots \\ | |
x_n(t) \xrightarrow{\quad} & X_n(f) | |
\end{align*} | |
Κάτι που δεν είναι χρήσιμο, γιατί πρέπει να αναλύσουμε άπειρες | |
συναρτήσεις. | |
Μπορούμε όμως να εκμεταλλευτούμε (θυμόμαστε ότι τα στοχαστικά σήματα | |
είναι σήματα ισχύος) το προηγούμενο συμπέρασμα, χρησιμοποιώντας τη συνάρτηση \( \mathcal{R}_x(\tau) \) για ένα στοχαστικό σήμα, | |
και να πάρουμε τον μετασχηματισμό Fourier αυτής, ως εξής: | |
\subsubsection{Εργοδικό} | |
Έστω: \( x_L(t) \qquad \text{με } \mathcal{R}_x(\tau) \), όπου | |
\( \displaystyle \mathcal{R}_x(\tau) | |
= \lim_{T\to \infty} \frac{1}{T} | |
\int_{-\sfrac{T}{2} }^{\sfrac{T}{2} }x(t)\left(x(t+\tau)\right)\dif t | |
\) | |
Τότε \( \mathcal{R}_x(\tau) | |
\xrightarrow{\text{FT}} S_{\mathrm px}(\omega ) \) | |
(psd - power spectral density - φασματική πυκνότητα ισχύος) | |
Όμως, επειδή το σήμα είναι εργοδικό: | |
\[ | |
R_x(\tau) = \mathcal R_x(\tau) | |
\] | |
άρα: | |
\[ | |
R_x(\tau) \xleftrightarrow{\mathrm{FT}} S_{\mathrm{p}x}(\omega ) | |
\] | |
που σημαίνει: | |
\[ | |
S_{\mathrm p x}(\omega ) = \int_{-\infty}^{\infty} | |
R_x(\tau)e^{-j\omega \tau}\dif\tau | |
\] | |
\subsubsection{Στάσιμο μη εργοδικό} | |
Έχουμε πολλές συναρτήσεις \( \mathcal{R}_{x_i}(\tau) | |
\xleftrightarrow{\text{F.T.}} S_{\mathrm p x} | |
\) που οδηγούν σε άπειρα φάσματα \\ | |
\( \displaystyle \boxed{S_{\mathrm p x_i}(\omega ) = | |
\int_{-\infty}^{\infty} | |
\mathcal{R}_{x_i}(\tau) e^{-j\omega \tau}\dif \tau} \), οπότε δεν | |
έχουμε λύσει το αρχικό πρόβλημα. | |
Από τη θεωρία αναλογικού σήματος ισχύει: | |
\[ | |
\boxed{ | |
S_{\mathrm p x_i}(\omega ) = \lim_{T\to \infty} | |
\frac{\left|F\left[x_{i_T}\right]\right|^2}{T} | |
} | |
\] | |
όπου: | |
\[ | |
F\left[x_{iT}(t)\right] | |
= \int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
x_{i_T}(t) e^{-j\omega t}\dif t | |
\] | |
και | |
\[ | |
x_{iT}(t) = x_i(\tau)\left[ | |
\mathrm u\left(t+\sfrac{T}{2} \right) | |
-\mathrm u\left(t-\sfrac{T}{2} \right) | |
\right] | |
\] | |
\begin{tikzpicture}[scale=1] | |
\begin{axis}[ | |
no markers, domain=-3:3, samples=40, | |
axis lines*=center, | |
height=2.5cm, width=6cm, | |
xtick=\empty, ytick=\empty, | |
enlargelimits=false, clip=false, axis on top, | |
grid = major, ymax=0.4 | |
] | |
\addplot+[black,const plot, no marks,very thick] coordinates {(-1.5,0) (-1.5,0.25) (1.5,0)} | |
node[pos=0,below,scale=.7] {$-\sfrac{T}{2}$} | |
node[pos=1,below,scale=.7] {$\sfrac{T}{2}$}; | |
\addplot [very thick,cyan!50!black] {gauss(0,1.5)+rand/70} node[pos=.5,black,scale=.7,above right] {$1$};; | |
\end{axis} | |
\end{tikzpicture} | |
Οι δύο τύποι συνδέονται από το θεώρημα Wiener-Khintchine. | |
Συνεχίζουμε να έχουμε άπειρες συναρτήσεις που μπορούν να μετασχηματιστούν | |
κατά Fourier. Για να ξεπεράσουμε αυτό το πρόβλημα, θα χρησιμοποιήσουμε | |
ροπές: | |
\begin{align*} | |
\left|F\left[X_T(t)\right]\right|^2 | |
&= F\left[x_T(t)\right]F^*\left[X_T(t)\right] | |
= \int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
x(t_1)e^{j\omega t_1}\dif t_1 | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} }x(t_2)e^{-j\omega t_2} | |
\dif t_2 | |
\\ &= \int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } x(t_1)x(t_2) | |
e^{-j\omega (t_2-t_1)}\dif t_2\dif t_1 | |
\intertext{Άρα:} | |
E\left[ S_{\mathrm p x} \right] &= E\left[ | |
\lim_{T\to \infty} \int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } x(t_1)x(t_2) | |
e^{-j\omega (t_2-t_1)} \dif t_2\dif t_1 | |
\right] | |
\\ &= \lim_{T\to \infty} \int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
\cancelto{R_x(t_2-t_1)}{E\left[x(t_1)x(t_2)\right]} | |
e^{-j\omega (t_2-t_1)}\dif t_2\dif t_1\\ | |
&= \lim_{T\to \infty} \int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
\cancelto{R_x(\tau)}{R_x(t_2-t_1)} | |
e^{-j\omega \cancelto{\tau}{(t_2-t_1)}}\dif t_2\dif t_1 | |
\intertext{Θέτουμε \( | |
\varphi(\overbrace{t_2-t_1}^{\tau}) = | |
R_x(\overbrace{t_2-t_1}^{\tau}) e^{-j\omega | |
(\overbrace{t_2-t_1}^{\tau})} | |
\)} | |
&= \lim_{T\to \infty} \int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } | |
\int_{\sfrac{-T}{2} }^{\sfrac{T}{2} } \varphi(t_2-t_1)\dif t_2 | |
\dif t_1 | |
\end{align*} | |
Το ολοκλήρωμα αυτό μπορεί να υπολογιστεί γραφικά: | |
\begin{tikzpicture}[scale=1] | |
\filldraw[green,draw=green!50!black,fill opacity=.4] (-2,0.5) -- (-0.5,2) -- (-0.5,0.5) -- cycle; | |
\fill[red!70!yellow!90!green,opacity=.6] (-2,0.5) -- (-2,1.1) -- (-1.1,2) -- (-0.5,2) -- cycle; | |
\fill[green!50!black,opacity=.5] (-1.1,2) -- (-0.5,2.6) -- (-0.5,2) -- cycle; | |
\draw[->] (-4,0) -- (3,0) node[right] {$t_1$}; | |
\draw[->] (0,-2.7) -- (0,4) node[above] {$t_2$}; | |
\draw (-2,2) rectangle (2,-2); | |
\fill[every node/.style={scale=.8}] | |
(0,-2) circle (1.5pt) node[below left] {$- |