[XSTK] Biến ngẫu nhiên (Stochastic Variables)

Đã hơn một năm kể từ lúc viết bài đầu tiên về XSTK trên blog này. Và mặc dù bài đó vẫn còn dang dở, nhưng ta sẽ tạm thời bỏ qua các khái niệm không gian mẫu, event, định nghĩa xác suất, công thức Bayes cho event… để trình bày tiếp về các biến ngẫu nhiên. Thực tế đến một lúc nào đó trong các khóa học XSTK, ta sẽ chỉ còn làm việc với biến ngẫu nhiên, Tất nhiên việc hiểu 1 cách hệ thống về cách định nghĩa biến ngẫu nhiên dựa vào khái niệm không gian mẫu là rất cần thiết, nhưng ta sẽ trở lại sau khi có dịp.

Bài này tổng quan về biến ngẫu nhiên, bao gồm định nghĩa, các moment của biến ngẫu nhiên, định nghĩa phân phối XS đồng thời (joint distribution), xác suất nhiều biến, phân phối lề (marginal distribution) v.v… Trong đa số trường hợp ta sẽ có cái nhìn đối sánh giữa phân phối rời rạc và phân phối liên tục. Đặc điểm của các loại phân phối cụ thể hay dùng (Bionomial, Possion, Gaussian v.v..) sẽ được trình bày trong một bài khác.

1. Định nghĩa biến ngẫu nhiên

Có nhiều cách khác nhau để định nghĩa biến ngẫu nhiên, ở đây ta trình bày theo Larray Wasserman, vì cách này tương đối tổng quát cho cả trường hợp rời rạc lẫn liên tục.

Cho không gian mẫu  \Omega. Một biến ngẫu nhiên  (random variable) là một ánh xạ

\displaystyle X:\Omega \rightarrow \mathbb{R}

sao cho nó gán một số thực X\left(\omega\right) cho mỗi quan sát (outcome) \omega

Đây không phải là một định nghĩa chặt chẽ nhất có thể về biến ngẫu nhiên, nhưng với định nghĩa này ta có thể phái sinh trong trường hợp biến ngẫu nhiên rời rạc hay liên tục.

Ví dụ xét thí nghiệm tung đồng xu 5 lần. Gọi  X\left(\omega\right) là số mặt H trong chuỗi \omega. Khi đó không gian mẫu là \Omega = \left\{H, T\right\}^5. Chẳng hạn với  \omega = HTHHT thì X\left(\omega\right)=3.

Như vậy cho một thí nghiệm bất kì, ta có một không gian mẫu \Omega . Sau đó trên không gian mẫu này ta định nghĩa (các) biến ngẫu nhiên X. Giá trị của (các) biến ngẫu nhiên nằm trên trục số thực \mathbb{R}. Cuối cùng để có thể thực sự làm việc với biến ngẫu nhiên, ta cần định nghĩa hàm xác suất của biến ngẫu nhiên \mathbb{P}\left(X\right).

Còn nhớ rằng với một event A, ta định nghĩa xác suất của event A là một hàm \mathbb{P}\left(A\right) thỏa 3 tiên đề \mathbb{P}\left(A\right)\geq 0,\;\mathbb{P}\left(\Sigma\right)=1,\;\mathbb{P}\left(A_1\cup A_2\right)=\mathbb{P}\left(A_1\right) + \mathbb{P}\left(A_2\right)\text{ if } A_1\cap A_2 = \varnothing. Do vậy cần hiểu rằng \mathbb{P}\left(X=x\right) cũng là xác suất theo nghĩa như vậy, trong đó x\in\mathbb{R} là một giá trị mà biến ngẫu nhiên X có thể nhận. Nói cách khác, ta định nghĩa xác suất cho sự kiện biến ngẫu nhiên X nhận giá trị x, chứ không phải là xác suất chung chung.

2. Hàm phân phối (distribution function) và hàm xác suất (probability function) của biến ngẫu nhiên

Cho biến ngẫu nhiên X, ta định nghĩa hàm phân phối lũy tích (cumulative distribution function – CDF), hay còn gọi là hàm phân phối (distribution function) là:

\displaystyle F_X:\mathbb{R}\rightarrow\left[0,1\right]

\displaystyle F_X\left(x\right)=\mathbb{P}\left(X\leq x\right)

Ta sẽ thấy hàm CDF chứa mọi thông tin cần thiết của biến ngẫu nhiên, do đó là một khái niệm quan trọng.

Các biến ngẫu nhiên được chia vào 2 nhóm quan trọng là rời rạcliên tục, tùy vào miền giá trị mà biến ngẫu nhiên  X có thể nhận. Nhắc lại là trong định nghĩa biến ngẫu nhiên, ta chỉ nói chung chung rằng giá trị của  X nằm trong \mathbb{R}, tuy nhiên cụ thể hơn, ta có:

Biến ngẫu nhiên X gọi là rời rạc nếu nó chỉ nhận giá trị trong một tập đếm được (không nhất thiết hữu hạn) \left\{x_1,x_2\cdots\right\}. Khi đó ta định nghĩa hàm mật độ xác suất  (probability function, hay probability mass function) của  X là:

\displaystyle f_X\left(x\right)=\mathbb{P}\left(X=x\right)

Do tính chất của xác suất  \mathbb{P}\left(X=x\right) nên đương nhiên f_X\left(x\right)\geq 0 \; \forall x\in \mathbb{R}\sum_i f_X\left(x_i\right)=1. So sánh với định nghĩa hàm CDF ở trên, ta thấy:

F_X\left(x\right)=\mathbb{P}\left(X\leq x\right)=\sum_{x_i\leq x}f_X\left(x_i\right)

Ta cũng có định nghĩa sau dành cho biến ngẫu nhiên liên tục:

Một biến ngẫu nhiên X gọi là liên tục nếu tồn tại hàm f_X sao cho f_X\left(x\right)\geq 0 với mọi x, \int_{-\infty}^\infty f_X\left(x\right)dx = 1 và với mọi a\leq b:

\mathbb{P}\left(a < x < b\right) = \int_a^b f_X\left(x\right)dx.

Hàm f_X khi đó gọi là hàm mật độ xác suất (probability density functionPDF) của X.

Ta cũng có mối quan hệ giữa CDF và PDF của một biến ngẫu nhiên liên tục:

\displaystyle F_X\left(x\right)=\int_{-\infty}^x f_X\left(x\right)dx

và đương nhiên f_X\left(x\right) = F_X'\left(x\right) tại mọi điểm mà F_X\left(x\right) có đạo hàm (differentiable – khả vi).

3. Moment của biến ngẫu nhiên

Moment là các đại lượng dùng để đặc trưng cho phân bố của biến ngẫu nhiên. Thông thường ta quan tâm đến kì vọng (mean – đặc trưng cho vị trí của phân bố) và phương sai (variance – đặc trưng cho mức độ biến thiên của phân bố) của các biến ngẫu nhiên, ngoài ra còn 2 moment khác hay dùng là SkewnessKurtosis. Hình dưới đây trình bày công thức tính 4 moment này, trong 2 trường hợp rời rạc và liên tục.

\displaystyle \begin{array}{l|l}\text{Mean: } & \;\\ \displaystyle{\mu = \mathbb{E}\left[X\right]=\sum_{i=1}^n\mathbb{P}\left(x_i\right)x_i} & \displaystyle{\mu = \mathbb{E}\left[X\right]=\int xf\left(x\right)dx} \\ \text{Variance: } & \; \\ \displaystyle{\sigma^2 = \mathbb{V}\left[X\right]=\sum_{i=1}^n \mathbb{P}\left(x_i\right)\left(x_i - \mu\right)^2} & \displaystyle{\sigma^2 = \mathbb{V}\left[X\right]=\int \left(x-\mu\right)^2f\left(x\right)dx} \\ \text{Skewness: } & \; \\ \displaystyle{\gamma_1 = \sum_{i=1}^n\mathbb{P}\left(x_i\right)\left(\frac{x_i-\mu}{\sigma}\right)^3} & \displaystyle{ \gamma_1 = \frac{1}{\sigma^3}\int \left(x_i-\mu\right)^3f\left(x\right)dx} \\ \text{Kurtosis: } & \; \\ \displaystyle{ \gamma_2 = \sum_{i=1}^n\mathbb{P}\left(x_i\right)\left(\frac{x_i-\mu}{\sigma}\right)^4}& \displaystyle{ \gamma_2 = \frac{1}{\sigma^4}\int \left(x_i-\mu\right)^4f\left(x\right)dx}\end{array}

Trong trường hợp liên tục, các tích phân được lấy trên toàn miền giá trị của X.

Một cách nôm na, biến ngẫu nhiên có moment bậc 3  (skewness) dương thì phân đuôi bên phải của phân bố có xu hướng dài hơn, và nếu skewness âm thì phần đuôi bên trái có xu hướng dài hơn.  Hình ảnh có thể xem trên wiki.

Việc giải thích kurtosis hơi khó khăn hơn. Công thức trên đây được gọi là moment bậc 4 chuẩn hóa (fourth standardized kurtosis). Còn kurtosis (hay excess kurtosis) được định nghĩa là \beta_2 = \gamma_2 - 3. Phần -3 là để excess kurtosis của phân phối Gaussian bằng 0 (bất kể giá trị của tham số). Theo đó các phân bố có excess kurtosis nhỏ hơn 0 (chẳng hạn phân bố Bernoulli) được goi là sub Gaussian, và có excess kurtosis lớn hơn 0 (chẳng hạn Poisson, Student, Cauchy…) gọi là super Guassian.

Ở đây ta cũng dùng kí hiệu \mathbb{E}\left[X\right] để chỉ toán tử kì vọng \mathbb{E} áp dụng lên biến ngẫu nhiên  X. Nhắc lại rằng theo luật số lớn, khi số lần lấy mẫu tiến tới vô cùng thì giá trị trung bình (mean) của chúng tiến tới kì vọng. Một cách chặt chẽ, giá trị kì vọng không phải lúc nào cũng tồn tại.

Ngoài ra, cho biến ngẫu nhiên Y = r\left(X\right) thì

\displaystyle \mathbb{E}\left[Y\right] = \mathbb{E}\left[r\left(X\right)\right] = \int r\left(x\right)f_X\left(x\right)dx.

Kí hiệu \mathbb{V}\left[X\right] cũng được dùng để chỉ toán tử variance áp dụng lên biến ngẫu nhiên  X. Nhắc lại rằng:

\mathbb{V}\left[X\right] = \mathbb{E}\left[\left(X-\mu\right)^2\right] = \int \left(x-\mu\right)^2f\left(x\right)dx

Ta thấy rằng phương sai của  X chính là kì vọng của  Y = \left(X-\mu_X\right)^2. Ngoài ra ta cũng có

\mathbb{V}\left[X\right] = \mathbb{E}\left[X^2\right] - \left(\mathbb{E}\left[X\right]\right)^2

Nói cách khác, phương sai bằng kì vọng cùa bình phương trừ cho bình phương kì vọng. Có thể kiểm chứng điều này dễ dàng dựa vào định nghĩa của toán tử variance.

4. Chuyển đổi giữa các biến ngẫu nhiên

Giả sử cho biến ngẫu nhiên X với hàm PDF f_X và CDF F_X. Làm thế nào để tìm PDF và CDF cho biến ngẫu nhiên  Y=r\left(X\right)? Trong trường hợp liên tục, ta thực hiện bằng 3 bước sau:

1. Với mỗi giá trị y của Y, tìm tập  A_y = \left\{x: r\left(x\right)<y\right\}

2. Ta có

F_Y\left(y\right) = \mathbb{P}\left(Y \leq y\right) = \mathbb{P}\left(r\left(x\right) \leq y\right)=\mathbb{P}\left(\left\{x\vert r\left(x\right)\leq y\right\}\right)=\int_{A_y}f_X\left(x\right)dx

3. Và hàm PDF

f_Y\left(y\right) = F_Y'\left(y\right)

Trong “thuật toán” này, phần “tricky” nhất là bước 1: tìm A_y. Về lí thuyết phải duyệt qua từng giá trị mà Y có thể nhận.

Tương tự ta cũng có thể thực hiện trong trường hợp rời rạc và cho trường hợp nhiều biến Z = r\left(X, Y\right).

4. Phân phối XS nhiều biến

Cho 2 biến ngẫu nhiên rời rạc X, Y với tập giá trị lần lượt là \Omega_X\Omega_Y. Ta định nghĩa hàm phân bố đồng thời (joint mass function) là f\left(x,y\right)=f_{X,Y}\left(x,y\right)=\mathbb{P}\left(X=x, Y=y\right). Nghĩa là ta định nghĩa xác suất cho sự kiện X = xY = y xảy ra đồng thời.

Trong trường hợp liên tục, ta có định nghĩa sau

Cho X, Y là các biến ngẫu nhiên liên tục. Hàm f\left(x,y\right) là PDF của biến ngẫu nhiên Z=\left(X,Y\right) nếu:

1. \left(x,y\right)\geq 0 với mọi (x, y),

2. \int_{\Omega_X}\int_{\Omega_Y}f\left(x,y\right)dxdy=1,

3. Cho tập A \subseteq \Omega_X \times \Omega_Y bất kì, ta có \mathbb{P}\left(\left(X,Y\right)\in A\right) = \int \int_A f\left(x,y\right)dxdy.

“Bảng” sau trình bày các moment tương ứng của X và Y. Trong trường hợp rời rạc, ta giả sử X\in \Omega_X = \left\{x_1, x_2,\cdots x_n\right\}Y\in \Omega_Y = \left\{y_1, y_2,\cdots y_m\right\}. Trong trường hợp liên tục, \Omega_X\Omega_Y là các tập con của \mathbb{R}. Click vào đây để xem ảnh lớn.

{\displaystyle \begin{array}{l|l}  \begin{array}{rl}  \mu_{X}=\mathbb{E}\left[X\right] & {\displaystyle =\sum_{i=1}^{n}\sum_{j=1}^{m}x_{i}\mathbb{P}\left(X=x_{i},Y=y_{j}\right)}\\  & {\displaystyle =\sum_{i=1}^{n}x_{i}g\left(x_{i}\right)}\end{array} & \begin{array}{rl}  \mu_{X}=\mathbb{E}\left[X\right] & {\displaystyle =\int_{\Omega_{X}}\int_{\Omega_{Y}}xf\left(x,y\right)dxdy}\\  & {\displaystyle =\int_{\Omega_{X}}xg\left(x\right)dx}\end{array}\\  \begin{array}{rl}  \mu_{Y}=\mathbb{E}\left[Y\right] & ={\displaystyle \sum_{i=1}^{n}\sum_{j=1}^{m}y_{j}\mathbb{P}\left(X=x_{i},Y=y_{j}\right)}\\  & ={\displaystyle \sum_{j=1}^{m}y_{j}h\left(y_{j}\right)}\end{array} & \begin{array}{rl}  \mu_{Y}=\mathbb{E}\left[Y\right] & ={\displaystyle \int_{\Omega_{X}}\int_{\Omega_{Y}}yf\left(x,y\right)dxdy}\\  & ={\displaystyle \int_{\Omega_{Y}}yh\left(y\right)dy}\end{array}\\  \begin{array}{rl}  \sigma_{X}^{2}=\mathbb{V}\left[X\right] & {\displaystyle =\sum_{i=1}^{n}\sum_{j=1}^{m}\left(x_{i}-\mu_{X}\right)^{2}\mathbb{P}\left(X=x_{i},Y=y_{j}\right)}\\  & {\displaystyle =\sum_{i=1}^{n}\left(x_{i}-\mu_{X}\right)^{2}g\left(x_{i}\right)}\end{array} & \begin{array}{rl}  \sigma_{X}^{2}=\mathbb{V}\left[X\right] & ={\displaystyle \int_{\Omega_{X}}\int_{\Omega_{Y}}\left(x-\mu_{X}\right)^{2}f\left(x,y\right)dxdy}\\  & {\displaystyle =\int_{\Omega_{X}}\left(x-\mu_{X}\right)^{2}g\left(x\right)dx}\end{array}\\  \begin{array}{rl}  \sigma_{Y}^{2}=\mathbb{V}\left[Y\right] & {\displaystyle =\sum_{i=1}^{n}\sum_{j=1}^{m}\left(y_{j}-\mu_{Y}\right)^{2}\mathbb{P}\left(X=x_{i},Y=y_{j}\right)}\\  & {\displaystyle =\sum_{j=1}^{m}\left(y_{j}-\mu_{Y}\right)^{2}h\left(y_{j}\right)}\end{array} & \begin{array}{rl}  \sigma_{Y}^{2}=\mathbb{V}\left[Y\right] & {\displaystyle =\int_{\Omega_{X}}\int_{\Omega_{Y}}\left(y-\mu_{Y}\right)^{2}f\left(x,y\right)dxdy}\\  & {\displaystyle =\int_{\Omega_{Y}}\left(y-\mu_{Y}\right)^{2}h\left(y\right)dy}\end{array}\\  \begin{array}{rl}  \sigma_{XY}^{2} & =\mathbb{CV}\left[X,Y\right]\\  & {\displaystyle =\sum_{i=1}^{n}\sum_{j=1}^{m}\left(x_{i}-\mu_{X}\right)\left(y_{j}-\mu_{Y}\right)\mathbb{P}\left(X=x_{i},Y=y_{j}\right)}\end{array} & \begin{array}{rl}  \sigma_{XY}^{2} & =\mathbb{CV}\left[X,Y\right]\\  & {\displaystyle =\int_{\Omega_{X}}\int_{\Omega_{Y}}\left(x-\mu_{X}\right)\left(y-\mu_{Y}\right)f\left(x,y\right)dxdy}\end{array}\end{array}}

Trong công thức cuối cùng, ta nhận xét rằng:

\displaystyle \sigma_{XY}^2 = \mathbb{E}\left[\left(X-\mu_x\right)\left(Y-\mu_Y\right)\right] = \mathbb{E}\left[XY - X\mu_Y-Y\mu_X+\mu_X\mu_Y\right]=\mathbb{E}\left[XY\right]-\mu_X\mu_Y

5. Phân phối lề (Marginal distribution) và phân phối lũy tích nhiều biến

Nếu (X, Y) có phân phối XS đồng thời với hàm phân phối là f_{XY} thì hàm mật độ lề (marginal mass function) cho X là

f_X\left(x\right) = \mathbb{P}\left(X=x\right) = \sum_y \mathbb{P}\left(X=x, Y=y\right) = \sum_y f_{XY}\left(x, y\right)

và hàm phân phối lề cho Y là:

f_Y\left(y\right) = \mathbb{P}\left(Y=y\right) = \sum_x \mathbb{P}\left(X=x, Y=y\right) = \sum_x f_{XY}\left(x, y\right)

Trong trường hợp X, Y là biến ngẫu nhiên liên tục, ta cũng có hàm mật độ lề (marginal density function) tương ứng là

f_X\left(x\right) = \int_{\Omega_Y} f_{XY}\left(x,y\right)dy

f_Y\left(y\right) = \int_{\Omega_X} f_{XY}\left(x,y\right)dx

Một cách nôm na, hàm mật độ lề của X là hàm biểu diễn phân phối xác suất cho sự kiện X = x, bất kể giá trị của Y.

Ngoài ra ta cũng có các định nghĩa cho phân phối lũy tích nhiều biến:

Phân phối lũy tích (Cumulative distribution function) đồng thời của X và  Y là:

F_{XY}\left(x,y\right) = \mathbb{P}\left(X\leq x, Y\leq y\right)=\int_{-\infty}^x\int_{-\infty}^y f_{XY}\left(x,y\right)dxdy

Phân phối lũy tích lề  (Marginal cumulative distribution function) của  X là:

F_X\left(u\right)=\mathbb{P}\left(X\leq u\right) = \int_{-\infty}^u dx\int_{-\infty}^{+\infty} f_{XY}\left(x,y\right)dy= \int_{-\infty}^u f_X\left(x\right)dx

của  Y là:

F_Y\left(v\right)=\mathbb{P}\left(Y\leq v\right) = \int_{-\infty}^v dy\int_{-\infty}^{+\infty} f_{XY}\left(x,y\right)dx= \int_{-\infty}^v f_Y\left(y\right)dy

Trong đó f_X và  f_Y lần lượt là hàm phân phối lề của  X và  Y.

Advertisements

2 comments

  1. anh cho em xin tài liệu về hàm ngẫu nhiên trong xác suất được không anh? Em đang làm luận văn thạc sĩ về lĩnh vực này nhưng có ít tl quá anh ơi.
    Email của em: sttt1999@gmail.com
    em cảm ơn anh trước nhé

    1. Hi sang,
      Tài liệu xác suất bằng tiếng Việt nhiều lắm, bạn có thể tìm ở các nhà sách nhé.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s