РЕФЕРАТ

На тему:

Поглинальні ланцюги Маркова та їх основні числові характеристики

Вивчаючи поглинальні ланцюги Маркова, визначають:

1) імовірності переходу до поглинального стану за умови, що процес
почався з непоглинального стану;

2) середнє значення часу перебування процесу в непоглинальному стані,
перш ніж він перейде до одного з поглинальних станів, за умови, що в
початковий момент часу процес був у непоглинальному стані;

3) середню кількість зроблених кроків, перш ніж процес перейде до
поглинального стану, якщо початковий стан процесу був непоглинальним.

1. Канонічна форма матриці ?

Розглядаючи поглинальні ланцюги Маркова, стани процесу нумерують так,
щоб поглинальні дістали перші номери.

З огляду на це матриця — вона в такому разі називається канонічною
формою матриці ? — у загальному випадку подається у вигляді:

. (24)

Тут I — одинична матриця розміром m*m;

усі елементи якої дорівнюють нулю;

елементами якої є ймовірності переходів системи з непоглинальних
станів до непоглинальних;

елементами якої є ймовірності, що визначають перехід системи з
непоглинального стану до поглинального.

Приклад 11. За даною матрицею ймовірностей однокрокового переходу
поглинального ланцюга Маркова

побудувати її канонічну форму.

є поглинальним.

Тому для матриці

канонічна форма набирає такого вигляду:

,

.

Приклад 12. За даною матрицею ймовірностей однокрокового переходу
системи

побудувати канонічну матрицю.

Розв’язання. Канонічна форма матриці буде така:

,

.

2. Фундаментальна матриця

Для поглинального ланцюга Маркова з однокроковою матрицею ймовірностей,
поданою в канонічній формі (24), справджуються такі твердження:

де О — нульова матриця, всі елементи якої нулі;

де І — одинична матриця, має обернену;

. (25)

Для поглинального ланцюга Маркова ймовірність переходу системи (процесу)
в поглинальний стан зі збільшенням числа кроків переходу k прямує до
одиниці. А тому і буде виконуватися рівність

. (26)

Приклад 13. За даною однокроковою матрицею ймовірностей

установити, як змінюються значення ймовірностей переходу з одного стану
до іншого зі зростанням кількості кроків k.

поглинальні:

.

Отже, маємо:

Простежимо, як змінюються значення ймовірностей переходу для матриць R і
Q зі зміною кількості кроків.

:

.

:

.

матриця набирає такого вигляду:

Скориставшись властивістю визначника

(27)

розглянемо рівність

звідки

(28) (28)

Із (27) і (28) випливає, що

знаходять, здебільшого, традиційними методами.

називають фундаментальною для поглинального ланцюга Маркова.

Елемент, який у матриці N міститься на перетині і-го рядка і

.

у протилежному випадку.

Тоді дістаємо:

Похожие записи