本文目录一览：
- 1、马尔可夫过程的实际意义
- 2、算法的分类
- 3、马尔可夫矩阵分析是什么来的啊?
- 4、马尔可夫模型的应用
- 5、c语言递归函数
马尔可夫过程的实际意义
马尔可夫过程
马尔可夫过程
Markov process
一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 (现在)的条件下，它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
离散时间马尔可夫链 以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n1n2…nlm, n0,i1,i2,…，il，i,j∈E，有
只要其中条件概率（见概率）有意义。一般地，设E={0，1,…,M}(M为正整数)或E={0,1,2,…},Xn，n≥0为取值于E的随机变量序列,如果(1)式成立，则称{X,n≥0}为马尔可夫链。如果(1)式右方与m无关，则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从i出发经n步转移到j的概率,称为转移概率，记为。对于马尔可夫链，人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发(与过去无关地)经m步再转移到j，因此有
这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0p1，q=1-p，则M阶方阵
为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的i，则它以概率p转移到i+1,以概率q转移到i-1。又如果把P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当时，称为对称随机游动。
为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若pij0，则称i可以直达j，记作i→j,如还有pji0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。例如图形
表示一个马尔可夫链的运动情况,当链处于b1,b2,b3状态时，将永远在{b1,b2,b3}中运动,当链处于α1,α2,α3,α4状态时，将永远在{α1,α2,α3,α4}中运动,而{d1,d2,…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4，等等。对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态,它将永远在C 中转移，C 就称为这个链的闭集。对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集，例如上例中的{b1,b2，b3}。至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的。如果从状态i出发经有限次转移后回到i的概率为1，则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E0（如上例中的{d1,d2,…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b1,b2, b3},{α1，α2,α3,α4},{с1,c2}）的并。这样，在链的转移中，它或者总是在E0中转移，或者转移到某个常返类Eα中,一旦转移到Eα，它将永远在Eα中转移, 而且不时回到其中的每一个状态。特别，当 E本身是不可约常返闭集时，极限存在,其中0≤rt，t是0)的最大公约数，即链的周期,与j无关。近20年建立起来的马丁边界理论，更细致地刻画了链在E0中转移的情况。它的主要思想是在链的状态空间E 中引进距离并将E 完备化，使得在这个距离下，Xn 以概率1收敛（见概率论中的收敛）。
连续时间马尔可夫链 设E是{0,1,…,M}或{0,1,2，…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式中, 将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xt，t≥0}为连续时间马尔可夫链。若还与s≥0无关，记为pij(t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵P(t)=(pij(t))(i,j∈E,t0)所刻画。P(t)满足下述条件：①pij(t)≥0，；②柯尔莫哥洛夫-查普曼方程；通常假定：③标准性 这里δii=1,δij=0(i≠j)。有时直接称满足①、②、③的一族矩阵P(t)=(pij(t))，t≥0为转移矩阵或马尔可夫链。当①中条件放宽为时,称为广转移矩阵,它有很好的解析性质。例如,每个pij(t)在t0时具有连续的有穷导数 P拞(t)；在t＝0，右导数P拞(0)存在,i≠j时P拞(0)非负有穷,但P拞(0)可能为无穷。矩阵Q =(qij)呏(P拞(0))称为链的密度矩阵，又称Q矩阵。对于每个齐次马尔可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{X怂, t≥0}（即对一切t≥0，P(X怂≠Xt)=0, 且对每个轨道对一切t≥0有），而且以概率1，对任意t≥0, s从大于t的一侧趋于t时,X最多只有一个有穷的极限点。
以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或 Q过程。在一定条件下，Q广转移矩阵P(t),t≥0满足向后微分方程组
或者向前微分方程组
上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足0qij＜+∞(i≠j),，是否存在Q广转移矩阵?如果存在，何时惟一?如果不惟一，如何求出全部的Q广转移矩阵？对于qii都有限的情形，W.费勒于1940年构造了一个最小解p(t),证明了Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于qii都有限的情形找到了Q 广转移矩阵的惟一性准则；至于求出全部Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于Q 的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果。
生灭过程 考察一个群体成员的数目, 在时间的进程中可增可减，假定在时刻t群体有i个成员，在很短的时间间隔(t，t+Δt)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少（当i0时）一个或保持不变。而增加一个的概率为 ，减少一个的概率为，保持不变的概率为。(pij(t))的密度矩阵是
式中α0≥0,b00，对一切i0,αi0,bi0。具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程。
物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述，因此生灭过程有着广泛的实际应用。不仅如此，生灭过程还有重要的理论研究意义。关于生灭过程的结果已经十分丰富。当α0=0,b00时，只有一个生灭过程的充分必要条件是
。
对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此外，甚至对α0≥0，b00的情形,或更一般的双边生灭Q矩阵（即为一切整数）的情形,全部Q广转移矩阵也都已构造出来。
一般马尔可夫过程 设(E，B)为可测空间，X={X，t≥0}为一族取值于E的随机变量,如果对任意的B，以概率1有
(2)
则称X为马尔可夫过程。
马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由, Xs所产生的σ域（见概率）可以扩大为一般的σ域Fs，只要Fs包含由｛X,u≤s｝产生的σ域，而当 st时，。如果对任意s≥0，t0，A∈B，以概率1有
(3)
则称随机过程X={X,t≥0}为马尔可夫过程。第二,可以允许过程有寿命ζ，其中ζ是停时（见随机过程）。这时过程为X={X,tζ}。上述定义仍保留，但应作相应的修改，如{X∈As∈A,sζ)，(3)应理解为在{sζ}上几乎处处成立。
马尔可夫过程的许多性质可以通过转移函数来表达。转移函数P(s,x,t,A)(0≤s≤t，x∈E,A∈B)是满足某些条件的四元函数，它可以理解为过程在时刻s时处在x，在时刻t 时转移到A中的条件概率。如果P(s,x,t, A)=P(t-s,x,A)只依赖于t-s,x及A,则称转移函数及相应的马尔可夫过程为齐次的。设E是d维欧几里得空间Rd,B为Rd中的波莱尔域（见概率分布）Bd，而且齐次转移函数满足下面的登金－金尼条件：对任意 ε0，·。式中Vε(x)={y:｜y-x｜≥ε}，那么可以选取轨道连续的齐次马尔可夫过程X，以p(t，x，A)为转移函数。一类重要的轨道连续马尔可夫过程是 d维布朗运动。
强马尔可夫过程 在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见随机过程）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。
扩散过程 历史上，扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程，但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中，却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程，它有转移函数P(s，x,t,A)，如果对任意ε0，
(4)
(5)
(6)
而且上述极限关于x是一致的,则称此过程为一维扩散过程。粗略地说，这些条件刻画了：在很短时间Δt内，位移也是很小的，对指定的正数ε0，位移超过ε的概率和时间Δt相比可以忽略不计；在偏离不超过 ε的范围内看，平均偏离与Δt成正比，平均方差也与 Δt成正比。称(5)中的α(t,x)为偏移系数,它反映偏离的大小；称(6)中的b(t,x)为扩散系数，它反映扩散的程度。
设转移函数具有密度函数p(s,x,t,y),则在适当的附加条件下，p(s,x,t,y)满足方程
(7)
(8)
(7)和(8)分别称为柯尔莫哥洛夫向前方程和向后方程，也称为福克尔－普朗克方程。如果转移函数是齐次的,则α(s,x)=α(x),b(s,x)=b(x)与s无关，且p(t,x,y)满足
(9)
(10)α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程。然而,方程的转移密度解即使存在也未必惟一，因此还要对方程的解附加某些边界条件，以保持解的惟一性。例如，当α(t，x)=0，b(t，x)=2D (常数D0)时的向前方程，附加边界条件=0的解是
这是称之为维纳－爱因斯坦过程的扩散过程的转移密度函数。又例如，当α(t,x)=-βx(β 0),b(t,x)=2D 0时的向前方程附加与上例同样的边界条件的解，是称之为奥恩斯坦－乌伦贝克过程的扩散过程的转移密度函数。
50年代，费勒引进了推广的二阶微分算子，用半群方法解析地研究了状态空间E =【r1,r2】的扩散过程，解决了在r1和r2 处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的问题，而且找出了全部这样的边界条件。对于 E是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究，阐明了费勒的结果的概率意义，从而使一维扩散过程有了较完整的理论。
多维扩散过程是和一个椭圆型偏微分算子联系在一起的，它还有许多未解决的问题，但核心问题之一是多维扩散过程的存在性和惟一性问题；借助于偏微分方程和概率论方法已经得到一些结果。有趣的是，概率论得到的结果反过来也可以解决微分方程的求解问题，例如，可以把方程的解用一个马尔可夫过程表现出来。
近年来，人们重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解。流形上的扩散过程理论是近十年来日益受人们重视的新领域，它是用随机微分方程研究扩散过程的必然延伸。
马尔可夫过程与位势理论 在空间中给定一个向量场,如果存在一个函数u使得它的负梯度就是给定的向量场，这个函数就是位势。高斯在研究电荷分布时提出了古典位势理论。例如，在空间R3的某物体S 中给定了一个电荷分布μ，那么空间点x处的电位势为
一般地，对于空间R3中的测度μ(通常假定具有支撑S )，
称为测度μ的牛顿位势。如果不计常数因子的差别，则u可以用三维布朗运动的转移密度函数p(t,x,y)表现出来：
如果假定μ关于勒贝格测度有密度函数ƒ,则u还可以通过三维布朗运动{X,t≥0}表现出来：
式中Ex表示对从x出发的布朗运动取数学期望。再以和位势理论紧密联系的狄利克雷问题为例，它的解也可以用布朗运动来表述。由此可见,布朗运动与古典位势之间存在着自然的对应关系。这种对应关系也存在于亨特过程和近代位势理论之间。亨特过程就是轨道右连续且拟左连续的强马尔可夫过程。所谓拟左连续，即对任何停时序列τn↑τ，在(τ+∞)上，以概率1有。
马尔可夫过程的位势理论主要有三个问题：狄利克雷问题、扫问题和平衡问题。对于布朗运动，这三个问题都得到了很好的解决。
算法的分类
太多了，
最实用的，但不是最低的分类错误率：贝叶斯方法。
最简单的是最近邻法，最近邻法和扩展的例子出现非常受欢迎（或基于存储器的）方法（基于记忆的）的基础。
经典：隐马尔可夫模型（HMM），最大熵，条件随机场（CRF，这种相对较新）
最流行：簸，装袋，ADA等提振
马尔可夫矩阵分析是什么来的啊?
一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 (现在)的条件下，它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
离散时间马尔可夫链 以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n1n2…nlm, n0,i1,i2,…，il，i,j∈E，有
只要其中条件概率（见概率）有意义。一般地，设E={0，1,…,M}(M为正整数)或E={0,1,2,…},Xn，n≥0为取值于E的随机变量序列,如果(1)式成立，则称{X,n≥0}为马尔可夫链。如果(1)式右方与m无关，则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从i出发经n步转移到j的概率,称为转移概率，记为。对于马尔可夫链，人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发(与过去无关地)经m步再转移到j，因此有
这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0p1，q=1-p，则M阶方阵
为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的i，则它以概率p转移到i+1,以概率q转移到i-1。又如果把P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当时，称为对称随机游动。
为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若pij0，则称i可以直达j，记作i→j,如还有pji0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。例如图形
表示一个马尔可夫链的运动情况,当链处于b1,b2,b3状态时，将永远在{b1,b2,b3}中运动,当链处于α1,α2,α3,α4状态时，将永远在{α1,α2,α3,α4}中运动,而{d1,d2,…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4，等等。对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态,它将永远在C 中转移，C 就称为这个链的闭集。对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集，例如上例中的{b1,b2，b3}。至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的。如果从状态i出发经有限次转移后回到i的概率为1，则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E0（如上例中的{d1,d2,…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b1,b2, b3},{α1，α2,α3,α4},{с1,c2}）的并。这样，在链的转移中，它或者总是在E0中转移，或者转移到某个常返类Eα中,一旦转移到Eα，它将永远在Eα中转移, 而且不时回到其中的每一个状态。特别，当 E本身是不可约常返闭集时，极限存在,其中0≤rt，t是0)的最大公约数，即链的周期,与j无关。近20年建立起来的马丁边界理论，更细致地刻画了链在E0中转移的情况。它的主要思想是在链的状态空间E 中引进距离并将E 完备化，使得在这个距离下，Xn 以概率1收敛（见概率论中的收敛）。
连续时间马尔可夫链 设E是{0,1,…,M}或{0,1,2，…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式中, 将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xt，t≥0}为连续时间马尔可夫链。若还与s≥0无关，记为pij(t)，则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵P(t)=(pij(t))(i,j∈E,t0)所刻画。P(t)满足下述条件：①pij(t)≥0，；②柯尔莫哥洛夫-查普曼方程；通常假定：③标准性 这里δii=1,δij=0(i≠j)。有时直接称满足①、②、③的一族矩阵P(t)=(pij(t))，t≥0为转移矩阵或马尔可夫链。当①中条件放宽为时,称为广转移矩阵,它有很好的解析性质。例如,每个pij(t)在t0时具有连续的有穷导数 P拞(t)；在t＝0，右导数P拞(0)存在,i≠j时P拞(0)非负有穷,但P拞(0)可能为无穷。矩阵Q =(qij)呏(P拞(0))称为链的密度矩阵，又称Q矩阵。对于每个齐次马尔可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{X怂, t≥0}（即对一切t≥0，P(X怂≠Xt)=0, 且对每个轨道对一切t≥0有），而且以概率1，对任意t≥0, s从大于t的一侧趋于t时,X最多只有一个有穷的极限点。
以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或 Q过程。在一定条件下，Q广转移矩阵P(t),t≥0满足向后微分方程组
或者向前微分方程组
上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足0qij＜+∞(i≠j),，是否存在Q广转移矩阵?如果存在，何时惟一?如果不惟一，如何求出全部的Q广转移矩阵？对于qii都有限的情形，W.费勒于1940年构造了一个最小解p(t),证明了Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于qii都有限的情形找到了Q 广转移矩阵的惟一性准则；至于求出全部Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。对于Q 的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果。
生灭过程 考察一个群体成员的数目, 在时间的进程中可增可减，假定在时刻t群体有i个成员，在很短的时间间隔(t，t+Δt)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少（当i0时）一个或保持不变。而增加一个的概率为 ，减少一个的概率为，保持不变的概率为。(pij(t))的密度矩阵是
式中α0≥0,b00，对一切i0,αi0,bi0。具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程。
物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述，因此生灭过程有着广泛的实际应用。不仅如此，生灭过程还有重要的理论研究意义。关于生灭过程的结果已经十分丰富。当α0=0,b00时，只有一个生灭过程的充分必要条件是
。
对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。此外，甚至对α0≥0，b00的情形,或更一般的双边生灭Q矩阵（即为一切整数）的情形,全部Q广转移矩阵也都已构造出来。
一般马尔可夫过程 设(E，B)为可测空间，X={X，t≥0}为一族取值于E的随机变量,如果对任意的B，以概率1有
(2)
则称X为马尔可夫过程。
马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由, Xs所产生的σ域（见概率）可以扩大为一般的σ域Fs，只要Fs包含由｛X,u≤s｝产生的σ域，而当 st时，。如果对任意s≥0，t0，A∈B，以概率1有
(3)
则称随机过程X={X,t≥0}为马尔可夫过程。第二,可以允许过程有寿命ζ，其中ζ是停时（见随机过程）。这时过程为X={X,tζ}。上述定义仍保留，但应作相应的修改，如{X∈As∈A,sζ)，(3)应理解为在{sζ}上几乎处处成立。
马尔可夫过程的许多性质可以通过转移函数来表达。转移函数P(s,x,t,A)(0≤s≤t，x∈E,A∈B)是满足某些条件的四元函数，它可以理解为过程在时刻s时处在x，在时刻t 时转移到A中的条件概率。如果P(s,x,t, A)=P(t-s,x,A)只依赖于t-s,x及A,则称转移函数及相应的马尔可夫过程为齐次的。设E是d维欧几里得空间Rd,B为Rd中的波莱尔域（见概率分布）Bd，而且齐次转移函数满足下面的登金－金尼条件：对任意 ε0，·。式中Vε(x)={y:｜y-x｜≥ε}，那么可以选取轨道连续的齐次马尔可夫过程X，以p(t，x，A)为转移函数。一类重要的轨道连续马尔可夫过程是 d维布朗运动。
强马尔可夫过程 在马尔可夫性的定义中，"现在"是指固定的时刻，但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见随机过程）。例如考察从圆心出发的平面上的布朗运动，如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年，才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明，强马尔可夫过程才是马尔可夫过程真正研究的对象。
扩散过程 历史上，扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程，但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中，却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程，它有转移函数P(s，x,t,A)，如果对任意ε0，
马尔可夫模型的应用
主要应用于语音识别、音字转换、词性标注。
自然语言是人类交流信息的工具。很多自然语言处理问题都可以等同于通信系统中的解码问题--一个人根据接收到的信息，去猜测发话人要表达的意思。这其实就象通信中，人们根据接收端收到的信号去分析、理解、还原发送端传送过来的信息。比如一个典型的通信系统中：其中s1，s2，s3...表示信息源发出的信号。o1,o2,o3...是接受器接收到的信号。通信中的解码就是根据接收到的信号o1,o2,o3...还原出发送的信号s1，s2，s3...。
其实人们平时在说话时，脑子就是一个信息源。人们的喉咙（声带），空气，就是如电线和光缆般的信道。听众耳朵的就是接收端，而听到的声音就是传送过来的信号。根据声学信号来推测说话者的意思，就是语音识别。这样说来，如果接收端是一台计算机而不是人的话，那么计算机要做的就是语音的自动识别。同样，在计算机中，如果我们要根据接收到的英语信息，推测说话者的汉语意思，就是机器翻译；如果我们要根据带有拼写错误的语句推测说话者想表达的正确意思，那就是自动纠错。那么怎么根据接收到的信息来推测说话者想表达的意思呢？人们可以利用叫做"隐含马尔可夫模型" （HiddenMarkovModel） 来解决这些问题。以语音识别为例，当我们观测到语音信号o1,o2,o3时，要根据这组信号推测出发送的句子s1,s2,s3。显然，人们应该在所有可能的句子中找最有可能性的一个。用数学语言来描述，就是在已知o1,o2,o3,...的情况下，求使得条件概率
P(s1,s2,s3,...|o1,o2,o3....)达到最大值的那个句子s1,s2,s3,...
当然，上面的概率不容易直接求出，于是人们可以间接地计算它。利用贝叶斯公式并且省掉一个常数项，可以把上述公式等价变换成
P(o1,o2,o3,...|s1,s2,s3....)*P(s1,s2,s3,...)
其中
P(o1,o2,o3,...|s1,s2,s3....)表示某句话s1,s2,s3...被读成o1,o2,o3,...的可能性,而
P(s1,s2,s3,...)表示字串s1,s2,s3,...本身能够成为一个合乎情理的句子的可能性，所以这个公式的意义是用发送信号为s1,s2,s3...这个数列的可能性乘以s1,s2,s3...本身可以一个句子的可能性，得出概率。
（读者读到这里也许会问，你现在是不是把问题变得更复杂了，因为公式越写越长了。别着急，就来简化这个问题。）人们们在这里做两个假设：
第一，s1,s2,s3,...是一个马尔可夫链，也就是说，si只由si-1决定(详见系列一)；
第二，第i时刻的接收信号oi只由发送信号si决定（又称为独立输出假设,即P(o1,o2,o3,...|s1,s2,s3....)=P(o1|s1)*P(o2|s2)*P(o3|s3)...。
那么人们就可以很容易利用算法Viterbi找出上面式子的最大值，进而找出要识别的句子s1,s2,s3,...。
满足上述两个假设的模型就叫隐含马尔可夫模型。我们之所以用“隐含”这个词，是因为状态s1,s2,s3,...是无法直接观测到的。
隐含马尔可夫模型的应用远不只在语音识别中。在上面的公式中，如果我们把s1,s2,s3,...当成中文，把o1,o2,o3,...当成对应的英文，那么人们就能利用这个模型解决机器翻译问题；如果我们把o1,o2,o3,...当成扫描文字得到的图像特征，就能利用这个模型解决印刷体和手写体的识别。
P(o1,o2,o3,...|s1,s2,s3....)根据应用的不同而又不同的名称，在语音识别中它被称为“声学模型”(AcousticModel)，在机器翻译中是“翻译模型”(TranslationModel)而在拼写校正中是“纠错模型”(CorrectionModel)。而P(s1,s2,s3,...)就是我们在系列一中提到的语言模型。
在利用隐含马尔可夫模型解决语言处理问题前，先要进行模型的训练。常用的训练方法由伯姆（Baum）在60年代提出的，并以他的名字命名。隐含马尔可夫模型在处理语言问题早期的成功应用是语音识别。七十年代，当时IBM的FredJelinek(贾里尼克)和卡内基·梅隆大学的JimandJanetBaker(贝克夫妇，李开复的师兄师姐)分别独立地提出用隐含马尔可夫模型来识别语音，语音识别的错误率相比人工智能和模式匹配等方法降低了三倍(从30%到10%)。八十年代李开复博士坚持采用隐含马尔可夫模型的框架，成功地开发了世界上第一个大词汇量连续语音识别系统Sphinx。
马尔可夫模型的使用方法
它可以用来预测具有等时间隔（如一年）的时刻点上各类人员的分布状况。
它是根据历史数据，预测等时间间隔点上的各类人员分布状况。此方法的基本思想上根据过去人员变动的规律，推测未来人员变动的趋势。步骤如下：
①根据历史数据推算各类人员的转移率，迁出转移率的转移矩阵；
②统计作为初始时刻点的各类人员分布状况；
③建立马尔科夫模型，预测未来各类人员供给状况；
使用马尔科夫模型进行人力资源供给预测的关键是确定出人员转移率矩阵表，而在实际预测时，由于受各种因素的影响，人员转移率是很难准确确定出来的，往往都是一种大致的估计，因此会影响到预测结果的准确性。
c语言递归函数
递归函数：
编程语言中，函数Func(Type a,……)直接或间接调用函数本身，则该函数称为递归函数。递归函数不能定义为内联函数。
在数学上，关于递归函数的定义如下：对于某一函数f(x)，其定义域是集合A，那么若对于A集合中的某一个值X0，其函数值f(x0)由f(f(x0))决定，那么就称f(x)为递归函数。
函数介绍：
在数理逻辑和计算机科学中，递归函数或μ-递归函数是一类从自然数到自然数的函数，它是在某种直觉意义上是"可计算的" 。事实上，在可计算性理论中证明了递归函数精确的是图灵机的可计算函数。递归函数有关于原始递归函数，并且它们的归纳定义(见下)建造在原始递归函数之上。但是，不是所有递归函数都是原始递归函数 — 最著名的这种函数是阿克曼函数。
其他等价的函数类是λ-递归函数和马尔可夫算法可计算的函数。
例子：
//代码1
void func()
{
//...
if(...)
func();
else
//...
}
条件：
一个含直接或间接调用本函数语句的函数被称之为递归函数，在上面的例子中能够看出，它必须满足以下两个条件：
1） 在每一次调用自己时，必须是（在某种意义上）更接近于解；
2） 必须有一个终止处理或计算的准则。
梵塔的递归函数：
//C
void hanoi(int n,char x,char y,char z)
{
if(n==1)
move(x,1,z);
else
{
hanoi(n-1,x,z,y);
move(x,n,z);
hanoi(n-1,y,x,z);
}
}
