กระบวนการมาร์คอฟ

กระบวนการมาร์คอฟ (Markov process) หมายถึงกระบวนการเฟ้นสุ่มที่มีสมบัติมาร์คอฟ นั่นคือเป็นกระบวนการเฟ้นสุ่มที่สถานะในอนาคตถูกกำหนดโดยค่าปัจจุบันเท่านั้นโดยไม่เกี่ยวข้องกับสถานะในอดีต

กระบวนการดังกล่าวสามารถพบได้ในหลายกรณี เช่น ในสภาพความเป็นไปของปรากฏการณ์ทางกายภาพที่สามารถอธิบายได้ด้วยความน่าจะเป็นเท่านั้น สถานะในอนาคตของอนุภาคถูกกำหนดโดยสถานะปัจจุบันเท่านั้น แต่สมบัตินี้ยังส่งผลสืบเนื่องไปถึงสถานการณ์ที่จำนวนอนุภาคในระบบเพิ่มขึ้นและต้องมีการวิเคราะห์ทฤษฎีความน่าจะเป็นด้วย

กระบวนการนี้ตั้งชื่อตามนักคณิตศาสตร์ชาวรัสเซีย อันเดรย์ มาร์คอฟ

ประวัติศาสตร์

อันเดรย์ มาร์คอฟ ผู้เสนอแนวคิดกระบวนการมาร์คอฟ

อันเดรย์ มาร์คอฟได้เริ่มศึกษากระบวนการนี้ตั้งแต่ต้นศตวรรษที่ 20 และตีพิมพ์ผลงานของเขาเป็นครั้งแรกในปี 1906 กระบวนการมาร์คอฟแบบเวลาต่อเนื่องถูกค้นพบมานานแล้วตั้งแต่ก่อนงานนี้ในช่งต้นศตวรรษที่ 20 ในรูปของกระบวนการปัวซง มาร์คอฟได้ให้ความสนใจในการศึกษาเพิ่มเติมในส่วนของลำดับสุ่มอิสระ ซึ่งได้รับแรงบันดาลใจมาจากความจัดแย้งกับปาเวล เนคราซอฟ ซึ่งได้อ้างว่าความเป็นอิสระจำเป็นสำหรับกฎจำนวนมากอย่างอ่อน ในงานตีพิมพ์ครั้งแรกเรื่องลูกโซ่มาร์คอฟในปี 1906 มาร์คอฟได้แสดงว่าภายใต้เงื่อนไขที่แน่นอน ผลลัพธ์เฉลี่ยของลูกโซ่มาร์คอฟจะลู่เข้าสู่เวกเตอร์ที่มีค่าคงที่ ซึ่งได้เป็นการพิสูจน์กฎจำนวนมากอย่างอ่อนโดยไม่ต้องอาศัยสมมุติฐานความเป็นอิสระ หลังจากนั้นมาร์คอฟยังได้ใช้ลูกโซ่มาร์คอฟในการศึกษาการแจกแจงของสระในเยฟเกนี โอเนกิน ซึ่งเขียนโดยอะเลคซันดร์ พุชกิน พิสูจน์ทฤษฎีบทขีดจำกัดส่วนกลาง สำหรับห่วงโซ่มาร์คอฟ

การจำแนกประเภทของกระบวนการมาร์คอฟ

กระบวนการมาร์คอฟอาจจำแนกเป็นแบบต่าง ๆ ได้ดังนี้

กระบวนการมาร์คอฟอย่างง่าย

เป็นกระบวนการมาร์คอฟที่เหตุการณ์ถัดไปถูกกำหนดจากสถานะเดียว โดยทั่วไปเมื่อพูดถึงกระบวนการมาร์คอฟ มักหมายถึงกระบวนการมาร์คอฟอย่างง่าย

กระบวนการมาร์คอฟขั้น N

เป็นกระบวนการมาร์คอฟซึ่งเหตุการณ์ถัดไปถูกกำหนดจากชุดของสถานะ N ที่ต่อเนื่องกัน กระบวนการมาร์คอฟลำดับ N ใด ๆ สามารถแสดงเป็นกระบวนการมาร์คอฟแบบง่าย (กระบวนการมาร์คอฟขั้น 1) โดยการสร้างปริภูมิสถานะใหม่ด้วยชุดของทั้ง N สถานะ

กระบวนการมาร์คอฟเวลาไม่ต่อเนื่อง

เป็นกระบวนการมาร์คอฟที่พารามิเตอร์เวลาเคลื่อนไปในเซตแบบไม่ต่อเนื่อง โดยปกติแล้วเขียนเซตของเวลาในรูปของ T = {1, 2, 3, …}

กระบวนการมาร์คอฟเวลาต่อเนื่อง

เป็นกระบวนการที่ตรงกันข้ามกับแบบต่อเนื่อง คือเป็นกระบวนการมาร์คอฟบนเซตเวลาต่อเนื่อง เช่น T = [0, ∞)

กระบวนการมาร์คอฟไม่ต่อเนื่อง

เป็นกระบวนการมาร์คอฟที่มีปริภูมิสถานะเป็นเซตไม่ต่อเนื่อง กระบวนการแบบนี้มักเรียกอีกอย่างว่า ลูกโซ่มาร์คอฟ

กระบวนการมาร์คอฟต่อเนื่อง

เป็นกระบวนการมาร์คอฟในกรณีที่วิถีของกระบวนการมีความต่อเนื่องตามเวลาต่อเนื่องกันตามเวลา

กระบวนการมาร์คอฟเวลาเอกพันธุ์

เป็นกระบวนการมาร์คอฟซึ่งความน่าจะเป็นในการเปลี่ยนสถานะคงที่โดยไม่คำนึงถึงเวลาปัจจุบัน

ความน่าจะเป็นเปลี่ยนสถานะของกระบวนการมาร์คอฟ

การแจกแจงของกระบวนการมาร์คอฟที่ปรากฏตามปกติสามารถกำหนดได้จากความน่าจะเป็นเปลี่ยนสถานะ ความน่าจะเป็นเปลี่ยนสถานะของกระบวนการมาร์คอฟ X_t หมายถึงความน่าจะเป็น P(s, t; x, Y) ที่ถ้าเริ่มจากจุด x ในปริภูมิสถานะที่เวลา s แล้วจะเข้าสู่เซต Y บนปริภูมิสถานะที่เวลา t>s นิยามได้เป็น

$P(s,t;x,Y)=P(X_t\in Y|X_s=x)$

ในกรณีของกระบวนการมาร์คอฟแบบไม่ต่อเนื่อง แค่ความน่าจะเป็นเปลี่ยนสถานะของกรณี t = s + 1 ก็เพียงพอ และความน่าจะเป็นเปลี่ยนสถานะสำหรับช่วงเวลาอื่นก็สามารถคำนวณได้โดยใช้สมการแชปแมน–คอลโมโกรอฟ ในกรณีแบบเวลาเอกพันธุ์นั้น แค่มี s = 0 ก็เพียงพอแล้ว และความน่าจะเป็นเปลี่ยนสถานะในเวลาอื่นก็อาจคำนวณได้โดย P ( s, t ; x, Y ) = P (0, t - s ; x, Y )

นอกจากนี้ ในกรณีของกระบวนการมาร์คอฟแบบไม่ต่อเนื่อง แค่ใช้เพียงหนึ่งจุด y ในพื้นที่สถานะแทน Y ก็ก็เพียงพอแล้ว ซึ่งในกรณีนี้ความน่าจะเป็นเปลี่ยนสถานะจะกลายเป็นเมทริกซ์

สมการแชปแมน–คอลโมโกรอฟ

สมการแชปแมน–คอลโมโกรอฟเป็นสมการที่แสดงความสัมพันธ์ระหว่างความน่าจะเป็นเปลี่ยนสถานะในระหว่าง 3 ช่วงเวลา ให้เวลาเป็น s < t < u แล้วจะได้ว่า

$P(s,u;x,Z)=\int P(t,u;y,Z)P(s,t;x,dy)$

กล่าวคือ ความน่าจะเป็นที่จะออกจาก x ในเวลา s แล้วเข้าสู่ Z ณ เวลา u นั้นคำนวณโดยการแบ่งกรณีโดยดูว่าอยู่ไหนที่เวลา t ซึ่งอยู่ระหว่างทาง