ดูต้นฉบับสำหรับ ไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์

 '''ไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์''' (Kullback–Leibler divergence) หรือเรียกย่อว่า '''ไดเวอร์เจนซ์เคแอล''' (KL divergence) เป็นมาตรวัดความแตกต่างระหว่าง[[การแจกแจงความน่าจะเป็น]] 2 ครั้ง

ค่านี้มีการใช้งานใน[[ทฤษฎีความน่าจะเป็น]] และ [[ทฤษฎีสารสนเทศ]] และมีชื่อเรียกอื่นอีกหลายชื่อ เช่น

* '''ไดเวอร์เจนซ์ข้อมูล''' (information divergence)
* '''ไดเวอร์เจนซ์ไอ''' (I divergence)<ref name=Csiszar>{{cite journal|last1=Csiszar|first1=I|title=I-Divergence Geometry of Probability Distributions and Minimization Problems|journal=Ann. Probab.|volume=3|issue=1|pages=146–158|date=February 1975|doi=10.1214/aop/1176996454|doi-access=free}}</ref>
* '''อัตราการขยายข้อมูล''' (information gain)
* '''เอนโทรปีสัมพัทธ์''' (relative entropy)

นอกจากนี้ยังมีชื่อเรียกว่า '''ระยะทางคัลแบ็ก–ไลบ์เลอร์''' ด้วย อย่างไรก็ตาม หน่วยวัดนี้ไม่เป็นไปตามนิยามความหมายของ[[ระยะทาง]] ดังนั้นจึงไม่ใช่ระยะทางจริงในแง่คณิตศาสตร์

ในการใช้งานจริง มักจะทำการคำนวณไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์สำหรับการแจกแจงความน่าจะเป็น "ที่แท้จริง" {{Mvar|P}} และการแจกแจงความน่าจะเป็นอื่นๆ {{Mvar|Q}} ตัวอย่างเช่นให้ {{Mvar|P}} เป็นข้อมูล, ค่าที่สังเกตได้, การแจกแจงความน่าจะเป็นที่คำนวณได้อย่างแม่นยำ ฯลฯ ส่วน {{Mvar|Q}} เป็นค่าทางทฤษฎี ค่าแบบจำลอง ค่าที่ทำนายของ {{Mvar|P}} เป็นต้น

แนวคิดนี้ถูกใช้ครั้งแรกในปี 1951 โดย โซโลมอน คัลแบ็ก ([[:en:Solomon_Kullback|Solomon Kullback]]) และ ริชาร์ด ไลบ์เลอร์ ([[:en:Richard_Leibler|Richard Leibler]]) เพื่อพิจารณาความแตกต่างระหว่างการแจกแจง 2 แบบ แนวคิดนี้แตกต่างจาก [[ไดเวอร์เจนซ์]] ใน[[แคลคูลัสเวกเตอร์|การวิเคราะห์เวกเตอร์]]

ไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์ไม่เพียงแต่ถูกนิยามสำหรับ[[การแจกแจงแบบไม่ต่อเนื่อง]]เท่านั้น แต่ยังรวมถึง[[การแจกแจงแบบต่อเนื่อง]]ด้วย และไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์สำหรับการแจกแจงแบบต่อเนื่องจะไม่เปลี่ยนค่าไปเนื่องจากการแปลงตัวแปร ดังนั้นจึงอาจกล่าวได้ว่าเป็นมูลฐานมากกว่าปริมาณอื่นๆ ในทฤษฎีสารสนเทศ เช่น [[เอนโทรปีของข้อมูล]] ซึ่งไม่ได้นิยามไว้ในส่วนที่เกี่ยวกับความน่าจะเป็นแบบไม่ต่อเนื่อง และยังเปลี่ยนแปลงไปเมื่อมีการแปลงตัวแปร

== คำนิยาม ==
ให้ {{Mvar|P}} และ {{Mvar|Q}} มีการแจกแจงแบบไม่ต่อเนื่องค่าไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์สำหรับ {{Mvar|P}} และ {{Mvar|Q}} จะนิยามได้ดังนี้

: <math>D_{\mathrm{KL}}(P\|Q)
= \sum_i P(i) \log \frac{P(i)}{Q(i)}
= \mathbb{E}_P \left[ \log \frac{P(i)}{Q(i)} \right]
</math>

โดยที่ {{Math|''P''(''i'')}} และ {{Math|''Q''(''i'')}} คือความน่าจะเป็นที่ค่าของตัวแปรสุ่มตามการแจกแจงความน่าจะเป็น {{Mvar|P}} และ {{Mvar|Q}} จะเป็น {{Mvar|i}} ตามลำดับ

ส่วนในกรณีที่ {{Mvar|P}} และ {{Mvar|Q}} เป็นการแจกแจงความน่าจะเป็นแบบต่อเนื่อง จะนิยามดังนี้

: <math>D_{\mathrm{KL}}(P\|Q)
= \int_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)} \; dx
= \mathbb{E}_P \left[ \log \frac{p(x)}{q(x)} \right]</math>

ในที่นี้ {{Mvar|p}} และ {{Mvar|q}} เป็น[[ฟังก์ชันความหนาแน่นของความน่าจะเป็น]]ของ {{Mvar|P}} และ {{Mvar|Q}} ตามลำดับ

หรือโดยทั่วไปแล้ว ในกรณีที่ {{Mvar|P}} กับ {{Mvar|Q}} เป็น [[หน่วยวัด]]ความน่าจะเป็นบนเซตที่วัดได้ {{Mvar|X}} และ {{Mvar|P}} กับ {{Mvar|Q}} มี [[ความต่อเนื่องสัมบูรณ์]]ต่อมาตรวัด {{Mvar|μ}} จะสามารถนิยามได้ว่า

: <math> D_{\mathrm{KL}}(P\|Q) = \int_X  \frac{dP}{d\mu} \log \frac{dP/d\mu}{dQ/d\mu} \;d\mu</math>

โดนในที่นี้ {{math|{{Sfrac|d''P''|d''μ''}}}} และ {{math|{{Sfrac|d''Q''|d''μ''}}}} เป็นค่า[[อนุพันธ์ราดอน–นีโกดิม]] (Radon–Nikodym derivative)

== อ้างอิง ==
{{รายการอ้างอิง}}


[[หมวดหมู่:สถิติศาสตร์]]
[[หมวดหมู่:ทฤษฎีสารสนเทศ]]
[[หมวดหมู่:ทฤษฎีความน่าจะเป็น]]