ไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์

 ไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์ (Kullback–Leibler divergence) หรือเรียกย่อว่า ไดเวอร์เจนซ์เคแอล (KL divergence) เป็นมาตรวัดความแตกต่างระหว่างการแจกแจงความน่าจะเป็น 2 ครั้ง

ค่านี้มีการใช้งานในทฤษฎีความน่าจะเป็น และ ทฤษฎีสารสนเทศ และมีชื่อเรียกอื่นอีกหลายชื่อ เช่น

• ไดเวอร์เจนซ์ข้อมูล (information divergence)
• ไดเวอร์เจนซ์ไอ (I divergence)
• อัตราการขยายข้อมูล (information gain)
• เอนโทรปีสัมพัทธ์ (relative entropy)

นอกจากนี้ยังมีชื่อเรียกว่า ระยะทางคัลแบ็ก–ไลบ์เลอร์ ด้วย อย่างไรก็ตาม หน่วยวัดนี้ไม่เป็นไปตามนิยามความหมายของระยะทาง ดังนั้นจึงไม่ใช่ระยะทางจริงในแง่คณิตศาสตร์

ในการใช้งานจริง มักจะทำการคำนวณไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์สำหรับการแจกแจงความน่าจะเป็น "ที่แท้จริง" แม่แบบ:Mvar และการแจกแจงความน่าจะเป็นอื่นๆ แม่แบบ:Mvar ตัวอย่างเช่นให้ แม่แบบ:Mvar เป็นข้อมูล, ค่าที่สังเกตได้, การแจกแจงความน่าจะเป็นที่คำนวณได้อย่างแม่นยำ ฯลฯ ส่วน แม่แบบ:Mvar เป็นค่าทางทฤษฎี ค่าแบบจำลอง ค่าที่ทำนายของ แม่แบบ:Mvar เป็นต้น

แนวคิดนี้ถูกใช้ครั้งแรกในปี 1951 โดย โซโลมอน คัลแบ็ก (Solomon Kullback) และ ริชาร์ด ไลบ์เลอร์ (Richard Leibler) เพื่อพิจารณาความแตกต่างระหว่างการแจกแจง 2 แบบ แนวคิดนี้แตกต่างจาก ไดเวอร์เจนซ์ ในการวิเคราะห์เวกเตอร์

ไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์ไม่เพียงแต่ถูกนิยามสำหรับการแจกแจงแบบไม่ต่อเนื่องเท่านั้น แต่ยังรวมถึงการแจกแจงแบบต่อเนื่องด้วย และไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์สำหรับการแจกแจงแบบต่อเนื่องจะไม่เปลี่ยนค่าไปเนื่องจากการแปลงตัวแปร ดังนั้นจึงอาจกล่าวได้ว่าเป็นมูลฐานมากกว่าปริมาณอื่นๆ ในทฤษฎีสารสนเทศ เช่น เอนโทรปีของข้อมูล ซึ่งไม่ได้นิยามไว้ในส่วนที่เกี่ยวกับความน่าจะเป็นแบบไม่ต่อเนื่อง และยังเปลี่ยนแปลงไปเมื่อมีการแปลงตัวแปร

คำนิยาม

ให้ แม่แบบ:Mvar และ แม่แบบ:Mvar มีการแจกแจงแบบไม่ต่อเนื่องค่าไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์สำหรับ แม่แบบ:Mvar และ แม่แบบ:Mvar จะนิยามได้ดังนี้

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\sum _{i}P(i)\log \frac{P(i)}{Q(i)}={𝔼}_P[\log \frac{P(i)}{Q(i)}]$

โดยที่ แม่แบบ:Math และ แม่แบบ:Math คือความน่าจะเป็นที่ค่าของตัวแปรสุ่มตามการแจกแจงความน่าจะเป็น แม่แบบ:Mvar และ แม่แบบ:Mvar จะเป็น แม่แบบ:Mvar ตามลำดับ

ส่วนในกรณีที่ แม่แบบ:Mvar และ แม่แบบ:Mvar เป็นการแจกแจงความน่าจะเป็นแบบต่อเนื่อง จะนิยามดังนี้

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}p(x)\log \frac{p(x)}{q(x)}dx={𝔼}_P[\log \frac{p(x)}{q(x)}]$

ในที่นี้ แม่แบบ:Mvar และ แม่แบบ:Mvar เป็นฟังก์ชันความหนาแน่นของความน่าจะเป็นของ แม่แบบ:Mvar และ แม่แบบ:Mvar ตามลำดับ

หรือโดยทั่วไปแล้ว ในกรณีที่ แม่แบบ:Mvar กับ แม่แบบ:Mvar เป็น หน่วยวัดความน่าจะเป็นบนเซตที่วัดได้ แม่แบบ:Mvar และ แม่แบบ:Mvar กับ แม่แบบ:Mvar มี ความต่อเนื่องสัมบูรณ์ต่อมาตรวัด แม่แบบ:Mvar จะสามารถนิยามได้ว่า

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\underset{X}{\int }\frac{dP}{d\mu }\log \frac{dP/d\mu }{dQ/d\mu }d\mu$

โดนในที่นี้ แม่แบบ:Math และ แม่แบบ:Math เป็นค่าอนุพันธ์ราดอน–นีโกดิม (Radon–Nikodym derivative)