การถดถอยโลจิสติก

การถดถอยโลจิสติก (logistic regression) เป็นรูปแบบหนึ่งของแบบจำลองการวิเคราะห์การถดถอยสำหรับตัวแปรที่เป็นไปตามการแจกแจงแบร์นุลลี นอกจากนี้ยังเป็นตัวแบบเชิงเส้นนัยทั่วไป ประเภทหนึ่งที่ใช้ลอจิตเป็นฟังก์ชันถ่ายโอน ตีพิมพ์โดยเดวิด ค็อกซ์ ในปี 1958 เป็นวิธีการวิเคราะห์การถดถอยแบบหนึ่งที่มักใช้การจำแนกประเภทข้อมูลในทางสถิติศาสตร์

แบบจำลองนี้เทียบเท่ากับเพอร์เซปตรอนแบบง่ายซึ่งได้ตีพิมพ์ในปี 1958 ด้วย อย่างไรก็ตาม ในไลบรารีการเรียนรู้ของเครื่อง เช่น scikit-learn ฯลฯ แบบจำลองที่ใช้การเคลื่อนลงตามความชันแบบเฟ้นสุ่มในการกำหนดพารามิเตอร์ในปัญหาการหาค่าเหมาะที่สุดจะถูกเรียกว่า "เพอร์เซปตรอน" ในขณะที่แบบจำลองที่ใช้ การสืบสายพิกัด หรือ วิธีการนิวตันเสมือน จึงจะถูกเรียกว่า "การถดถอยโลจิสติก"

ภาพรวม

ให้ x เป็นข้อมุลป้อนเข้า p เป็นความน่าจะเป็น (ค่าขาออก) และ α และ β เป็นพารามิเตอร์ แบบจำลองการถดถอยโลจิสติกจะแสดงได้ดังต่อไปนี้

$\mathrm{logit}(p_i)=\ln \left(\frac{p_i}{1-p_i}\right)=\alpha +{\beta }_1{x}_{1,i}+\cdots +{\beta }_k{x}_{k,i},$
$i=1,\dots ,n,$

ในที่นี้มี n หน่วยและความแปรปรวนร่วม X และความสัมพันธ์เป็นดังนี้

$p_i=E(Y|X_i)=\mathrm{Pr}(Y_i=1).$

ลอการิทึมของอัตราส่วนออดส์ของผลลัพธ์ จำลองเป็นฟังก์ชันเชิงเส้นของตัวแปรอธิบาย X _i สามารถแสดงได้ดังนี้

$p_i=\mathrm{Pr}(Y_i=1|X)=\frac{1}{1+e^{-(\alpha +{\beta }_1{x}_{1,i}+\cdots +{\beta }_k{x}_{k,i})}}$เมื่อใช้สัญลักษณ์เพอร์เซพตรอนอย่างง่าย สมการข้างต้นสามารถแสดงได้ดังต่อไปนี้

$p_i={\varsigma }_1(\alpha +{\beta }_1{x}_{1,i}+\cdots +{\beta }_k{x}_{k,i})$

โดยในที่นี้ ${\varsigma }_1$ เป็นฟังก์ชันซิกมอยด์มาตรฐาน

การประมาณค่าพารามิเตอร์ส่งผลอย่างมากต่ออัตราส่วนออดส์ สำหรับตัวแปรอธิบายที่เป็นได้ 2 ค่า เช่น เพศ แล้ว $e^{\beta }$ เช่น การประมาณอัตราส่วนออดส์ของผลลัพธ์สำหรับชายและหญิง ในการประมาณค่ามักใช้วิธีภาวะน่าจะเป็นสูงสุด