ดูต้นฉบับสำหรับ แบบจำลองแบบแพร่

'''แบบจำลองแบบแพร่''' (diffusion model) หรือ '''แบบจำลองความน่าจะเป็นแบบแพร่''' (diffusion probability model) ในสาขา[[การเรียนรู้ของเครื่อง]] คือ[[แบบจำลองตัวแปรแฝง]]ประเภทหนึ่ง เป็น[[ลูกโซ่มาร์คอฟ]]ที่ได้รับการฝึกโดยใช้วิธีแบบเบส์แบบแปรผัน<ref name=":0">{{Cite journal|last=Ho|first=Jonathan|last2=Jain|first2=Ajay|last3=Abbeel|first3=Pieter|date=19 June 2020|title=Denoising Diffusion Probabilistic Models|arxiv=2006.11239}}</ref> เป้าหมายของแบบจำลองแบบแพร่คือการเรียนรู้โครงสร้างแฝงของชุดข้อมูลโดยการสร้างแบบจำลองพฤติกรรมของจุดข้อมูลแต่ละจุดที่แจกแจงในปริภูมิแฝง ในสาขา[[คอมพิวเตอร์วิทัศน์]] ได้มีการใช้แบบจำลองแบบแพร่สร้าง[[โครงข่ายประสาทเทียม]] ซึ่งฝึกให้เรียนรู้ที่จะย้อนกลับกระบวนการการแพร่เพื่อ[[การลดสัญญาณรบกวน]]ออกจากภาพที่ถูกทำให้เบลอด้วย[[สัญญาณรบกวนแบบเกาส์]]<ref name=":1">{{Cite arXiv |arxiv=2011.13456 |class=cs.LG |first=Yang |last=Song |first2=Jascha |last2=Sohl-Dickstein |title=Score-Based Generative Modeling through Stochastic Differential Equations |date=2021-02-10}}</ref><ref>{{Cite arXiv |arxiv=2111.14822 |class=cs.CV |first=Shuyang |last=Gu |first2=Dong |last2=Chen |title=Vector Quantized Diffusion Model for Text-to-Image Synthesis |date=2021}}</ref>

แบบจำลองแบบแพร่ได้รับการคิดค้นขึ้นมาในปี 2015 โดยได้รับแรงบันดาลใจจาก[[อุณหพลศาสตร์]]แบบไม่สมดุล<ref>{{Cite journal|last=Sohl-Dickstein|first=Jascha|last2=Weiss|first2=Eric|last3=Maheswaranathan|first3=Niru|last4=Ganguli|first4=Surya|date=2015-06-01|title=Deep Unsupervised Learning using Nonequilibrium Thermodynamics|url=http://proceedings.mlr.press/v37/sohl-dickstein15.pdf|journal=Proceedings of the 32nd International Conference on Machine Learning|language=en|publisher=PMLR|volume=37|pages=2256–2265}}</ref><ref>{{Cite web|title=Introduction to Image Generation - Introduction to Image Generation|url=https://www.coursera.org/lecture/introduction-to-image-generation/introduction-to-image-generation-geDgG|access-date=2023-11-12|website=Coursera|language=ja}}</ref>

แบบจำลองแบบแพร่สามารถนำไปใช้กับการดำเนินการต่าง ๆ เช่น การลดสัญญาณรบกวนของภาพ, การซ่อมแซมภาพ, การเพิ่ม[[ความละเอียดภาพ]] การสร้างภาพ และ[[การบีบอัดข้อมูล]] ตัวอย่างเช่น แบบจำลองการสร้างภาพสามารถสร้างภาพที่ดูเป็นธรรมชาติขึ้นมาใหม่ได้จากการใช้ภาพสัญญาณรบกวนแบบสุ่มเป็นค่าเริ่มต้น แล้วเรียนรู้กระบวนที่ตรงกันข้ามกับการแพร่ของภาพธรรมชาติ

ตัวอย่างการประยุกต์ใช้แบบจำลองแบบแพร่ที่มีชื่อเสียง ได้แก่ ตัวแบบสำหรับสร้างภาพจากข้อความ เช่น [[DALL-E]] 2 ของ[[โอเพนเอไอ]] และ [[สเตเบิลดิฟฟิวชัน]] เป็นต้น DALL-E 2 ใช้แบบจำลองแบบแพร่สำหรับทั้งการแจกแจงก่อนของแบบจำลองสร้างภาพ และตัวถอดรหัสสำหรับการสร้างภาพขั้นสุดท้าย<ref>{{Cite arXiv |arxiv=2204.06125 |class=cs.CV |first=Aditya |last=Ramesh |first2=Prafulla |last2=Dhariwal |title=Hierarchical Text-Conditional Image Generation with CLIP Latents |date=2022}}</ref>{{Sfn|岡野原|2023}} [[การบีบอัดข้อมูล]]โดยใช้แบบจำลองแบบแพร่มีข้อดีตรงที่ไม่ต้องเข้ารหัส และมีประสิทธิภาพสูงกว่าวิธีการบีบอัดประสิทธิภาพสูงสุดแบบดั้งเดิม{{Sfn|岡野原|2023}}

== หลักการทางคณิตศาสตร์ ==

=== การสร้างภาพ ===
พิจารณาปัญหาการสร้างภาพ โดยให้ <math>x </math> เป็น[[รูปภาพ]] และ[[ฟังก์ชันความหนาแน่นความน่าจะเป็น]]บนปริภูมิรูปภาพคือ <math>p(x)</math> ถ้ารู้ <math>p(x)</math> ก็จะสามารถระบุ[[ความน่าจะเป็น]]ที่ภาพแต่ละชนิดจะถูกสร้างขึ้นได้ แต่โดยทั่วไปแล้ว เป็นการยากที่จะทราบความน่าจะเป็นนั้น

ในกรณีส่วนใหญ่ เราไม่สนใจความน่าจะเป็นเฉพาะที่ภาพหนึ่ง ๆ จะถูกสร้างขึ้น แต่ที่สนใจกว่าก็คือว่า ภาพนั้นมีแนวโน้มที่จะถูกสร้างขึ้นมากเพียงใดเมื่อเทียบกับภาพใกล้เคียง ตัวอย่างเช่น หากมีรูปภาพแมวที่มีหนวด 2 หนวด ปัญหาคือภาพนั้นมีแนวโน้มที่จะถูกสร้างขึ้นแค่ไหนเมื่อเทียบกับภาพที่คล้ายกัน เช่น รูปภาพแมวที่มีหนวด 3 หนวด หรือรูปภาพที่ถูกเติม[[สัญญาณรบกวนแบบเกาส์]]เข้าไป

ดังนั้นเป้าหมายที่สนใจไม่ใช่ตัว <math>p(x)</math> นั้นเอง แต่เป็น <math>\nabla_x \ln p(x)</math> การพิจารณาแบบนี้มีข้อดีคือ

* ประการแรก <math>p(x)</math> ไม่จำเป็นต้อง[[ทำให้เป็นมาตรฐาน]] แต่ใช้ในรูป <math>\tilde p(x) = Cp(x)</math> ได้ ในที่นี่ <math>C = \int \tilde p(x) dx > 0</math> เป็นค่าคงที่ตามที่ต้องการ และค่าที่แน่ชัดจะไม่มีผลต่อการคำนวณ
* ประการที่สอง สามารถเปรียบเทียบ <math>p(x)</math> กับความน่าจะเป็นของภาพใกล้เคียง <math>p(x + dx)</math> ในรูป <math>\frac{p(x)}{p(x+dx)} =e^{-\langle \nabla_x \ln p, dx \rangle}</math> ได้

ให้ฟังก์ชันคะแนนเป็น <math>s(x) := \nabla_x \ln p(x)</math> แล้ว <math>s(x)</math> จะสามารถสุ่มตัวอย่างจาก <math>p(x)</math> โดยใช้พลศาสตร์อนุญาตให้สุ่มตัวอย่างโดยใช้[[พลศาสตร์ล็องฌ์แว็งความชันแบบเฟ้นสุ่ม]] (stochastic gradient Langevin dynamics) นี่เป็นรูปแบบที่เล็กที่สุดของ[[วิธีมอนเตการ์โลลูกโซ่มาร์คอฟ]]<ref name=":1"/>

== รูปแบบต่าง ๆ ==

=== การชี้นำโดยตัวจำแนก (classifier guidance) ===
แทนที่จะสุ่มตัวอย่างจากกลุ่มของรูปภาพทั้งหมด เราสามารถพิจารณาสุ่มเอาตัวอย่างแค่จากช่วงขอบเขตที่กำหนดโดยคำอธิบายภาพ เช่น แทนที่จะดึงออกมาจากกลุ่มรูปภาพทั่วไป ให้ดึงมาเฉพาะภาพที่สอดคล้องกับคำอธิบายว่า "[[แมว]][[สีดำ]][[ตา]][[สีแดง]]" เป็นต้น โดยทั่วไปแล้วนี่จะเป็นการสุ่มตัวอย่างบนการแจกแจง <math>p(x|y)</math>  ในที่นี้รูปภาพ <math>x</math> จะได้มาจากช่วงของภาพทั้งหมด ในขณะที่ขอบเขตของรูปภาพ <math>y</math> จะถูกจำกัดอยู่ที่รูปภาพจำเพาะประเภท

จากมุมมองของแบบจำลองช่องสัญญาณที่มี[[สัญญาณรบกวน]] กระบวนการนี้สามารถเข้าใจได้ดังนี้ เมื่อต้องการจะสร้างภาพ <math>x</math> ภายใต้เงื่อนไขตามคำอธิบาย <math>y</math> ผู้ที่ต้องการสร้างภาพจะสร้างภาพขึ้นมานั้น จริง ๆ แล้วกำลังวาดภาพ <math>x</math> อยู่ แต่เนื่องจากว่าภาพนั้นผ่านช่องสัญญาณที่มีสัญญาณรบกวน จึงเกิดการผิดเพี้ยนของตัวอักษร จนจินตนาการไปว่าได้รับสัญญาณเป็นคำอธิบาย <math>y</math> ในกรณีนี้ การสร้างภาพในที่นี้เป็นแค่การทำนายภาพ <math>x</math> ที่ถูกจินตนาการไว้แต่แรกโดยบุคคลที่ต้องการสร้างภาพนั้น

กล่าวอีกนัยหนึ่ง การสร้างภาพแบบมีเงื่อนไขนั้นเป็นเพียงการแปลภาษาที่อธิบายด้วยข้อความให้กลายเป็นภาษาที่อธิบายด้วยภาพ ดังนั้น เช่นเดียวกับแบบจำลองช่องสัญญาณที่มีสัญญาณรบกวน เราสามารถใช้[[ทฤษฎีบทของเบส์]]ได้ว่า

<math display="block">p(x|y) \propto p(y|x)p(x) </math>

นั่นคือหากมีแบบจำลองที่ดีสำหรับปริภูมิรูปภาพทั้งหมด (<math>p(x)</math>) และตัวแปลคุณภาพสูงสำหรับแปลง "รูปภาพ → ประเภท" (<math>p(y|x)</math>) นั่นหมายความว่าเราสามารถจะได้ตัวแปล "ประเภท → รูปภาพ" ได้โดยไม่ต้องลำบากนัก

[[พลศาสตร์ล็องฌ์แว็งความชันแบบเฟ้นสุ่ม]]ใช้สมการต่อไปนี้

<math display="block">\nabla_x \ln p(x|y) = \nabla_x \ln p(y|x) + \nabla_x \ln p(x) </math>

ในที่นี้ <math>\nabla_x \ln p(x)</math> คือฟังก์ชันคะแนนที่เรียนรู้ตามที่อธิบายไว้ข้างต้น โดย <math>\nabla_x \ln p(y|x)</math> ได้มาจากการใช้ตัวจำแนกรูปภาพที่หา[[อนุพันธ์]]ได้

=== การชี้นำโดยไร้ตัวจำแนก (classifier-free guidance, CFG) ===
แม้ในกรณีที่ไม่มีตัวจำแนก <math>p(y|x)</math> ก็สามารถสกัดเอาตัวจำแนกจากตัวแบบจำลองรูปภาพเองได้ดังนี้<ref>{{Cite arXiv |arxiv=2207.12598 |class=cs.LG |first=Jonathan |last=Ho |first2=Tim |last2=Salimans |title=Classifier-Free Diffusion Guidance |date=2022-07-25}}</ref>

<math display="block">\nabla_x \ln p_\beta(x|y) = (1-\beta) \nabla_x \ln p(x) + \beta \nabla_x \ln p(x|y) </math>

แบบจำลองดังกล่าวนั้นมักจะฝึกสอนโดยป้อนให้ทั้ง <math>(x, y)</math> และ <math>(x, None)</math> แล้วสร้างแบบจำลอง <math>\nabla_x\ln p(x|y)</math> และ <math>\nabla_x\ln p(x)</math> ขึ้นพร้อมกัน

CFG ได้กลายเป็นส่วนสำคัญที่ขาดไม่ได้สำหรับแบบจำลองต่าง ๆ เช่น [[GLIDE]]<ref>{{Cite arXiv |arxiv=2112.10741 |class=cs.CV |first=Alex |last=Nichol |first2=Prafulla |last2=Dhariwal |title=GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models |date=2022-03-08}}</ref>, [[DALL-E]]<ref>{{Cite arXiv |arxiv=2204.06125 |class=cs.CV |first=Aditya |last=Ramesh |first2=Prafulla |last2=Dhariwal |title=Hierarchical Text-Conditional Image Generation with CLIP Latents |date=2022-04-12}}</ref> และ [[Google Imagen]]<ref>{{Cite arXiv |arxiv=2205.11487 |class=cs.CV |first=Chitwan |last=Saharia |first2=William |last2=Chan |title=Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding |date=2022-05-23}}</ref>

== อ้างอิง ==
{{รายการอ้างอิง}}

[[หมวดหมู่:ขั้นตอนวิธีการเรียนรู้ของเครื่อง]]