ดูต้นฉบับสำหรับ การฝังเพื่อนบ้านแบบเฟ้นสุ่มแจกแจง t

[[ไฟล์:T-SNE visualisation of word embeddings generated using 19th century literature.png|thumb|การใช้ t-SNE สำหรับ[[การฝังคำ]] เพื่อให้เห็นภาพการแจกแจงของคำ]]
{{Machine learning bar}}
[[ไฟล์:T-SNE Embedding of MNIST.png|thumb|ชุดข้อมูล [[MNIST]] ที่ทำการฝังให้อยู่ในสองมิติโดยใช้ t-SNE]]
'''การฝังเพื่อนบ้านแบบเฟ้นสุ่มแจกแจง t''' (t-distributed stochastic neighbor embedding, '''t-SNE''') เป็นวิธีการทางสถิติสำหรับการแสดงข้อมูล[[มิติ]]สูงด้วยการกำหนดตำแหน่งข้อมูลแต่ละจุดในแผนที่สองมิติหรือสามมิติ โดยมีพื้นฐานจากขั้นตอนวิธี[[การฝัง]]เพื่อนบ้านแบบเฟ้นสุ่มที่พัฒนาขึ้นครั้งแรกโดย[[เจฟฟรีย์ ฮินตัน]] และ แซม โรไวส์ (Sam Roweis)<ref name=SNE>{{cite conference|author1-last=Hinton|author1-first=Geoffrey| author2-last=Roweis|author2-first=Sam|conference=[[Neural Information Processing Systems]]|title=Stochastic neighbor embedding|date= January 2002 |url=https://cs.nyu.edu/~roweis/papers/sne_final.pdf}}</ref> แล้วได้รับการเสนอรูปแบบ[[การแจกแจงที]] โดย เลาเรินส์ ฟัน แดร์ มาเติน (Laurens van der Maaten) และฮินตัน<ref name="MaatenHinton">{{Cite journal|last=van der Maaten|first=L.J.P.|last2=Hinton, G.E.|date=Nov 2008|title=Visualizing Data Using t-SNE|url=http://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf|journal=Journal of Machine Learning Research|volume=9|pages=2579–2605}}</ref> วิธีนี้เป็น[[การลดมิติแบบไม่เชิงเส้น]] ซึ่งเหมาะสำหรับการฝังข้อมูลมิติสูงลงในพื้นที่มิติต่ำ (2 มิติ หรือ 3 มิติ) สำหรับการแสดงให้เห็นเป็นภาพ โดยเฉพาะอย่างยิ่ง เมื่อจัดเรียงชุดข้อมูลมิติสูงใน 2 หรือ 3 มิติ ชุดที่คล้ายกันจะสัมพันธ์กับความน่าจะเป็นสูงในบริเวณใกล้เคียง และชุดที่แตกต่างกันจะสัมพันธ์กันในบริเวณที่ห่างไกล

ขั้นตอนวิธี t-SNE โดยหลักแล้วประกอบด้วย 2 ขั้นตอน โดยขั้นแรก คือการสร้าง[[การแจกแจงความน่าจะเป็น]]เพื่อให้คู่ของข้อมูลมิติสูงแต่ละคู่มีแนวโน้มที่จะเลือกกลุ่มที่คล้ายกัน ในขณะที่ชุดที่แตกต่างจะมีความน่าจะเป็นที่จะอยู่กลุ่มเดียวกันน้อย ขั้นตอนต่อมาคือ กำหนดการแจกแจงความน่าจะเป็นที่คล้ายกันสำหรับเซตบนแผนที่มิติต่ำ และค้นหาตำแหน่งของจุดในแผนที่มิติต่ำที่จะลด[[ไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์]]ระหว่างการแจกแจงทั้งสองให้เหลือน้อยที่สุด ขั้นตอนวิธีดั้งเดิมใช้[[ระยะทางแบบยุคลิด]] เป็นการวัดความคล้ายคลึงกันระหว่างจุดสองจุด แต่จำเป็นต้องแก้ไขอย่างเหมาะสมตามความจำเป็น

t-SNE ถูกนำมาใช้เพื่อแสดงภาพในการใช้งานที่หลากหลาย รวมถึงการวิจัยด้าน[[ความมั่นคงคอมพิวเตอร์]]<ref>{{Cite journal|last=Gashi|first=I.|last2=Stankovic, V.|last3=Leita, C.|last4=Thonnard, O.|year=2009|title=An Experimental Study of Diversity with Off-the-shelf AntiVirus Engines|journal=Proceedings of the IEEE International Symposium on Network Computing and Applications|pages=4–11}}</ref> การวิเคราะห์ดนตรี<ref>{{Cite journal|last=Hamel|first=P.|last2=Eck, D.|year=2010|title=Learning Features from Music Audio with Deep Belief Networks|journal=Proceedings of the International Society for Music Information Retrieval Conference|pages=339–344}}</ref> การวิจัยมะเร็ง<ref>{{cite journal|last=Jamieson|first=A.R.|author2=Giger, M.L.|author3=Drukker, K.|author4=Lui, H.|author5=Yuan, Y.|author6=Bhooshan, N.|year=2010|title=Exploring Nonlinear Feature Space Dimension Reduction and Data Representation in Breast CADx with Laplacian Eigenmaps and t-SNE|journal=Medical Physics|volume=37|issue=1|pages=339–351|doi=10.1118/1.3267037|pmc=2807447|pmid=20175497}}</ref> [[ชีวสารสนเทศศาสตร์]]<ref>{{cite journal|last=Wallach|first=I.|author2=Liliean, R.|year=2009|title=The Protein-Small-Molecule Database, A Non-Redundant Structural Resource for the Analysis of Protein-Ligand Binding|journal=Bioinformatics|volume=25|issue=5|pages=615–620|doi=10.1093/bioinformatics/btp035|pmid=19153135}}</ref> และการประมวลผลสัญญาณทางชีวการแพทย์<ref>{{Cite book|last=Birjandtalab|first=J.|url=http://ieeexplore.ieee.org/lpdocs/epic03/wrapper.htm?arnumber=7455968|title=Nonlinear dimension reduction for EEG-based epileptic seizure detection|last2=Pouyan|first2=M. B.|last3=Nourani|first3=M.|date=2016-02-01|journal=2016 IEEE-EMBS International Conference on Biomedical and Health Informatics (BHI)|isbn=978-1-5090-2455-1|pages=595–598|doi=10.1109/BHI.2016.7455968}}</ref> นอกจากนี้ยังมักใช้เพื่อแสดงภาพตัวแทนระดับสูงที่เรียนรู้จาก[[โครงข่ายประสาทเทียม]]<ref>[https://colah.github.io/posts/2015-01-Visualizing-Representations/ ''Visualizing Representations: Deep Learning and Human Beings'' Christopher Olah's blog, 2015]</ref>

แม้ว่ามักจะมองเห็นกลุ่มก้อนได้ในแผนภาพ t-SNE แต่ก็จำเป็นต้องมีความเข้าใจที่ดีเกี่ยวกับพารามิเตอร์ t-SNE เนื่องจากกลุ่มก้อนที่มองเห็นอาจเปลี่ยนไปอย่างมากโดยขึ้นกับพารามิเตอร์ที่เลือก กลุ่มก้อนดังกล่าวยังสามารถปรากฏขึ้นมาได้จากข้อมูลที่ไม่ใช่กลุ่มก้อนจริง<ref>{{Cite web|last=|first=|date=|title=K-means clustering on the output of t-SNE|url=https://stats.stackexchange.com/a/264647|archive-url=|archive-date=|access-date=2019-04-06|website=Cross Validated}}</ref> นั่นคืออาจทำให้ได้กลุ่มก้อนปลอม ดังนั้นจึงอาจจำเป็นต้องค้นหาซ้ำโดยเลือกพารามิเตอร์และตรวจสอบผลลัพธ์ใหม่<ref>{{Cite journal|last=Pezzotti|first=Nicola|last2=Lelieveldt|first2=Boudewijn P. F.|last3=Maaten|first3=Laurens van der|last4=Hollt|first4=Thomas|last5=Eisemann|first5=Elmar|last6=Vilanova|first6=Anna|date=2017-07-01|title=Approximated and User Steerable tSNE for Progressive Visual Analytics|url=http://ieeexplore.ieee.org/document/7473883/|journal=IEEE Transactions on Visualization and Computer Graphics|language=en-US|volume=23|issue=7|pages=1739–1752|doi=10.1109/tvcg.2016.2570755|issn=1077-2626|pmid=28113434}}</ref><ref>{{cite web|last=Wattenberg|first=Martin|last2=Viégas|first2=Fernanda|last3=Johnson|first3=Ian|date=2016-10-13|title=How to Use t-SNE Effectively|url=https://distill.pub/2016/misread-tsne/|publisher=Distill|language=en|accessdate=2019-04-06}}</ref> t-SNE มักจะสามารถกู้คืนกลุ่มก้อนที่แยกจากกันได้ดี ได้มีการสาธิตให้เห็นถึงรูปแบบที่เรียบง่ายของรูปร่าง[[กลุ่มสเปกตรัม]]โดยการเลือกพารามิเตอร์พิเศษแล้ว<ref>{{Cite arXiv |arxiv=1706.02582 |class=cs.LG |first=George C. |last=Linderman |first2=Stefan |last2=Steinerberger |title=Clustering with t-SNE, provably |date=2017-06-08}}</ref>

== รายละเอียด ==
สมมุติว่ามีชุดข้อมูล <math>N</math> ตัวที่แสดงค่าหลายมิติ <math>\mathbf{x}_1, \dots, \mathbf{x}_N</math> วัตถุประสงค์ของเราคือแสดงชุดข้อมูลนี้ในรูปของ <math>\mathbf{y}_1, \dots, \mathbf{y}_N</math> ที่มีจำนวนมิติต่ำกว่าที่สามารถสะท้อนให้เห็นถึงลักษณะความคล้ายคลึงกันของชุดข้อมูลมิติสูง

พารามิเตอร์สำหรับ t-SNE ได้แก่ ค่าความงุนงง (perplexity) ของพารามิเตอร์ฟังก์ชันการสูญเสียและจำนวนการคำนวณวนซ้ำ <math>T</math> ของพารามิเตอร์การปรับให้เหมาะสม, อัตราการเรียนรู้ <math>\eta</math>, โมเมนตัม <math>\alpha(t)</math> ฟัน แดร์ มาเติน ได้อธิบายไว้ว่าสมรรถนะของ t-SNE ไม่ค่อยขึ้นกับค่าความงุนงง โดยค่าความงุนงงที่เหมาะสมที่สุดนั้นต่างกันไปขึ้นอยู่กับข้อมูลที่ใช้ แต่โดยทั่วไปจะอยู่ระหว่าง 5 ถึง 50

ขั้นแรก เราคำนวณความคล้ายคลึงกันของแต่ละคู่สำหรับชุดข้อมูลมิติสูง ฟัน แดร์ มาเติน และ ฮินตัน ได้อธิบายว่า "ถ้าเลือกจุดข้อมูล <math>x_j</math> โดยอิงตาม <math>x_i</math> ให้เป็นสัดส่วนกับการแจกแจงความหนาแน่นความน่าจะเป็น[[การแจกแจงปรกติ|แบบปรกติ]]ที่มีใจกลางอยู่ที่ <math>x_i</math> แล้ว ความคล้ายคลึงกันระหว่าง <math>x_j</math> กับ <math>x_i</math> จะแสดงได้เป็น[[ความน่าจะเป็นมีเงื่อนไข]] <math>p_{j|i}</math>"<ref name="MaatenHinton">{{Cite journal|last=van der Maaten|first=L.J.P.|last2=Hinton, G.E.|date=Nov 2008|title=Visualizing Data Using t-SNE|url=http://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf|journal=Journal of Machine Learning Research|volume=9|pages=2579–2605}}</ref>

: <math>p_{j\mid i} = \frac{\exp(-\lVert\mathbf{x}_i - \mathbf{x}_j\rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i} \exp(-\lVert\mathbf{x}_i - \mathbf{x}_k\rVert^2 / 2\sigma_i^2)},</math>

โดยสำหรับจุดเดียวกันจะได้ว่า <math>p_{i\mid i}=0</math>

<math>\sigma_i</math> คือค่าเบี่ยงเบนของการแจกแจงปรกติ ซึ่งอาจหาได้โดย[[วิธีแบ่งครึ่ง]] เป็นไปตามความสัมพันธ์ความงุนงงดังต่อไปนี้

: <math>Perp(P_i) =2^{H(P_i)}</math>
: <math>H(P_i)=-\sum_j p_{j\mid i} \log_{2} p_{j\mid i} </math>

ในที่นี้ <math>H(P_i)</math> คือ[[เอนโทรปีของข้อมูล]] หากกระจุกกันอยู่อย่างหนาแน่นในพื้นที่แคบแล้ว <math>\sigma_i</math> จะเป็นค่าที่มีขนาดเล็ก

จากนั้น[ความน่าจะเป็นร่วม]] <math>p_{ij}</math> คำนวณได้โดยใช้สูตรต่อไปนี้

: <math>p_{ij} = \frac{p_{j\mid i} + p_{i\mid j}}{2N}</math>

โดยในกรณี <math> i = j </math> จะกลายเป็น 0 (นั่นคือ <math>p_{ii} = 0 </math>)

ให้ผลเฉลยตั้งต้น <math>Y^{(0)}</math> ได้จากการสุ่มตัวอย่างของการแจกแจงแบบเกาส์เซียนที่มีค่าเฉลี่ยเป็น 0

สุดท้าย ให้ทำซ้ำ T ครั้ง หาผลเฉลย <math>Y^{(T)}</math> ในขั้นตอนต่อไปตั้งแต่ขั้น t=1 ถึง t=T

คำนวณความคล้ายคลึงมิติต่ำสำหรับ <math>Y^{(t-1)}</math> ซึ่งเป็ผลเฉลยที่ t-1  

ความน่าจะเป็นร่วมโดยใช้[[การแจกแจงที]] ([[การแจกแจงโคชี]]) โดยมีองศาเสรีเป็น 1

: <math>q_{ij} = \frac{(1 + \lVert \mathbf{y}_i - \mathbf{y}_j\rVert^2)^{-1}}{\sum_{k \neq l} (1 + \lVert \mathbf{y}_k - \mathbf{y}_l\rVert^2)^{-1}}</math>

อย่างไรก็ตาม จะให้ค่าเป็น 0 สำหรับคู่ที่มีจุดเดียวกัน <math> q_{ii} = 0 </math>

ให้[[ไดเวอร์เจนซ์คัลแบ็ก–ไลบ์เลอร์]]สำหรับการแจกแจง P ของ <math>p_{ij}</math> และการแจกแจง Q ของ <math>q_{ij}</math> เป็นฟังก์ชันเป้าหมาย แล้วหาผลเฉลย <math>Y^{(t)}</math> ที่ทำให้มีค่าต่ำที่สุด

: <math>KL(P||Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}</math>

คำนวณความชันของฟังก์ชันเป้าหมายสำหรับแต่ละ i

: <math>\frac{\delta C}{\delta y_{i}}= 4 \sum_{j} (p_{ij} -q_{ij})(y_i -y_j) (1+\lVert y_i - y_j \rVert^2 )^{-1} </math>

ความชันของฟังก์ชันเป้าหมายและคำนวณหาผลเฉลย <math>Y^{(t)}</math> ลำดับที่ t จากคำตอบก่อนหน้า

: <math>Y^{(t)}=Y^{(t-1)}+\eta \frac{\delta C}{\delta Y} + \alpha (t) \left( Y^{(t-1)} - Y^{(t-2)} \right) </math>

การแสดงผลเฉลย <math>Y^{(T)}</math> ด้วยภาพทำให้สามารถเข้าใจกลุ่มของชุดข้อมูลที่มีมิติสูงได้

== ข้อเสีย ==
* ยังไม่ชัดเจนว่าจะดำเนินการลดมิติทั่วไปอย่างไร
* มีสมบัติที่ค่อนข้างเป็นเฉพาะที่ทำให้มีความอ่อนไหวต่อ[[คำสาปของมิติ]]ข้อมูลโดยธรรมชาติ
** ฟังก์ชันเกาส์เซียนใช้ระยะทางแบบยุคลิด <math>\lVert x_i-x_j \rVert</math> จึงได้รับผลจากคำสาปของมิติ และสูญเสียความสามารถในการแยกแยะข้อมูลตามระยะทางสำหรับมิติสูง <math>p_{ij}</math> จะกลายเป็นมีค่าเกือบเท่ากัน เพื่อบรรเทาปัญหานี้ จึงได้มีการเสนอวิธีการที่ระยะห่างจะถูกปรับโดยการแปลงกำลังตามขนาดเฉพาะของแต่ละจุด <ref>{{Cite conference|last=Schubert|first=Erich|last2=Gertz|first2=Michael|date=2017-10-04|title=Intrinsic t-Stochastic Neighbor Embedding for Visualization and Outlier Detection|conference=SISAP 2017 – 10th International Conference on Similarity Search and Applications|pages=188–203|doi=10.1007/978-3-319-68474-1_13}}</ref>
* ไม่รับประกันว่าฟังก์ชันเป้าหมาย t จะลู่เข้าที่ค่าต่ำสุดวงกว้าง
** แม้ว่าจะมีพารามิเตอร์และขั้นตอนวิธีเหมือนกัน ก็อาจได้ผลเฉลยที่แตกต่างกัน

== อ้างอิง ==
{{รายการอ้างอิง}}

[[หมวดหมู่:การวิเคราะห์ข้อมูล]]
[[หมวดหมู่:การเรียนรู้ของเครื่อง]]
[[หมวดหมู่:การลดมิติ]]