Fêrbûna kûr

Fêrbûna kûr
Qad:	Jîriya çêkirî
Binşax:	Fêrbûna makîneyan
Rêbazên sereke:	Backpropagation, Gradient descent

Fêrbûna kûr (bi îngilîzî: Deep learning an DL), şaxekî fêrbûna makîneyan e ku li ser torên neuralî yên pirtebeqe disekine, ji bo pêkanîna karên wekê dabeşandin, regresyon û fêrbûna temsîlî^[1] hatine bikaranîn. Ev qad îlhama xwe ji zanista demarên biyolojîk werdigire û li ser lihevkirina neuronên çêkirî yên di nava tebeqeyan de û perwerdekirina wan ji bo pêvajokirina daneyan ava bûye^[1].

Peyva "kûr" behsa bikaranîna gelek tebeqeyan (ji sêyan heta bi sedan an hezaran) di nava torê de dike^[1]. Rêbazên ku di vê fêrbûnê de têne bikaranîn dikarin biçavdêrî, nîv-biçavdêrî an jî bêçavdêrî bin^[1].

Dîrok

Bingehên fêrbûna kûr di salên 1940î de bi modelên neuronên çêkirî dest pê kirine. Lê pêşketina sereke di salên 2000 û 2010î de bi pêşveçûna GPU û zêdebûna daneyan çêbûye. Di sala 2012an de AlexNet di pêşbaziya ImageNet de serkeftinek mezin bi dest xist û fêrbûna kûr li seranserê cîhanê belav bûye.^[2]

Yann LeCun û hevalên wî di sala 1989an de modela LeNet ji bo naskirina kodên ZIP pêş xistine.^[3] Di sala 2014an de sîstema torên dijber ên hilberîner (GAN) hatine destnîşan kirin.^[4] Ji ber beşdariya wan ya girîng di pêşvebirina fêrbûna kûr de, di sala 2018an de Yoshua Bengio, Geoffrey Hinton û Yann LeCun Xelata Turing wergirtine.

Prensîba kar

Fêrbûna kûr hiyerarşiyeke tebeqeyan bi kar tîne da ku daneyên têketinê hêdî hêdî veguherîne nûnertiyeke razber û hevedudanî. Bo nimûne di modelekî naskirina wêneyan de, daneya xav a têketinê wekê sînîyeke piksels tê hesibandin. Pêvajoya naskirinê bi vî rengî diherike:

Tebeqeya yekem hewl dide şêweyên bingehîn mîna xet û dorûberan nas bike.
Tebeqeya duyem rêzkirina van xetan kod dike.
Tebeqeya sêyem poz an çavan kod dike.
Tebeqeya çarem bi tevahî nas dike ku di wêneyê de rûyekî mirovî heye.

Derxistina taybetmendiyan

Beriya serdema fêrbûna kûr, teknîkên fêrbûna makîneyan neçar bûn ku endandazyariya taybetmendiyan bi destan bikin. Di fêrbûna kûr de, taybetmendî ne bi destan têne çêkirin; model bixwe bi awayekî xweser û bixweber taybetmendiyên bikêrhatî ji nava daneyan derdixe^[5].

Bingehên teorîk

Torên neuralî yên kûr bi gelemperî di çarçoveya teorema nêzîkbûna gerdûnî de têne şirovekirin^[6]. George Cybenko di sala 1989an de vê îspatê ji bo fonksiyonên sîgmoîd weşandiye û Kurt Hornik di sala 1991ê de ew ji bo binyadên pirtebeqe giştî kiriye.^[7]

Fêrkirin

Torên fêrbûna kûr bi rêbaza backpropagation û gradient descent têne fêrkirin. Di vê pêvajoyê de giraniya girêdanan bi awayekî xweser û dubare têne guhertin da ku şaşî kêm bibe.

Pirsgirêkên fêrkirinê

Zêde-fêrbûn: Ji ber asta bilind a razberiyê, model mêldar in ku hûrgiliyên pir kêmpeyda yên di daneyên perwerdeyê de ji ber bikin. Ji bo pêşîgirtina li vê, rêbaza avetan û zêdekirina daneyan têne bikaranîn^[8].
Alavên kompûterî: Perwerdekirina van toran pêdivî bi çavkaniyên mezin ên mîna yekeyên GPU an yekeyên pêvajoya tensor (TPU) heye.

Cihê fêrbûna kûr di nava fêrbûna makîneyan û jîriya çêkirî de.

Avaniyên torê

Hinek ji binyadên herî gelemperî yên torên fêrbûna kûr ev in:

Torên bi temamî girêdayî
Torên neuralî yên dubarebûyî
Torên neuralî yên konvolusyonî
Torên dijber ên hilberîner
Torên baweriyê yên kûr
Qadên tîrêjiya neuralî
Kodkerên xweser
Transformer

Transformer

Transformer binyadeke neuralî ye ku di sala 2017an de ji hêla Vaswani û hevalên wî ve hate pêşkêşkirin^[9]. Ev binyad bingeha piraniya modelên zimanî yên mezin ên nûjen e (wekî nimûne sîstemên ChatGPT, Gemini an Claude).

Sepan

Naskirina deng: Sîstemên naskirina dengan bixweber fêrbûna kûr bi kar tînin da ku dengê mirovan fêm bikin û pêvajokirinê bikin.
Dîtina kompûterî: Di naskirina rû, tespîtkirina şêweyan û sêwirandina kamerayên hişmend de tê bikaranîn.
Pêvajoya zimanê xwezayî: Ji bo fêmkirina zimanê mirovan, robotên bersivdar û modelên zimanî yên mezin tê bikaranîn.
Wergera makîneyan: Sîstemên wergerê yên pêşketî fêrbûna kûr bi kar tînin da ku gotar û hevokan bi herikbarî wergerînin zimanên cuda.
Bioinformatî: Sîstema AlphaFold ji bo pêşbînîkirina avahiya proteînan û fêmkirina kodên genetîk tê bikaranîn.
Dermançêkirin: Di qada bijîşkiyê de ji bo analîzkirina vîrusan û dîtina pêkhateyên kîmyewî yên dermanên nû tê bikaranîn.

Rexne û kêmasî

Tevî serkeftina xwe ya mezin, fêrbûna kûr bi hinek rexne û astengiyên bingehîn re rû bi rû ye:

Pirsgirêka qutiya reş: Sîstemên fêrbûna kûr pir tevlihev in; ji ber vê yekê mirov bi hêsanî fêm nake ka algorîtmê li gorî kîjan pîvanan û çawa biryarek dawî daye.
Mezaxtina enerjiyê: Perwerdekirina modelên mezin pêdivî bi hêzeke pir mezin a elektrîkê û serverên hêzdar heye, ku ev yek lêçûnek mezin û zirarên ekolojîk tîne.
Pêdiviya daneyên mezin: Ji bo ku model rast û bêşehreza bixebitin, bi milyonan daneyên etîketkirî yên rast hewce ne.
Alîgirî û pêşdarazî: Eger daneyên ku tor pê tê perwerdekirin alîgir bin, model bixwe jî di encaman de biryarên alîgir, çewt û pêşdaraz dide.

Binêre

Jîriya çêkirî

Çavkanî

^ ^a ^b ^c ^d LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444.
^ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E (2012). "ImageNet Classification with Deep Convolutional Neural Networks". Advances in Neural Information Processing Systems. 25.
^ LeCun, Y.; Boser, B.; Denker, J. S. (1989). "Backpropagation Applied to Handwritten Zip Code Recognition". Neural Computation.
^ Goodfellow, Ian; Bengio, Yoshua (2014). "Generative Adversarial Networks". Advances in Neural Information Processing Systems (NIPS). rr. 2672–2680.
^ Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence.
^ Cybenko, G. (kanûna pêşîn 1989). "Approximation by superpositions of a sigmoidal function". Mathematics of Control, Signals, and Systems. 2.
^ Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks.
^ Dahl, G. (2013). "Improving DNNs for LVCSR using rectified linear units and dropout". ICASSP.
^ Vaswani, Ashish (2017). "Attention Is All You Need". Advances in Neural Information Processing Systems (NIPS). rr. 5998–6008.

[NatureBengio-1] LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444.

[2] Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E (2012). "ImageNet Classification with Deep Convolutional Neural Networks". Advances in Neural Information Processing Systems. 25.

[3] LeCun, Y.; Boser, B.; Denker, J. S. (1989). "Backpropagation Applied to Handwritten Zip Code Recognition". Neural Computation.

[4] Goodfellow, Ian; Bengio, Yoshua (2014). "Generative Adversarial Networks". Advances in Neural Information Processing Systems (NIPS). rr. 2672–2680.

[5] Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence.

[6] Cybenko, G. (kanûna pêşîn 1989). "Approximation by superpositions of a sigmoidal function". Mathematics of Control, Signals, and Systems. 2.

[7] Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks.

[8] Dahl, G. (2013). "Improving DNNs for LVCSR using rectified linear units and dropout". ICASSP.

[9] Vaswani, Ashish (2017). "Attention Is All You Need". Advances in Neural Information Processing Systems (NIPS). rr. 5998–6008.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]