Shih burimin për Mësimi i thellë (Deep learning)

[[Skeda:Deep Learning.jpg|alt=Representing images on multiple layers of abstraction in deep learning|parapamje| Reprezentimi i imazheve në shtresa të shumta të abstraksionit në mësimin e thellë <ref>{{Cite journal |last=Schulz |first=Hannes |last2=Behnke |first2=Sven |date=1 nëntor 2012 |title=Deep Learning |url=https://www.semanticscholar.org/paper/51a80649d16a38d41dbd20472deb3bc9b61b59a0 |journal=KI – Künstliche Intelligenz |language=en |volume=26 |issue=4 |pages=357–363 |doi=10.1007/s13218-012-0198-z |issn=1610-1987}}</ref>]]
'''Mësimi i thellë (ang. Deep Learning)''' është një nëngrup i [[Mësimi makinerik|mësimit të makinerive]] që fokusohet në përdorimin e rrjeteve nervore për të kryer detyra të tilla si klasifikimi, regresioni dhe mësimi i përfaqësimit. Fusha merr frymëzim nga [[neuroshkenca]] biologjike dhe përqendrohet rreth grumbullimit të neuroneve artificiale në shtresa dhe "trajnimit" të tyre për të përpunuar të dhënat. Mbiemri "thellë" i referohet arkitekturës së rrjetit, e cila përfshin përdorimin e shtresave të shumta, që variojnë nga tre deri në disa qindra apo mijëra shtresa. Metodat e mësimit të aplikuarë mund të jenë të mbikëqyrura, gjysmë të mbikëqyrura ose të pambikëqyrura, në varësi të natyrës së detyrës dhe të dhënave në dispozicion.<ref name="NatureBengio">{{Cite journal |last=LeCun |first=Yann |last2=Bengio |first2=Yoshua |last3=Hinton |first3=Geoffrey |year=2015 |title=Deep Learning |url=https://hal.science/hal-04206682/file/Lecun2015.pdf |journal=Nature |language=en |volume=521 |issue=7553 |pages=436–444 |bibcode=2015Natur.521..436L |doi=10.1038/nature14539 |pmid=26017442}}</ref>

Disa struktura të zakonshme të rrjeteve në mësimin e thellë përfshijnë [[Topologjia e rrjetit|rrjete plotësisht të lidhura]], rrjete të besimi të thellë, rrjete nervore periodike, rrjete nervore konvolucionale, rrjete kundërshtare gjeneruese, transformatorë dhe fusha nervore të rrezatimit, të cilat përfaqësojnë arkitektura të ndryshme të rrjeteve nervore me aplikime specifike dhe të fuqishme në të mësuarit e makinerive. Këto arkitektura janë aplikuar në fusha duke përfshirë [[Vizioni kompjuterik|vizionin kompjuterik]], njohjen e të folurit, [[Përpunimi i gjuhës natyrore|përpunimin e gjuhës natyrore]], [[Përkthimi makinerik|përkthimin me makinë]], [[Bioinformatika|bioinformatikën]], dizajnin e ilaçeve, analizën e imazheve mjekësore, [[Klimatologjia|shkencën e klimës]], Metodat e të mësuarit të thellë janë aplikuar në inspektimin e materialeve dhe në programet e lojërave me tabela, ku ato kanë arritur rezultate ku në disa raste tejkalojnë, performancën e ekspertëve njerëzorë.<ref name=":9">{{Cite book |last=Ciresan |first=D. |title=2012 IEEE Conference on Computer Vision and Pattern Recognition |last2=Meier |first2=U. |last3=Schmidhuber |first3=J. |year=2012 |isbn=978-1-4673-1228-8 |pages=3642–3649 |language=en |chapter=Multi-column deep neural networks for image classification |doi=10.1109/cvpr.2012.6248110}}</ref><ref name="krizhevsky2012">{{Cite journal |last=Krizhevsky |first=Alex |last2=Sutskever |first2=Ilya |last3=Hinton |first3=Geoffrey |date=2012 |title=ImageNet Classification with Deep Convolutional Neural Networks |url=https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf |url-status=live |journal=NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada |language=en |archive-url=https://web.archive.org/web/20170110123024/http://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf |archive-date=2017-01-10 |access-date=2017-05-24}}</ref><ref>{{Cite web |date=25 maj 2017 |title=Google's AlphaGo AI wins three-match series against the world's best Go player |url=https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/ |url-status=live |archive-url=https://web.archive.org/web/20180617065807/https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/ |archive-date=17 qershor 2018 |access-date=17 qershor 2018 |website=TechCrunch |language=en}}</ref>

Format e hershme të rrjeteve nervore ishin të frymëzuara nga mënyra se si sistemi biologjik, veçanërisht truri i njeriut, përpunon informacionin dhe organizon nyjet e komunikimit. Megjithatë, rrjetet nervore moderne nuk kanë për qëllim të imitojnë funksionimin e trurit të organizmave dhe shpesh konsiderohen modele me saktësi të kufizuar për këtë qëllim.<ref>{{Cite web |date=2022-11-02 |title=Study urges caution when comparing neural networks to the brain |url=https://news.mit.edu/2022/neural-networks-brain-function-1102 |access-date=2023-12-06 |website=MIT News {{!}} Massachusetts Institute of Technology |language=en}}</ref>

== Vështrim i përgjithshëm ==
Shumica e modeleve moderne të të mësuarit të thellë janë të ndërtuara mbi rrjete nervore me shumë shtresa, si rrjetet nervore konvolucionale dhe transformatorët. Përveç tyre, ato mund të përfshijnë formula propozuese ose variabla latente të organizuara sipas shtresave në modelet gjeneruese të thella, si nyjet në rrjetet e besimit të thellë dhe arkitektura të ngjashme si [[Makina Boltzmann|makina Boltzman]]<ref name="BENGIODEEP">{{Cite journal |last=Bengio |first=Yoshua |year=2009 |title=Learning Deep Architectures for AI |url=http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf |url-status=dead |journal=Foundations and Trends in Machine Learning |language=en |volume=2 |issue=1 |pages=1–127 |citeseerx=10.1.1.701.9550 |doi=10.1561/2200000006 |archive-url=https://web.archive.org/web/20160304084250/http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20(2009).pdf |archive-date=4 mars 2016 |access-date=3 shtator 2015}}</ref>

Në thelb, mësimi i thellë i referohet një klase të [[Algoritmi|algoritmeve]] [[Mësimi makinerik|të mësimit të makinerive]] në të cilat përdoret një hierarki shtresash për të transformuar të dhënat hyrëse në një paraqitje pak më abstrakte dhe të përbërë. Për shembull, në një model [[Vizioni kompjuterik|të njohjes së imazhit]], hyrja e papërpunuar mund të jetë një [[Imazhi|imazh]] (i përfaqësuar si një tensor [[Pikseli|pikselësh]] ). Shtresa e parë përfaqësuese në një rrjet nervor mund të identifikojë forma bazë, si vijat dhe rrathët. Shtresa e dytë mund të përpunojë dhe kodojë kombinime më komplekse të skajeve, ndërsa shtresa e tretë mund të përqendrohet në njohjen e tipareve specifike, si hunda dhe sytë. Më në fund, shtresa e katërt mund të interpretojë këto të dhëna për të përcaktuar se imazhi përmban një fytyrë.

Një aspekt i rëndësishëm i të mësuarit të thellë është aftësia për të përcaktuar në mënyrë optimale se cilat veçori duhen përzgjedhur në secilin nivel të modelit. Para zhvillimit të metodave të të mësuarit të thellë, teknikat tradicionale të mësimit të makinerive kërkonin krijimin manual të veçorive për të transformuar të dhënat në një format të përshtatshëm për algoritmet klasifikuese. Në të kundërt, qasja e të mësuarit të thellë zbulon automatikisht paraqitjet më të dobishme të veçorive direkt nga të dhënat, pa pasur nevojë për ndërhyrje manuale. Megjithatë, kjo qasje nuk eliminon plotësisht nevojën për akordim manual; për shembull, përcaktimi i numrit dhe madhësive të shtresave mund të ndikojë në nivelin e abstraksionit të arritur nga modeli.<ref name="BENGIO2012">{{Cite journal |last=Bengio |first=Y. |last2=Courville |first2=A. |last3=Vincent |first3=P. |year=2013 |title=Representation Learning: A Review and New Perspectives |journal=IEEE Transactions on Pattern Analysis and Machine Intelligence |language=en |volume=35 |issue=8 |pages=1798–1828 |arxiv=1206.5538 |doi=10.1109/tpami.2013.50 |pmid=23787338}}</ref><ref name="NatureBengio"/>
Termi "thellë" në "të mësuarit e thellë" i referohet numrit të shtresave që të dhënat kalojnë gjatë transformimit të tyre. Në mënyrë specifike, sistemet e të mësuarit të thellë karakterizohen nga një thellësi e madhe e rrugës së caktimit të kredisë (CAP), që përfaqëson zinxhirin e transformimeve midis hyrjes dhe daljes. CAP-të përshkruajnë lidhjet e mundshme që lidhin inputin me outputin. Për rrjetet nervore të tipit përpara, thellësia e CAP-ve përkon me numrin e shtresave të fshehura, plus një, duke përfshirë edhe shtresën e daljes që është gjithashtu e parametrizuar. Në rrjetet nervore të përsëritura, ku një sinjal mund të kalojë disa herë nëpër të njëjtën shtresë, thellësia e CAP-ve mund të jetë potencialisht më e madhe.<ref name="SCHIDHUB">{{Cite journal |last=Schmidhuber |first=J. |year=2015 |title=Deep Learning in Neural Networks: An Overview |journal=Neural Networks |language=en |volume=61 |pages=85–117 |arxiv=1404.7828 |doi=10.1016/j.neunet.2014.09.003 |pmid=25462637}}</ref> Nuk ka një prag të përcaktuar universalisht që ndan të mësuarit e cekët nga të mësuarit e thellë, por shumica e studiuesve janë të një mendimi se të mësuarit e thellë karakterizohet nga një thellësi CAP më e madhe se dy. Është provuar se një CAP me thellësi dy mund të shërbejë si përafrues universal, duke qenë i aftë të imitojë çdo funksion.<ref>{{Cite book |last=Shigeki |first=Sugiyama |url=https://books.google.com/books?id=9CqQDwAAQBAJ&pg=PA15 |title=Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities |date=12 prill 2019 |publisher=IGI Global |isbn=978-1-5225-8218-2 |language=en}}</ref> Përtej këtij niveli, shtimi i më shumë shtresave nuk përmirëson aftësinë e rrjetit për të përafruar funksionet. Megjithatë, modelet e thella (CAP > 2) kanë avantazhin e nxjerrjes së veçorive më cilësore krahasuar me modelet e cekëta, duke bërë që shtresat shtesë të kontribuojnë në mënyrë efektive në procesin e mësimit të veçorive.

Arkitekturat e të mësuarit të thellë mund të ndërtohen në mënyrë të kujdesshme, shtresë pas shtrese, duke lejuar një qasje të strukturuar në zhvillimin e modeleve. Të mësuarit e thellë ndihmon në zbërthimin e abstraksioneve komplekse dhe në identifikimin e veçorive që kontribuojnë më shumë në përmirësimin e performancës së modelit.<ref name="BENGIO2012"/>

Algoritmet e të mësuarit të thellë mund të përdoren për detyra të të mësuarit të pambikëqyrura, gjë që është një avantazh i madh duke pasur parasysh se të dhënat e paetiketuara janë zakonisht më të shumta dhe më të lehta për t'u aksesuar sesa të dhënat e etiketuara. Një shembull i strukturave të thella që mund të trajnohen në mënyrë të pambikëqyrur janë rrjetet e besimit të thellë, të cilat ofrojnë mundësi të fuqishme për nxjerrjen e veçorive dhe modelimin e të dhënave komplekse.<ref name="BENGIO2012"/>

Termi "Deep Learning" u prezantua për herë të parë në komunitetin e të mësuarit të makinerive nga Rina Dechter në vitin 1986, dhe më vonë në kontekstin e rrjeteve nervore artificiale nga Igor Aizenberg dhe kolegët e tij në vitin 2000, duke u fokusuar në neuronet e pragut Boolean.<ref name="MV_1">{{Cite book |last=Aizenberg, I.N. |url=https://link.springer.com/book/10.1007/978-1-4757-3115-6 |title=Multi-Valued and Universal Binary Neurons |last2=Aizenberg, N.N. |last3=Vandewalle, J. |date=2000 |publisher=Science & Business Media |isbn=978-0-7923-7824-2 |language=en |doi=10.1007/978-1-4757-3115-6 |access-date=27 dhjetor 2023}}</ref>  Edhe pse historia e paraqitjes së saj është me sa duket më e ndërlikuar.<ref>{{Cite journal |last=Fradkov |first=Alexander L. |date=2020-01-01 |title=Early History of Machine Learning |journal=IFAC-PapersOnLine |series=21st IFAC World Congress |language=en |volume=53 |issue=2 |pages=1385–1390 |doi=10.1016/j.ifacol.2020.12.1888 |issn=2405-8963 |doi-access=free}}</ref>

== Interpretimet ==
Rrjetet nervore të thella interpretohen përgjithësisht në termat e teoremës universale të përafrimit <ref name="cyb">{{Cite journal |last=Cybenko |year=1989 |title=Approximations by superpositions of sigmoidal functions |url=http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf |url-status=dead |journal=[[Mathematics of Control, Signals, and Systems]] |language=en |volume=2 |issue=4 |pages=303–314 |bibcode=1989MCSS....2..303C |doi=10.1007/bf02551274 |archive-url=https://web.archive.org/web/20151010204407/http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf |archive-date=10 tetor 2015}}</ref><ref name="horn">{{Cite journal |last=Hornik |first=Kurt |year=1991 |title=Approximation Capabilities of Multilayer Feedforward Networks |journal=Neural Networks |language=en |volume=4 |issue=2 |pages=251–257 |doi=10.1016/0893-6080(91)90009-t}}</ref><ref name="Haykin, Simon 1998">{{Cite book |last=Haykin |first=Simon S. |url={{google books |plainurl=y |id=bX4pAQAAMAAJ}} |title=Neural Networks: A Comprehensive Foundation |publisher=Prentice Hall |year=1999 |isbn=978-0-13-273350-2 |language=en}}</ref><ref name="Hassoun, M. 1995 p. 48">{{Cite book |last=Hassoun |first=Mohamad H. |url={{google books |plainurl=y |id=Otk32Y3QkxQC|page=48}} |title=Fundamentals of Artificial Neural Networks |publisher=MIT Press |year=1995 |isbn=978-0-262-08239-6 |page=48 |language=en}}</ref>  ose për funksione që lidhen me përfundime probabilistike, duke zgjeruar më tej zbatueshmërinë e teoremës në kontekste që përfshijnë interpretimin dhe modelimin probabilistik në rrjetet nervore.<ref>{{Cite journal |last=Orhan |first=A. E. |last2=Ma |first2=W. J. |date=2017 |title=Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback |journal=Nature Communications |language=en |volume=8 |issue=1 |pages=138 |bibcode=2017NatCo...8..138O |doi=10.1038/s41467-017-00181-8 |pmc=5527101 |pmid=28743932 |doi-access=free}}</ref><ref name="BOOK2014">{{Cite journal |last=Deng |first=L. |last2=Yu |first2=D. |year=2014 |title=Deep Learning: Methods and Applications |url=http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf |url-status=live |journal=Foundations and Trends in Signal Processing |language=en |volume=7 |issue=3–4 |pages=1–199 |doi=10.1561/2000000039 |archive-url=https://web.archive.org/web/20160314152112/http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf |archive-date=2016-03-14 |access-date=2014-10-18}}</ref><ref name="BENGIO2012"/><ref name="SCHIDHUB"/><ref name="MURPHY">{{Cite book |last=Murphy |first=Kevin P. |url={{google books |plainurl=y |id=NZP6AQAAQBAJ}} |title=Machine Learning: A Probabilistic Perspective |date=24 gusht 2012 |publisher=MIT Press |isbn=978-0-262-01802-9 |language=en}}</ref>

Teorema klasike e përafrimit universal përshkruan aftësinë e rrjeteve nervore me një shtresë të fshehur dhe një numër të fundmë njësish për të përafruar çdo funksion të vazhdueshëm me një saktësi të dëshiruar, duke e bërë atë një rezultat themelor në teorinë e rrjeteve nervore.<ref name="cyb"/><ref name="horn"/><ref name="Haykin, Simon 1998"/><ref name="Hassoun, M. 1995 p. 48"/> Në 1989, prova e parë u botua nga George Cybenko për funksionet e aktivizimit [[Funksioni sigmoid|të sigmoidit]] <ref name="cyb" /> dhe u gjeneralizua në arkitekturat me shumë shtresa në 1991 nga Kurt Hornik.<ref name="horn" /> Studime të fundit kanë treguar se teorema e përafrimit universal zbatohet gjithashtu për funksionet e aktivizimit të pakufishëm, si njësia lineare e korrigjuar (ReLU), e cila u propozua fillimisht nga Kunihiko Fukushima. Kjo zgjeron qëndrueshmërinë e teoremës për përdorimin e aktivizimeve moderne në rrjetet nervore.<ref name="Fukushima1969">{{Cite journal
 | last = Fukushima
 | first = K.
 | date = 1969
 | title = Visual feature extraction by a multilayered network of analog threshold elements
 | journal = IEEE Transactions on Systems Science and Cybernetics
 | volume = 5
 | issue = 4  | pages = 322–333  | doi = 10.1109/TSSC.1969.300225  | language = en }}</ref><ref name="sonoda17">{{Cite journal |last=Sonoda |first=Sho |last2=Murata |first2=Noboru |year=2017 |title=Neural network with unbounded activation functions is universal approximator |journal=Applied and Computational Harmonic Analysis |language=en |volume=43 |issue=2 |pages=233–268 |arxiv=1505.03654 |doi=10.1016/j.acha.2015.12.005}}</ref>

Teorema universale e përafrimit për [[Mësimi i thellë|rrjetet nervore të thella]] lidhet me kapacitetin e rrjeteve që kanë gjerësi të kufizuar, ndërsa thellësia mund të zgjerohet. Lu et al. [1] vërtetuan se një rrjet nervor i thellë me aktivizimin ReLU mund të përafrojë çdo [[Integrali i Lebegut|funksion të integrueshëm të Lebesgue]] nëse gjerësia e tij është rreptësisht më e madhe se dimensioni i hyrjes. Në të kundërt, nëse gjerësia është më e vogël ose baraz me dimensionin e hyrjes, rrjeti nuk është në gjendje të veprojë si një përafrues universal. Kjo thekson rëndësinë e balancimit midis gjerësisë dhe thellësisë për të arritur një kapacitet të lartë përafrimi. Për më tepër, shtimi i thellësisë lejon rrjetet të kapin struktura më komplekse dhe varësi hierarkike në të dhëna.

Interpretimi [[Probabiliteti|probabilistik]]<ref name="MURPHY"/> rrjedh nga fusha e [[Mësimi makinerik|mësimit të makinerive]] . Ai përmban konkluzionet,<ref name="BOOK2014"/><ref name="BENGIODEEP"/><ref name="BENGIO2012"/><ref name="SCHIDHUB"/><ref name="SCHOLARDBNS">{{Cite journal |last=Hinton |first=G.E. |year=2009 |title=Deep belief networks |journal=Scholarpedia |language=en |volume=4 |issue=5 |page=5947 |bibcode=2009SchpJ...4.5947H |doi=10.4249/scholarpedia.5947 |doi-access=free}}</ref><ref name="MURPHY" /> si dhe konceptet [[Optimizimi matematikor|e optimizimit]] të [[trajnimi]]t dhe [[Provimi|testimit]], të lidhura me përshtatjen dhe [[Gjeneralizimi|përgjithësimin]], përkatësisht. Më konkretisht, interpretimi probabilistik e konsideron jolinearitetin e aktivizimit si një [[Funksioni mbledhës i shpërndarjes|funksion të shpërndarjes kumulative]].<ref name="MURPHY" /> Interpretimi probabilistik luajti një rol të rëndësishëm në zhvillimin e metodave të rregullimit për rrjetet nervore, si braktisja (dropout), që ndihmon në parandalimin e mbipërshtatjes. Ky interpretim u prezantua nga studiues si Hopfield, Widrow dhe Narendra, dhe më vonë u popullarizua përmes punimeve dhe sondazheve gjithëpërfshirëse, si ai i Bishop.<ref name="prml">{{Cite book |last=Bishop, Christopher M. |url=http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf |title=Pattern Recognition and Machine Learning |publisher=Springer |year=2006 |isbn=978-0-387-31073-2 |language=en |access-date=2017-08-06 |archive-url=https://web.archive.org/web/20170111005101/http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf |archive-date=2017-01-11 |url-status=live}}</ref>

== Historia ==

=== Para vitit 1980 ===
Ekzistojnë dy lloje kryesore të rrjeteve nervore artificiale (ANN): rrjetet nervore të përshpejtuara (FNN), të njohura gjithashtu si [[Perceptroni shumështresor|perceptron shumështresor]] (MLP) dhe rrjetet nervore të përsëritura (RNN). Ndërsa FNN-të kanë një strukturë lidhjeje pa cikle, ku të dhënat rrjedhin në mënyrë të njëanshme nga hyrja te dalja, RNN-të përfshijnë cikle në strukturën e tyre, duke mundësuar përpunimin e të dhënave sekuenciale dhe ruajtjen e informacionit nëpër kohë. Në vitet 1920, Wilhelm Lenz dhe Ernst Ising krijuan modelin Ising <ref name="ising1925">{{Cite web |title=bibliotheca Augustana |url=https://www.hs-augsburg.de/~harsch/anglica/Chronology/20thC/Ising/isi_fm00.html |website=www.hs-augsburg.de |language=en}}</ref><ref name="brush67">{{Cite journal |last=Brush |first=Stephen G. |year=1967 |title=History of the Lenz-Ising Model |journal=Reviews of Modern Physics |language=en |volume=39 |issue=4 |pages=883–893 |bibcode=1967RvMP...39..883B |doi=10.1103/RevModPhys.39.883}}</ref> i cili në thelb është një arkitekturë RNN jo-mësimore e përbërë nga elementë të pragut të ngjashëm me neuronet. Në vitin 1972, Shun'ichi Amari e bëri këtë arkitekturë të adaptueshme.<ref name="Amari1972">{{Cite journal |last=Amari |first=Shun-Ichi |date=1972 |title=Learning patterns and pattern sequences by self-organizing nets of threshold elements |journal=IEEE Transactions |language=en |volume=C |issue=21 |pages=1197–1206}}</ref><ref name="DLhistory">{{Cite arXiv|title=Annotated History of Modern AI and Deep Learning}}</ref> RNN e tij mësimore u ribotua nga John Hopfield në 1982.<ref name="Hopfield1982">{{Cite journal |last=Hopfield |first=J. J. |date=1982 |title=Neural networks and physical systems with emergent collective computational abilities |journal=Proceedings of the National Academy of Sciences |language=en |volume=79 |issue=8 |pages=2554–2558 |bibcode=1982PNAS...79.2554H |doi=10.1073/pnas.79.8.2554 |pmc=346238 |pmid=6953413 |doi-access=free}}</ref> Rrjete të tjera nervore të hershme të përsëritura u publikuan nga Kaoru Nakano në 1971.<ref name="Nakano1971">{{Cite book |last=Nakano |first=Kaoru |title=Pattern Recognition and Machine Learning |date=1971 |isbn=978-1-4615-7568-9 |pages=172–186 |language=en |chapter=Learning Process in a Model of Associative Memory |doi=10.1007/978-1-4615-7566-5_15}}</ref><ref name="Nakano1972">{{Cite journal |last=Nakano |first=Kaoru |date=1972 |title=Associatron-A Model of Associative Memory |journal=IEEE Transactions on Systems, Man, and Cybernetics |language=en |volume=SMC-2 |issue=3 |pages=380–388 |doi=10.1109/TSMC.1972.4309133}}</ref> Tashmë në vitin 1948, [[Alan Turing]] prodhoi një punë mbi "Makineri inteligjente" që nuk u botua gjatë jetës së tij,<ref name="turing1948">{{Cite journal |last=Turing |first=Alan |date=1948 |title=Intelligent Machinery |journal=Unpublished (Later Published in Ince DC, Editor, Collected Works of AM Turing—Mechanical Intelligence, Elsevier Science Publishers, 1992) |language=en}}</ref> që përmbante "ide që lidhen me evolucionin artificial dhe të mësuarit e RNN".<ref name="DLhistory" />

Frank Rosenblatt (1958) [1] prezantoi perceptronin, një rrjet me shumë shtresa (MLP) i përbërë nga tre shtresa: një shtresë hyrëse, një shtresë e fshehur me pesha të rastësishme që nuk përditësoheshin gjatë mësimit, dhe një shtresë dalëse. Në vitin 1962, ai botoi një libër ku prezantoi variante të perceptronit dhe eksperimente kompjuterike, duke përfshirë një version me katër shtresa të quajtura "rrjete paraterminale adaptive," ku dy shtresat e fundit kishin pesha që mësoheshin. Në këtë punim, ai vlerësonte gjithashtu kontributin e HD Block dhe BW Knight.<ref name="rosenblatt1962">{{Cite book |last=Rosenblatt |first=Frank |title=Principles of Neurodynamics |publisher=Spartan, New York |year=1962 |language=en |author-link=Frank Rosenblatt}}</ref> {{Rp|section 16}}Libri citon një rrjet të mëparshëm nga RD Joseph (1960) <ref name="joseph1960">{{Cite book |last=Joseph |first=R. D. |title=Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo |year=1960 |language=en}}</ref> "funksionalisht ekuivalent me një variacion të" këtij sistemi me katër shtresa (libri përmend Jozefin mbi 30 herë). Prandaj, a mund të konsiderohet Jozefi krijuesi i perceptroneve adaptive shumështresore me njësitë e fshehura që mësojnë? Fatkeqësisht, algoritmi i propozuar për mësimin nuk ishte funksional dhe përfundoi duke u harruar.

Algoritmi i parë funksional për mësimin e thellë ishte '''metoda e grupit të trajtimit të të dhënave''' (Group Method of Data Handling – GMDH), e zhvilluar nga Alexey Ivakhnenko dhe Valentin Lapa në vitin 1965. Kjo metodë u përdor për të trajnuar rrjete nervore me një thellësi arbitrare dhe u konceptua si një formë e regresionit polinomial.<ref name="ivak1965">{{Cite book |last=Ivakhnenko |first=A. G. |url={{google books |plainurl=y |id=rGFgAAAAMAAJ}} |title=Cybernetics and Forecasting Techniques |last2=Lapa |first2=V. G. |publisher=American Elsevier Publishing Co. |year=1967 |isbn=978-0-444-00020-0 |language=en}}</ref> ose një përgjithësim të perceptronit të Rosenblatt.<ref>{{Cite journal |last=Ivakhnenko |first=A.G. |date=mars 1970 |title=Heuristic self-organization in problems of engineering cybernetics |url=https://linkinghub.elsevier.com/retrieve/pii/0005109870900920 |journal=Automatica |language=en |volume=6 |issue=2 |pages=207–219 |doi=10.1016/0005-1098(70)90092-0}}</ref> Një punim i vitit 1971 përshkroi një rrjet të thellë me tetë shtresa të trajnuar nga kjo metodë,<ref name="ivak1971">{{Cite journal |last=Ivakhnenko |first=Alexey |date=1971 |title=Polynomial theory of complex systems |url=http://gmdh.net/articles/history/polynomial.pdf |url-status=live |journal=IEEE Transactions on Systems, Man, and Cybernetics |language=en |volume=SMC-1 |issue=4 |pages=364–378 |doi=10.1109/TSMC.1971.4308320 |archive-url=https://web.archive.org/web/20170829230621/http://www.gmdh.net/articles/history/polynomial.pdf |archive-date=2017-08-29 |access-date=2019-11-05}}</ref> e cila bazohet në një proces trajnimi shtresë pas shtrese duke përdorur analizën e regresionit. Njësitë e fshehura të tepërta eliminohen duke u mbështetur në një grup të veçantë vërtetimi. Meqenëse funksionet e aktivizimit të nyjeve përfaqësohen nga polinomet Kolmogorov-Gabor, këto rrjete ishin gjithashtu të parat që përfshinin njësi shumëzuese ose "porta".

[[Perceptroni shumështresor|Perceptroni i parë shumështresor i]] të mësuarit të thellë i trajnuar nga [[zbritja stokastike e gradientit]] <ref name="robbins1951">{{Cite journal |last=Robbins |first=H. |author-link=Herbert Robbins |last2=Monro |first2=S. |year=1951 |title=A Stochastic Approximation Method |journal=The Annals of Mathematical Statistics |language=en |volume=22 |issue=3 |pages=400 |doi=10.1214/aoms/1177729586 |doi-access=free}}</ref> u publikua në vitin 1967, nga Shun'ichi Amari algoritmi kontribuoi në zhvillimin e mëtejshëm të metodave të mësimit të thellë, duke përfshirë konceptet e avancuara për trajnimin e rrjeteve nervore.<ref name="Amari1967">{{Cite journal |last=Amari |first=Shun'ichi |author-link=Shun'ichi Amari |date=1967 |title=A theory of adaptive pattern classifier |journal=IEEE Transactions |language=en |volume=EC |issue=16 |pages=279–307}}</ref> Në eksperimentet kompjuterike të kryera nga studenti i Amari, Saito, një MLP me pesë shtresa me dy shtresa të modifikueshme mësoi përfaqësime të brendshme për të klasifikuar klasat e modeleve jolinearisht të ndashme.  Zhvillimet e mëvonshme në akordimet harduerike dhe hiperparametrash e kanë bërë [[Zbritja stokastike e gradientit|zbritjen e gradientit stokastik]] nga fundi në fund teknikën dominuese të stërvitjes.

Në vitin 1969, Kunihiko Fukushima prezantoi një variant të funksionit të aktivizimit të njohur si ReLU (Rectified Linear Unit). Ky funksion, i cili është aktiv vetëm për vlera pozitive, u bë një komponent thelbësor në rrjetet nervore moderne, falë thjeshtësisë dhe efektivitetit të tij në trajnimet e thella.<ref name="Fukushima1969"/><ref name="DLhistory">{{Cite arXiv|title=Annotated History of Modern AI and Deep Learning}}</ref> Ndreqësi është bërë funksioni më i popullarizuar i aktivizimit për të mësuarit e thellë.<ref>Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (October 16, 2017). "Searching for Activation Functions". arXiv:1710.05941 [cs.NE].</ref>

Arkitekturat e të mësuarit të thellë për rrjetet nervore konvolucionale (CNN), të përbëra nga shtresa konvolucionale dhe shtresa për pakësimin e mostrave, filluan me '''Neocognitron''', i prezantuar nga Kunihiko Fukushima në vitin 1979. Megjithëse ishte një model novator, ai nuk përdorte përhapjen prapa për trajnim.<ref name="FUKU1979">{{Cite journal |last=Fukushima |first=K. |year=1979 |title=Neural network model for a mechanism of pattern recognition unaffected by shift in position—Neocognitron |journal=Trans. IECE (In Japanese) |language=en |volume=J62-A |issue=10 |pages=658–665 |doi=10.1007/bf00344251 |pmid=7370364}}</ref><ref name="FUKU1980">{{Cite journal |last=Fukushima |first=K. |year=1980 |title=Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position |journal=Biol. Cybern. |language=en |volume=36 |issue=4 |pages=193–202 |doi=10.1007/bf00344251 |pmid=7370364}}</ref>

Përhapja prapa është një aplikim efikas i rregullit të zinxhirit të nxjerrë nga [[Gotfrid Lajbnici|Gottfried Wilhelm Leibniz]] në 1673 <ref name="leibniz1676">{{Cite book |last=Leibniz |first=Gottfried Wilhelm Freiherr von |url=https://books.google.com/books?id=bOIGAAAAYAAJ&q=leibniz+altered+manuscripts&pg=PA90 |title=The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir) |date=1920 |publisher=Open court publishing Company |isbn=978-0-598-81846-1 |language=en}}</ref> në rrjetet e nyjeve të diferencueshme. Terminologjia '''"gabimet e përhapjes së prapme"''' u prezantua fillimisht nga Frank Rosenblatt në vitin 1962, duke përshkruar një proces të korrigjimit të gabimeve në rrjetet nervore. Megjithatë, metoda e plotë dhe efektive për përhapjen prapa si algoritëm trajnimi u zhvillua dhe u bë e njohur më vonë, në vitet 1980 <ref name="rosenblatt1962"/> por ai nuk dinte si ta zbatonte këtë, megjithëse Henry J. Kelley kishte një pararendës të vazhdueshëm të përhapjes së pasme në 1960 në kontekstin e [[Teoria e kontrollit|teorisë së kontrollit]].<ref name="kelley1960">{{Cite journal |last=Kelley |first=Henry J. |author-link=Henry J. Kelley |year=1960 |title=Gradient theory of optimal flight paths |url=https://archive.org/details/sim_american-rocket-society-ars-journal_1960-10_30_10/page/n27 |journal=ARS Journal |language=en |volume=30 |issue=10 |pages=947–954 |doi=10.2514/8.5282}}</ref> Forma moderne e algoritmit të '''përhapjes së pasme''' u paraqit për herë të parë në vitin 1970 në tezën e masterit të Seppo Linnainmaa. Ai prezantoi një metodë të përgjithshme për llogaritjen e derivatëve të funksioneve të përbëra, e njohur si '''diferencimi automatik''', që përbën bazën e algoritmit të përhapjes së pasme të përdorur sot në trajnimin e rrjeteve nervore.<ref name="lin19703">{{Cite thesis |first=Seppo |last=Linnainmaa |degree=Masters |title=The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors |language=fi |publisher=University of Helsinki}}</ref><ref name="lin19763">{{Cite journal |last=Linnainmaa |first=Seppo |author-link=Seppo Linnainmaa |year=1976 |title=Taylor expansion of the accumulated rounding error |journal=BIT Numerical Mathematics |language=en |volume=16 |issue=2 |pages=146–160 |doi=10.1007/bf01931367}}</ref>  GM Ostrovski etj. e ribotoi në vitin 1971.<ref name="backprop" /> Paul Werbos aplikoi përhapjen e pasme në rrjetet nervore në vitin 1982 <ref name="werbos1982">{{Cite book |last=Werbos |first=Paul |title=System modeling and optimization |publisher=Springer |year=1982 |pages=762–770 |language=en |chapter=Applications of advances in nonlinear sensitivity analysis |author-link=Paul Werbos |access-date=2 korrik 2017 |chapter-url=http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf |archive-url=https://web.archive.org/web/20160414055503/http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf |archive-date=14 prill 2016 |url-status=live}}</ref> (teza e doktoraturës së vitit 1974, ribotuar në një libër të vitit 1994,<ref name="werbos1974">{{Cite book |last=Werbos |first=Paul J. |title=The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting |publisher=John Wiley & Sons |year=1994 |isbn=0-471-59897-6 |location=New York |language=en}}</ref> nuk e përshkruan ende algoritmin <ref name="backprop">{{Cite web |last=Schmidhuber |first=Juergen |author-link=Juergen Schmidhuber |date=25 tet 2014 |title=Who Invented Backpropagation? |url=https://people.idsia.ch/~juergen/who-invented-backpropagation.html |archive-url=https://web.archive.org/web/20240730110408/https://people.idsia.ch/~juergen/who-invented-backpropagation.html |archive-date=30 korrik 2024 |access-date=14 sht 2024 |publisher=IDSIA, Switzerland |language=en |url-status=live }}</ref>). Në vitin 1986, David E. Rumelhart et al. popullarizoi përhapjen e pasme, por nuk citoi veprën origjinale.<ref>{{Cite journal |last=Rumelhart |first=David E. |last2=Hinton |first2=Geoffrey E. |last3=Williams |first3=Ronald J. |date=tetor 1986 |title=Learning representations by back-propagating errors |url=https://www.nature.com/articles/323533a0 |journal=Nature |language=en |volume=323 |issue=6088 |pages=533–536 |bibcode=1986Natur.323..533R |doi=10.1038/323533a0 |issn=1476-4687}}</ref>

=== 1980–2000 ===
Rrjeti nervor i vonesës kohore (Time-Delay Neural Network – TDNN) u prezantua nga Alex Waibel në vitin 1987 si një aplikim i CNN-ve për njohjen e fonemave në të dhënat audio. TDNN përdorte shtresa konvolucionale, ndarje të peshave dhe algoritmin e përhapjes së pasme për trajnimin e modelit, duke u bërë një nga aplikimet e para të CNN-ve në përpunimin e sinjaleve kohore.   Në vitin 1988, Wei Zhang aplikoi një CNN të trajnuar pas përhapjes për njohjen e alfabetit.<ref name="wz1988">{{Cite journal |last=Zhang |first=Wei |date=1988 |title=Shift-invariant pattern recognition neural network and its optical architecture |url=https://drive.google.com/file/d/1nN_5odSG_QVae54EsQN_qSz-0ZsX6wA0/view?usp=sharing |journal=Proceedings of Annual Conference of the Japan Society of Applied Physics |language=en}}</ref> Në 1989, [[Yann LeCun]] et al. krijoi një CNN të quajtur LeNet për njohjen e kodeve ZIP të shkruara me dorë në postë. Trajnimi kërkohet 3 ditë.  Në vitin 1990, Wei Zhang zbatoi një CNN mbi pajisjet kompjuterike optike.<ref name="wz1990">{{Cite journal |last=Zhang |first=Wei |date=1990 |title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture |url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing |journal=Applied Optics |language=en |volume=29 |issue=32 |pages=4790–7 |bibcode=1990ApOpt..29.4790Z |doi=10.1364/AO.29.004790 |pmid=20577468}}</ref> Në vitin 1991, një CNN u aplikua për segmentimin e objekteve të imazhit mjekësor <ref>{{Cite journal |last=Zhang |first=Wei |date=1991 |title=Image processing of human corneal endothelium based on a learning network |url=https://drive.google.com/file/d/0B65v6Wo67Tk5cm5DTlNGd0NPUmM/view?usp=sharing |journal=Applied Optics |language=en |volume=30 |issue=29 |pages=4211–7 |bibcode=1991ApOpt..30.4211Z |doi=10.1364/AO.30.004211 |pmid=20706526}}</ref> dhe zbulimin e kancerit të gjirit në mamografi.<ref>{{Cite journal |last=Zhang |first=Wei |date=1994 |title=Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network |url=https://drive.google.com/file/d/0B65v6Wo67Tk5Ml9qeW5nQ3poVTQ/view?usp=sharing |journal=Medical Physics |language=en |volume=21 |issue=4 |pages=517–24 |bibcode=1994MedPh..21..517Z |doi=10.1118/1.597177 |pmid=8058017}}</ref> LeNet -5 (1998), një CNN me 7 nivele nga [[Yann LeCun]] et al., që klasifikon shifrat, u aplikua nga disa banka për të njohur numrat e shkruar me dorë në çeqet e dixhitalizuara në imazhe 32x32 pixel.<ref name="lecun98">{{Cite journal |last=LeCun |first=Yann |last2=Léon Bottou |last3=Yoshua Bengio |last4=Patrick Haffner |year=1998 |title=Gradient-based learning applied to document recognition |url=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf |journal=Proceedings of the IEEE |language=en |volume=86 |issue=11 |pages=2278–2324 |citeseerx=10.1.1.32.9552 |doi=10.1109/5.726791 |access-date=7 tetor 2016 |archive-date=30 tetor 2023 |archive-url=https://web.archive.org/web/20231030100650/http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf |url-status=dead }}</ref>

Rrjetet nervore të përsëritura (RNN)<ref name="ising1925"/><ref name="Amari1972"/> u zhvilluan më tej në vitet 1980. Përsëritja përdoret për përpunimin e sekuencave dhe, kur një rrjet i përsëritur hapet, ai matematikisht shndërrohet në një rrjet të thellë '''feedforward''', ku çdo hap kohor përfaqëson një shtresë të veçantë në rrjet. Kjo strukturë lejon përpunimin e informacionit që shtrihet mbi një varg kohor. Rrjedhimisht, ata kanë prona dhe çështje të ngjashme dhe zhvillimet e tyre patën ndikime të ndërsjella. Në RNN, dy vepra të hershme me ndikim ishin rrjeti Jordan (1986) <ref>{{Cite journal |last=Jordan |first=Michael I. |date=1986 |title=Attractor dynamics and parallelism in a connectionist sequential machine |url=https://escholarship.org/uc/item/1fg2j76h |journal=Proceedings of the Annual Meeting of the Cognitive Science Society |language=en |volume=8}}</ref> dhe rrjeti Elman (1990),<ref>{{Cite journal |last=Elman |first=Jeffrey L. |date=mars 1990 |title=Finding Structure in Time |url=https://onlinelibrary.wiley.com/doi/10.1207/s15516709cog1402_1 |journal=Cognitive Science |language=en |volume=14 |issue=2 |pages=179–211 |doi=10.1207/s15516709cog1402_1 |issn=0364-0213}}</ref> i cili aplikoi RNN për të studiuar problemet në [[Psikologjia kognitive|psikologjinë konjitive]].

Në vitet 1980, përhapja e pasme hasi vështirësi në trajtimin e problemeve të mësimit të thellë me '''shtigje të gjata të caktimit të kredisë''', duke çuar në vështirësi në trajtimin e varësive afatgjata. Për të adresuar këtë sfidë, në vitin 1991, '''Jürgen Schmidhuber''' propozoi një qasje inovative që përfshinte një hierarki të rrjeteve nervore të përsëritura (RNN), të trajnuar paraprakisht një nivel në një kohë përmes mësimit të vetë-mbikëqyrur. Në këtë hierarki, secili RNN përpiqet të parashikojë hyrjen e tij të ardhshme, e cila përfaqëson informacionin e papritur të gjeneruar nga RNN i nivelit më të ulët.<ref name="chunker1991">{{Cite journal |last=Schmidhuber |first=Jürgen |author-link=Jürgen Schmidhuber |date=prill 1991 |title=Neural Sequence Chunkers |url=https://people.idsia.ch/~juergen/FKI-148-91ocr.pdf |journal=TR FKI-148, TU Munich |language=en}}</ref><ref name="schmidhuber1992">{{Cite journal |last=Schmidhuber |first=Jürgen |year=1992 |title=Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991) |url=https://sferics.idsia.ch/pub/juergen/chunker.pdf |journal=Neural Computation |language=en |volume=4 |issue=2 |pages=234–242 |doi=10.1162/neco.1992.4.2.234}}</ref> Ky "kompresor i historisë nervore" përdor '''kodimin parashikues''' për të mësuar përfaqësime të brendshme që vetë-organizohen në '''shkallë të ndryshme kohore'''. Kjo qasje i lejon rrjetit të kapë struktura dhe varësi afatgjata në të dhëna, duke kompresuar historinë e hyrjeve në mënyrë efikase përmes hierarkive të thelluara dhe të përsëritura. Kjo mund të lehtësojë ndjeshëm të mësuarit e thellë në rrjedhën e poshtme. Hierarkia RNN mund të ''shembet'' në një RNN të vetëm, duke distiluar një rrjet ''chunker'' të nivelit më të lartë në një rrjet ''automatizues'' të nivelit më të ulët.<ref name="chunker1991" /><ref name="schmidhuber1992" />  Në vitin 1993, një kompresor i historisë nervore zgjidhi një detyrë "Mësimi shumë i thellë" që kërkonte më shumë se 1000 shtresa pasuese në një RNN të shpalosur në kohë.  "P" në [[ChatGPT]] i referohet një trajnimi të tillë paraprak.

Teza e diplomës e Sepp Hochreiter (1991)  zbatoi kompresorin e historisë nervore,<ref name="chunker1991"/> dhe identifikoi dhe analizoi [[Problemi i gradientit në shuarje|problemin e gradientit në zhdukje]].<ref name="HOCH1991">{{cite journal
 | last1 = Hochreiter
 | first1 = Sepp
 | last2 = Schmidhuber
 | first2 = Jürgen
 | date = 21 gusht 1995
 | title = Long Short-Term Memory
 | journal = Neural Computation
 | volume = 9
 | issue = 8  | pages = 1735–1780  | doi = 10.1162/neco.1997.9.8.1735  | language = en }}</ref><ref name="HOCH2001">{{Cite book |last=Hochreiter |first=S. |title=A Field Guide to Dynamical Recurrent Networks |date=15 janar 2001 |publisher=John Wiley & Sons |isbn=978-0-7803-5369-5 |editor-last=Kolen |editor-first=John F. |language=en |chapter=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies |display-authors=etal |editor-last2=Kremer |editor-first2=Stefan C. |chapter-url={{google books |plainurl=y |id=NWOcMVA64aAC}}}}</ref> Hochreiter propozoi '''lidhje të mbetura të përsëritura''' si një zgjidhje për problemin e '''gradientit që zhduket''', i cili ishte një pengesë kryesore në trajnimin e rrjeteve të përsëritura nervore (RNN). Kjo punë çoi në zhvillimin e arkitekturës së '''Kujtesës Afatgjatë të Shkurtër (LSTM)''', e cila u publikua në vitin 1995. LSTM përdor një sistem të veçantë të qelizave dhe mekanizmave të portave për të ruajtur dhe menaxhuar informacionin në mënyrë efektive mbi periudha të gjata kohore, duke zbutur problemin e gradientit që zhduket. LSTM mund të mësojë detyra "të mësuarit shumë të thellë" <ref name="SCHIDHUB"/> me shtigje të gjata të caktimit të kredisë që kërkojnë kujtime të ngjarjeve që kanë ndodhur mijëra hapa kohorë diskrete më parë. Ajo LSTM nuk ishte ende arkitektura moderne, e cila kërkonte një "portë harrese", e prezantuar në 1999,<ref name="lstm1999">{{Cite book |last=Gers |first=Felix |title=9th International Conference on Artificial Neural Networks: ICANN '99 |last2=Schmidhuber |first2=Jürgen |last3=Cummins |first3=Fred |year=1999 |isbn=0-85296-721-7 |volume=1999 |pages=850–855 |language=en |chapter=Learning to forget: Continual prediction with LSTM |doi=10.1049/cp:19991218}}</ref> e cila u bë arkitektura standarde RNN.

Në vitin 1991, '''Jürgen Schmidhuber''' publikoi një model të '''rrjeteve nervore kundërshtare''', ku rrjetet konkurrojnë me njëra-tjetrën në një kornizë të ngjashme me një '''lojë me shumën zero'''. Në këtë konfigurim, fitimi i një rrjeti përfaqëson humbjen e rrjetit tjetër, duke krijuar një dinamikë kundërshtare që synon të përmirësojë performancën e të dy rrjeteve përmes konkurrencës.<ref name="fun2010">{{Cite journal |last=Schmidhuber |first=Jürgen |author-link=Jürgen Schmidhuber |year=2010 |title=Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990–2010) |journal=IEEE Transactions on Autonomous Mental Development |language=en |volume=2 |issue=3 |pages=230–247 |doi=10.1109/TAMD.2010.2056368}}</ref> Rrjeti i parë është një model gjenerues që modelon një [[Shpërndarja e probabilitetit|shpërndarje probabiliteti]] mbi modelet e prodhimit. Rrjeti i dytë mëson nga zbritja e gradientit të parashikojë reagimet e mjedisit ndaj këtyre modeleve. Kjo u quajt "kuriozitet artificial". Në vitin 2014, ky parim u përdor në rrjetet kundërshtare gjeneruese (GAN).<ref name="gancurpm2020">{{Cite journal |last=Schmidhuber |first=Jürgen |author-link=Jürgen Schmidhuber |date=2020 |title=Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991) |journal=Neural Networks |language=en |volume=127 |pages=58–66 |arxiv=1906.04493 |doi=10.1016/j.neunet.2020.04.008 |pmid=32334341}}</ref>

Gjatë viteve 1985–1995, të frymëzuara nga mekanika statistikore, u zhvilluan disa arkitektura dhe metoda nga Terry Sejnowski, Peter Dayan, [[Geoffrey Hinton]], etj., duke përfshirë [[Makina Boltzmann|makinën Boltzman]],<ref>{{Cite journal |last=Ackley |first=David H. |last2=Hinton |first2=Geoffrey E. |last3=Sejnowski |first3=Terrence J. |date=1985-01-01 |title=A learning algorithm for boltzmann machines |url=https://www.sciencedirect.com/science/article/pii/S0364021385800124 |journal=Cognitive Science |language=en |volume=9 |issue=1 |pages=147–169 |doi=10.1016/S0364-0213(85)80012-4 |issn=0364-0213}}</ref> makinën Boltzman të kufizuar,<ref>{{Cite book |last=Smolensky |first=Paul |title=Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations |title-link=Connectionism |publisher=MIT Press |year=1986 |isbn=0-262-68053-X |editor-last=Rumelhart |editor-first=David E. |pages=[https://archive.org/details/paralleldistribu00rume/page/194 194–281] |language=en |chapter=Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory |editor-last2=McLelland |editor-first2=James L. |chapter-url=https://stanford.edu/~jlmcc/papers/PDP/Volume%201/Chap6_PDP86.pdf}}</ref> makinën Helmholtz,<ref name="nc95">{{Cite journal |last=Peter |first=Dayan |author-link=Peter Dayan |last2=Hinton |first2=Geoffrey E. |author-link2=Geoffrey Hinton |last3=Neal |first3=Radford M. |author-link3=Radford M. Neal |last4=Zemel |first4=Richard S. |author-link4=Richard Zemel |date=1995 |title=The Helmholtz machine. |url=https://archive.org/details/sim_neural-computation_1995-09_7_5/page/n26 |journal=Neural Computation |language=en |volume=7 |issue=5 |pages=889–904 |doi=10.1162/neco.1995.7.5.889 |pmid=7584891 |hdl-access=free}} {{Closed access}}</ref> dhe algoritmi zgjim-gjumë.<ref name=":1">{{Cite journal |last=Hinton |first=Geoffrey E. |author-link=Geoffrey Hinton |last2=Dayan |first2=Peter |author-link2=Peter Dayan |last3=Frey |first3=Brendan J. |author-link3=Brendan Frey |last4=Neal |first4=Radford |date=1995-05-26 |title=The wake-sleep algorithm for unsupervised neural networks |journal=Science |language=en |volume=268 |issue=5214 |pages=1158–1161 |bibcode=1995Sci...268.1158H |doi=10.1126/science.7761831 |pmid=7761831}}</ref> Këto u zhvilluan për të mësuar modele gjeneruese të thella në mënyrë të pambikëqyrur. Megjithatë, ato kërkonin më shumë burime llogaritëse krahasuar me algoritmin e përhapjes së pasme. '''Algoritmi i mësimit të makinës Boltzman''', i prezantuar në vitin 1985, pati një periudhë të shkurtër popullariteti përpara se të zëvendësohej nga algoritmi më efikas i përhapjes së pasme në vitin 1986. (fq.&nbsp;112 <ref>{{Cite book |last=Sejnowski |first=Terrence J. |title=The deep learning revolution |url=https://archive.org/details/deeplearningrevo0000sejn |date=2018 |publisher=The MIT Press |isbn=978-0-262-03803-4 |location=Cambridge, Massachusetts |language=en}}</ref> ). Një rrjet nervor i zhvilluar në vitin 1988 arriti të bëhej gjendja e artit në parashikimin e strukturës së proteinave, duke përfaqësuar një nga aplikimet e para të suksesshme të të mësuarit të thellë në fushën e bioinformatikës.<ref>{{Cite journal |last=Qian |first=Ning |last2=Sejnowski |first2=Terrence J. |date=1988-08-20 |title=Predicting the secondary structure of globular proteins using neural network models |url=https://dx.doi.org/10.1016/0022-2836%2888%2990564-5 |journal=Journal of Molecular Biology |language=en |volume=202 |issue=4 |pages=865–884 |doi=10.1016/0022-2836(88)90564-5 |issn=0022-2836 |pmid=3172241}}</ref>

Të mësuarit e cekët dhe të thellë, përfshirë përdorimin e rrjeteve nervore të përsëritura (RNN), kanë qenë objekt studimi për një periudhë të gjatë në fushën e njohjes së të folurit.<ref>{{Cite journal |last=Morgan |first=Nelson |last2=Bourlard |first2=Hervé |last3=Renals |first3=Steve |last4=Cohen |first4=Michael |last5=Franco |first5=Horacio |date=1 gusht 1993 |title=Hybrid neural network/hidden markov model systems for continuous speech recognition |journal=International Journal of Pattern Recognition and Artificial Intelligence |language=en |volume=07 |issue=4 |pages=899–916 |doi=10.1142/s0218001493000455 |issn=0218-0014}}</ref><ref name="Robinson1992">{{Cite journal |last=Robinson |first=T. |author-link=Tony Robinson (speech recognition) |date=1992 |title=A real-time recurrent error propagation network word recognition system |url=http://dl.acm.org/citation.cfm?id=1895720 |url-status=live |journal=ICASSP |series=Icassp'92 |language=en |pages=617–620 |isbn=978-0-7803-0532-8 |archive-url=https://web.archive.org/web/20210509123135/https://dl.acm.org/doi/10.5555/1895550.1895720 |archive-date=2021-05-09 |access-date=2017-06-12}}</ref><ref>{{Cite journal |last=Waibel |first=A. |last2=Hanazawa |first2=T. |last3=Hinton |first3=G. |last4=Shikano |first4=K. |last5=Lang |first5=K. J. |date=mars 1989 |title=Phoneme recognition using time-delay neural networks |url=http://dml.cz/bitstream/handle/10338.dmlcz/135496/Kybernetika_38-2002-6_2.pdf |url-status=live |journal=IEEE Transactions on Acoustics, Speech, and Signal Processing |language=en |volume=37 |issue=3 |pages=328–339 |doi=10.1109/29.21701 |issn=0096-3518 |archive-url=https://web.archive.org/web/20210427001446/https://dml.cz/bitstream/handle/10338.dmlcz/135496/Kybernetika_38-2002-6_2.pdf |archive-date=2021-04-27 |access-date=2019-09-24}}</ref> Këto metoda nuk arritën të tejkalojnë performancën e teknologjisë së '''modelit të fshehur Markov''' (GMM-HMM), e cila përdorte një përzierje Gaussianësh jo-uniforme dhe modele të brendshme të prodhuara manualisht. GMM-HMM, i bazuar në modele gjeneruese të të folurit të trajnuara në mënyrë diskriminuese, mbeti standardi kryesor për shumë vite në njohjen e të folurit.<ref name="Baker2009">{{Cite journal |last=Baker |first=J. |last2=Deng |first2=Li |last3=Glass |first3=Jim |last4=Khudanpur |first4=S. |last5=Lee |first5=C.-H. |last6=Morgan |first6=N. |last7=O'Shaughnessy |first7=D. |year=2009 |title=Research Developments and Directions in Speech Recognition and Understanding, Part 1 |journal=IEEE Signal Processing Magazine |language=en |volume=26 |issue=3 |pages=75–80 |bibcode=2009ISPM...26...75B |doi=10.1109/msp.2009.932166}}</ref> Vështirësitë kryesore janë analizuar, duke përfshirë zvogëlimin e gradientit  dhe strukturën e dobët të korrelacionit kohor në modelet parashikuese nervore.<ref name="Bengio1991">{{Cite web |last=Bengio |first=Y. |date=1991 |title=Artificial Neural Networks and their Application to Speech/Sequence Recognition |url=https://www.researchgate.net/publication/41229141 |url-status=live |archive-url=https://web.archive.org/web/20210509123131/https://www.researchgate.net/publication/41229141_Artificial_neural_networks_and_their_application_to_sequence_recognition |archive-date=2021-05-09 |access-date=2017-06-12 |publisher=McGill University Ph.D. thesis |language=en}}</ref><ref name="Deng1994">{{Cite journal |last=Deng |first=L. |last2=Hassanein |first2=K. |last3=Elmasry |first3=M. |year=1994 |title=Analysis of correlation structure for a neural predictive model with applications to speech recognition |url=https://archive.org/details/sim_neural-networks_1994_7_2/page/n128 |journal=Neural Networks |language=en |volume=7 |issue=2 |pages=331–339 |doi=10.1016/0893-6080(94)90027-2}}</ref> Vështirësi shtesë ishin mungesa e të dhënave të trajnimit dhe fuqia e kufizuar llogaritëse.

Shumica e studiuesve në fushën e njohjes së të folurit braktisën përdorimin e rrjeteve nervore për një kohë dhe iu drejtuan modelimit gjenerues, siç janë modelet '''Gaussian''' dhe '''modelet e fshehura Markov (HMM)''', të cilat ofronin një qasje më praktike dhe të besueshme në atë periudhë. Një përjashtim ishte në SRI International në fund të viteve 1990. Financuar nga [[Agjencia e Sigurisë Kombëtare (Shtetet e Bashkuara)|NSA]] dhe [[DARPA]] e qeverisë së SHBA-së, SRI hulumtoi në njohjen e të folurit dhe folësit . Ekipi i njohjes së altoparlantëve i udhëhequr nga Larry Heck raportoi sukses të rëndësishëm me rrjetet nervore të thella në përpunimin e të folurit në standardin NIST Speaker Recognition të vitit 1998.<ref name="Doddington2000">{{Cite journal |last=Doddington |first=G. |last2=Przybocki |first2=M. |last3=Martin |first3=A. |last4=Reynolds |first4=D. |year=2000 |title=The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective |journal=Speech Communication |language=en |volume=31 |issue=2 |pages=225–254 |doi=10.1016/S0167-6393(99)00080-1}}</ref><ref name="Heck2000">{{Cite journal |last=Heck |first=L. |last2=Konig |first2=Y. |last3=Sonmez |first3=M. |last4=Weintraub |first4=M. |year=2000 |title=Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design |journal=Speech Communication |language=en |volume=31 |issue=2 |pages=181–192 |doi=10.1016/s0167-6393(99)00077-1}}</ref> Ai u vendos në Verifikuesin e Nuances, që përfaqëson aplikacionin e parë të madh industrial të të mësuarit të thellë.

Parimi i ngritjes së '''tipareve "të papërpunuara"''' mbi optimizimin e punuar me dorë u eksplorua për herë të parë me sukses në fund të viteve 1990, duke përdorur arkitekturën e autoenkoderit të thellë. Kjo qasje u aplikua në spektrogramet "të papërpunuara" ose në tiparet lineare të bankës së filtrave, duke treguar potencialin për të mësuar përfaqësime komplekse drejtpërdrejt nga të dhënat fillestare.<ref name="Heck2000"/> Duke treguar epërsinë e tij ndaj Mel- Veçoritë cepstrale që përmbajnë faza të transformimit fiks nga spektrogramet. Karakteristikat e papërpunuara të të folurit, format e valës, më vonë dhanë rezultate të shkëlqyera në shkallë më të gjerë.<ref>{{Cite web |title=Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available) |url=https://www.researchgate.net/publication/266030526 |url-status=live |archive-url=https://web.archive.org/web/20210509123218/https://www.researchgate.net/publication/266030526_Acoustic_Modeling_with_Deep_Neural_Networks_Using_Raw_Time_Signal_for_LVCSR |archive-date=9 maj 2021 |access-date=14 qershor 2017 |website=ResearchGate |language=en}}</ref>

=== vitet 2000 ===
Në vitet 1990 dhe 2000, rrjetet nervore ranë në një periudhë të pavlefshmërisë, ndërsa modelet më të thjeshta që përdornin veçori të punuara me dorë, të përshtatura për detyra specifike, si filtrat '''Gabor''' dhe makinat vektoriale mbështetëse ('''SVM'''), u bënë zgjedhjet e preferuara. Kjo ndodhi për shkak të kostos së lartë llogaritëse të rrjeteve nervore artificiale dhe mungesës së të kuptuarit të mënyrës se si truri lidh rrjetet e tij biologjike, gjë që kufizonte përparimet në projektimin e rrjeteve nervore artificiale.<sup class="noprint Inline-Template Template-Fact" style="white-space:nowrap;">&#x5B; ''[[wikipedia:Citim i duhur|<span title="This claim needs references to reliable sources. (August 2024)">citim i nevojshëm</span>]]'' &#x5D;</sup>

Në vitin 2003, '''LSTM''' filloi të tregonte rezultate konkurruese në krahasim me metodat tradicionale të njohjes së të folurit për detyra të caktuara.[1] Më pas, në vitin 2006, '''Alex Graves''', '''Santiago Fernández''', '''Faustino Gomez''', dhe '''Jürgen Schmidhuber''' e përmirësuan këtë qasje duke e kombinuar LSTM me '''Klasifikimin Kohor të Lidhjes (CTC)''', një algoritëm që mundëson trajtimin e detyrave sekuenciale si njohja e të folurit pa pasur nevojë për përafrime fikse ndërmjet hyrjes dhe daljes.<ref name="graves2006">{{Cite journal |last=Graves |first=Alex |author-link=Alex Graves (computer scientist) |last2=Fernández |first2=Santiago |last3=Gomez |first3=Faustino |last4=Schmidhuber |first4=Jürgen |author-link4=Jürgen Schmidhuber |date=2006 |title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks |journal=Proceedings of the International Conference on Machine Learning, ICML 2006 |language=en |pages=369–376 |citeseerx=10.1.1.75.6306}}</ref> në pirgjet e LSTM-ve.  Në vitin 2009, ai u bë RNN i parë që fitoi një konkurs për njohjen e modeleve, në njohjen e ndërlidhur të shkrimit të dorës.<ref name="SCHIDHUB"/>

Në vitin 2006, botimet nga [[Geoffrey Hinton|Geoff Hinton]], Ruslan Salakhutdinov, Osindero dhe Teh<ref>{{Cite journal |last=Hinton |first=Geoffrey E. |date=1 tetor 2007 |title=Learning multiple layers of representation |url=http://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(07)00217-3 |url-status=live |journal=Trends in Cognitive Sciences |language=en |volume=11 |issue=10 |pages=428–434 |doi=10.1016/j.tics.2007.09.004 |issn=1364-6613 |pmid=17921042 |archive-url=https://web.archive.org/web/20131011071435/http://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(07)00217-3 |archive-date=11 tetor 2013 |access-date=12 qershor 2017}}</ref><ref name="hinton06">{{Cite journal |last=Hinton |first=G. E. |author-link=Geoff Hinton |last2=Osindero |first2=S. |last3=Teh |first3=Y. W. |year=2006 |title=A Fast Learning Algorithm for Deep Belief Nets |url=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf |url-status=live |journal=[[Neural Computation (journal)|Neural Computation]] |language=en |volume=18 |issue=7 |pages=1527–1554 |doi=10.1162/neco.2006.18.7.1527 |pmid=16764513 |archive-url=https://web.archive.org/web/20151223164129/http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf |archive-date=2015-12-23 |access-date=2011-07-20}}</ref> u zhvilluan rrjete të thella besimi për modelimin gjenerues. Ata trajnohen duke përdorur një proces hierarkik, ku fillimisht stërvitet një '''makinë Boltzman e kufizuar (RBM)'''. Pasi kjo RBM ngrin parametrat e saj, trajnohet një RBM tjetër mbi të, dhe procesi përsëritet në shtresa të njëpasnjëshme. Në fund, rrjeti mund të rregullohet opsionalisht duke përdorur '''përhapjen e mbikëqyrur prapa''', për të përmirësuar performancën për detyrat specifike.  Ata mund të modelonin shpërndarje të probabilitetit me dimensione të larta, të tilla si shpërndarja e imazheve MNIST, por konvergjenca ishte e ngadaltë.<ref>{{Cite journal |last=Hinton |first=Geoffrey E. |date=tetor 2007 |title=Learning multiple layers of representation |url=https://linkinghub.elsevier.com/retrieve/pii/S1364661307002173 |journal=Trends in Cognitive Sciences |language=en |volume=11 |issue=10 |pages=428–434 |doi=10.1016/j.tics.2007.09.004 |pmid=17921042}}</ref><ref>{{Cite journal |last=Hinton |first=Geoffrey E. |last2=Osindero |first2=Simon |last3=Teh |first3=Yee-Whye |date=korrik 2006 |title=A Fast Learning Algorithm for Deep Belief Nets |url=https://direct.mit.edu/neco/article/18/7/1527-1554/7065 |journal=Neural Computation |language=en |volume=18 |issue=7 |pages=1527–1554 |doi=10.1162/neco.2006.18.7.1527 |issn=0899-7667 |pmid=16764513}}</ref><ref>{{Cite journal |last=Hinton |first=Geoffrey E. |date=2009-05-31 |title=Deep belief networks |journal=Scholarpedia |language=en |volume=4 |issue=5 |pages=5947 |bibcode=2009SchpJ...4.5947H |doi=10.4249/scholarpedia.5947 |issn=1941-6016 |doi-access=free}}</ref>

Ndikimi i të mësuarit të thellë në industri filloi të bëhej i dukshëm në fillim të viteve 2000, kur '''rrjetet nervore konvolucionale (CNN)''' filluan të përpunonin midis 10% dhe 20% të të gjitha çeqeve bankare të shkruara në SHBA. Sipas '''Yann LeCun''', kjo përfaqësonte një nga aplikimet e hershme praktike dhe të shkallëzuara të të mësuarit të thellë në zgjidhjen e problemeve reale industriale.  Aplikimet industriale të të mësuarit të thellë për njohjen e të folurit në shkallë të gjerë filluan rreth vitit 2010.

Punëtoria '''NIPS 2009''' mbi të mësuarit e thellë për njohjen e të folurit u zhvillua si përgjigje ndaj kufizimeve të modeleve gjeneruese të thella të të folurit. Ajo u motivua nga mundësia që, me përmirësimet në '''harduerin llogaritës''' dhe disponueshmërinë e '''grupeve të mëdha të të dhënave''', rrjetet e thella nervore të bëheshin një qasje praktike dhe më efikase për zgjidhjen e detyrave komplekse të njohjes së të folurit. Besohej se DNN-të para-trajnuese duke përdorur modele gjeneruese të rrjetave të besimit të thellë (DBN) do të kapërcenin vështirësitë kryesore të rrjetave nervore. Megjithatë, u zbulua se zëvendësimi i trajnimit paraprak me sasi të mëdha të të dhënave stërvitore për përhapje të drejtpërdrejtë në prapavijë kur përdorni DNN me shtresa të mëdha dalëse të varura nga konteksti, prodhoi shkallë gabimi në mënyrë dramatike më të ulët se modeli i përzierjes Gaussian i atëhershëm më i fundit (GMM )/Hidden Markov Model (HMM) dhe gjithashtu se sistemet më të avancuara gjeneruese të bazuara në modele.<ref name="HintonDengYu2012">{{Cite journal |last=Hinton |first=G. |last2=Deng |first2=L. |last3=Yu |first3=D. |last4=Dahl |first4=G. |last5=Mohamed |first5=A. |last6=Jaitly |first6=N. |last7=Senior |first7=A. |last8=Vanhoucke |first8=V. |last9=Nguyen |first9=P. |last10=Sainath |first10=T. |author-link10=Tara Sainath |last11=Kingsbury |first11=B. |year=2012 |title=Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups |journal=IEEE Signal Processing Magazine |language=en |volume=29 |issue=6 |pages=82–97 |bibcode=2012ISPM...29...82H |doi=10.1109/msp.2012.2205597}}</ref> Natyra e gabimeve të njohjes të prodhuara nga dy llojet e sistemeve ishte karakteristikisht e ndryshme,<ref name="ReferenceICASSP2013" /> duke ofruar njohuri teknike se si të integrohet mësimi i thellë në sistemin ekzistues shumë efikas të dekodimit të të folurit në kohë ekzekutimi të vendosur nga të gjitha sistemet kryesore të njohjes së të folurit.<ref name="BOOK2014"/><ref name="ReferenceA">{{Cite book |last=Yu |first=D. |url={{google books |plainurl=y |id=rUBTBQAAQBAJ}} |title=Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer) |last2=Deng |first2=L. |date=2014 |publisher=Springer |isbn=978-1-4471-5779-3 |language=en}}</ref><ref>{{Cite web |date=3 dhjetor 2015 |title=Deng receives prestigious IEEE Technical Achievement Award – Microsoft Research |url=https://www.microsoft.com/en-us/research/blog/deng-receives-prestigious-ieee-technical-achievement-award/ |url-status=live |archive-url=https://web.archive.org/web/20180316084821/https://www.microsoft.com/en-us/research/blog/deng-receives-prestigious-ieee-technical-achievement-award/ |archive-date=16 mars 2018 |access-date=16 mars 2018 |website=Microsoft Research |language=en}}</ref> Rreth viteve 2009–2010, analiza që krahasonte modelet '''GMM''' (dhe modelet e tjera gjeneruese të të folurit) me modelet e rrjeteve nervore të thella ('''DNN''') nxiti një diskutim të gjerë mbi avantazhet dhe kufizimet e të dyja qasjeve. Rezultatet premtuese të DNN-ve në tejkalimin e kufizimeve të GMM-ve stimuluan investimet e hershme industriale në të mësuarit e thellë për aplikime të njohjes së të folurit, duke shënuar një moment kyç në evoluimin e kësaj fushe.<ref name="ReferenceICASSP2013" /> Kjo analizë tregoi se modelet e rrjeteve nervore të thella ('''DNN''') diskriminuese arritën një performancë të krahasueshme me modelet gjeneruese, me një diferencë prej më pak se '''1.5% në shkallën e gabimit'''. Ky rezultat nënvizoi potencialin e DNN-ve për të zëvendësuar modelet gjeneruese në aplikime komplekse, duke i bërë ato më tërheqëse për zhvillime të mëtejshme dhe investime industriale.<ref name="HintonDengYu2012" /><ref name="ReferenceICASSP2013">{{Cite web |last=Deng |first=L. |last2=Hinton |first2=G. |last3=Kingsbury |first3=B. |date=maj 2013 |title=New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP) |url=https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ICASSP-2013-DengHintonKingsbury-revised.pdf |url-status=live |archive-url=https://web.archive.org/web/20170926190920/https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ICASSP-2013-DengHintonKingsbury-revised.pdf |archive-date=2017-09-26 |access-date=27 dhjetor 2023 |publisher=Microsoft |language=en}}</ref><ref name="interspeech2014Keynote">{{Cite web |last=Li |first=Deng |date=shtator 2014 |title=Keynote talk: 'Achievements and Challenges of Deep Learning – From Speech Analysis and Recognition To Language and Multimodal Processing' |url=https://www.superlectures.com/interspeech2014/downloadFile?id=6&type=slides&filename=achievements-and-challenges-of-deep-learning-from-speech-analysis-and-recognition-to-language-and-multimodal-processing |url-status=live |archive-url=https://web.archive.org/web/20170926190732/https://www.superlectures.com/interspeech2014/downloadFile?id=6&type=slides&filename=achievements-and-challenges-of-deep-learning-from-speech-analysis-and-recognition-to-language-and-multimodal-processing |archive-date=2017-09-26 |access-date=2017-06-12 |website=Interspeech |language=en}}</ref> Në vitin 2010, studiuesit zgjeruan mësimin e thellë nga TIMIT në njohjen e madhe të fjalorit të të folurit, duke adoptuar shtresa të mëdha dalëse të DNN bazuar në gjendjet HMM të varura nga konteksti, të ndërtuara nga pemët e vendimmarrëse.<ref name="Roles2010">{{Cite journal |last=Yu |first=D. |last2=Deng |first2=L. |date=2010 |title=Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition |url=https://www.microsoft.com/en-us/research/publication/roles-of-pre-training-and-fine-tuning-in-context-dependent-dbn-hmms-for-real-world-speech-recognition/ |url-status=live |journal=NIPS Workshop on Deep Learning and Unsupervised Feature Learning |language=en |archive-url=https://web.archive.org/web/20171012095148/https://www.microsoft.com/en-us/research/publication/roles-of-pre-training-and-fine-tuning-in-context-dependent-dbn-hmms-for-real-world-speech-recognition/ |archive-date=2017-10-12 |access-date=2017-06-14}}</ref><ref>{{Cite book |last=Seide |first=F. |title=Interspeech 2011 |last2=Li |first2=G. |last3=Yu |first3=D. |date=2011 |pages=437–440 |language=en |chapter=Conversational speech transcription using context-dependent deep neural networks |doi=10.21437/Interspeech.2011-169 |access-date=2017-06-14 |chapter-url=https://www.microsoft.com/en-us/research/publication/conversational-speech-transcription-using-context-dependent-deep-neural-networks |archive-url=https://web.archive.org/web/20171012095522/https://www.microsoft.com/en-us/research/publication/conversational-speech-transcription-using-context-dependent-deep-neural-networks/ |archive-date=2017-10-12 |url-status=live}}</ref><ref>{{Cite journal |last=Deng |first=Li |last2=Li |first2=Jinyu |last3=Huang |first3=Jui-Ting |last4=Yao |first4=Kaisheng |last5=Yu |first5=Dong |last6=Seide |first6=Frank |last7=Seltzer |first7=Mike |last8=Zweig |first8=Geoff |last9=He |first9=Xiaodong |date=1 maj 2013 |title=Recent Advances in Deep Learning for Speech Research at Microsoft |url=https://www.microsoft.com/en-us/research/publication/recent-advances-in-deep-learning-for-speech-research-at-microsoft/ |url-status=live |journal=Microsoft Research |language=en |archive-url=https://web.archive.org/web/20171012044053/https://www.microsoft.com/en-us/research/publication/recent-advances-in-deep-learning-for-speech-research-at-microsoft/ |archive-date=12 tetor 2017 |access-date=14 qershor 2017}}</ref><ref name="ReferenceA" />

=== Revolucion i të mësuarit të thellë ===
[[Skeda:AI-ML-DL.svg|parapamje| Sa të mësuarit e thellë është një nëngrup i mësimit të makinerive dhe si mësimi i makinerive është një nëngrup i inteligjencës artificiale (AI)]]
Revolucioni i të mësuarit të thellë nisi rreth fushës së '''vizionit kompjuterik''', me avancimet në rrjetet nervore konvolucionale ('''CNN''') dhe përdorimin e '''GPU-ve''' për përpunim paralel. Këto teknologji mundësuan trajnim më të shpejtë dhe më efikas të modeleve komplekse, duke çuar në përmirësime të mëdha në detyrat e njohjes së imazheve dhe të vizionit kompjuterik.

Edhe pse CNN-të e trajnuar nga prapashfaqja kishin qenë rreth e rrotull për dekada dhe implementimet GPU të NN-ve për vite,<ref name="jung2004">{{Cite journal |last=Oh |first=K.-S. |last2=Jung |first2=K. |year=2004 |title=GPU implementation of neural networks |journal=Pattern Recognition |language=en |volume=37 |issue=6 |pages=1311–1314 |bibcode=2004PatRe..37.1311O |doi=10.1016/j.patcog.2004.01.013}}</ref> duke përfshirë CNN-të,<ref name="chellapilla2006">{{Citation |last=Chellapilla |first=Kumar |title=High performance convolutional neural networks for document processing |date=2006 |url=https://hal.inria.fr/inria-00112631/document |archive-url=https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document |language=en |access-date=2021-02-14 |archive-date=2020-05-18 |last2=Puri |first2=Sidd |last3=Simard |first3=Patrice}}</ref> nevojiteshin zbatime më të shpejta të CNN-ve në GPU për të përparuar në vizionin kompjuterik. Më vonë, me zgjerimin e aplikimeve të të mësuarit të thellë, u krijuan '''optimizime të specializuara në harduer''' dhe '''algoritme të përshtatura''' posaçërisht për kërkesat e tij. Këto përfshijnë '''procesorë të specializuar''' si '''TPU-të''' (Tensor Processing Units) dhe teknika algoritmike të avancuara për të përmirësuar efikasitetin e trajnimit dhe performancën e rrjeteve nervore.

Një nga përparimet kyçe që nxiti revolucionin e të mësuarit të thellë ishte zhvillimi i '''harduerit të avancuar''', veçanërisht përdorimi i '''GPU-ve''' për trajnimet e rrjeteve nervore. GPU-të ofruan përpunim paralel të fuqishëm, duke përshpejtuar ndjeshëm trajnimet e modeleve komplekse. Disa nga punët e hershme që demonstruan potencialin e GPU-ve në këtë fushë datojnë që nga viti 2004, duke hedhur bazat për përhapjen e tyre në të mësuarit e thellë.<ref name="jung2004"/><ref name="chellapilla2006"/> Në vitin 2009, Raina, Madhavan dhe Andrew Ng raportuan një rrjet besimi të thellë 100 milion të trajnuar në 30 GPU Nvidia GeForce GTX 280, një demonstrim i hershëm i të mësuarit të thellë të bazuar në GPU. Ata raportuan trajnime deri në 70 herë më të shpejta.<ref>{{Cite book |last=Raina |first=Rajat |title=Proceedings of the 26th Annual International Conference on Machine Learning |last2=Madhavan |first2=Anand |last3=Ng |first3=Andrew Y. |date=2009-06-14 |publisher=Association for Computing Machinery |isbn=978-1-60558-516-1 |series=ICML '09 |location=New York, NY, USA |pages=873–880 |language=en |chapter=Large-scale deep unsupervised learning using graphics processors |doi=10.1145/1553374.1553486 |chapter-url=https://doi.org/10.1145/1553374.1553486}}</ref>

Në vitin 2011, një '''CNN''' i quajtur '''DanNet''',''<ref name=":3">{{Cite journal |last=Cireşan |first=Dan Claudiu |last2=Meier |first2=Ueli |last3=Gambardella |first3=Luca Maria |last4=Schmidhuber |first4=Jürgen |date=21 shtator 2010 |title=Deep, Big, Simple Neural Nets for Handwritten Digit Recognition |journal=Neural Computation |language=en |volume=22 |issue=12 |pages=3207–3220 |arxiv=1003.0358 |doi=10.1162/neco_a_00052 |issn=0899-7667 |pmid=20858131}}</ref>''<ref name=":6">{{Cite journal |last=Ciresan |first=D. C. |last2=Meier |first2=U. |last3=Masci |first3=J. |last4=Gambardella |first4=L.M. |last5=Schmidhuber |first5=J. |date=2011 |title=Flexible, High Performance Convolutional Neural Networks for Image Classification |url=http://ijcai.org/papers11/Papers/IJCAI11-210.pdf |url-status=live |journal=International Joint Conference on Artificial Intelligence |language=en |doi=10.5591/978-1-57735-516-8/ijcai11-210 |archive-url=https://web.archive.org/web/20140929094040/http://ijcai.org/papers11/Papers/IJCAI11-210.pdf |archive-date=2014-09-29 |access-date=2017-06-13}}</ref> i zhvilluar nga '''Dan Ciresan''', '''Ueli Meier''', '''Jonathan Masci''', '''Luca Maria Gambardella''', dhe '''Jürgen Schmidhuber''', arriti për herë të parë një '''performancë mbinjerëzore''' në një konkurs vizual të njohjes së modeleve. Ai tejkaloi metodat tradicionale me një '''faktor prej 3''', duke shënuar një moment historik në fushën e të mësuarit të thellë dhe aplikimeve të tij në vizionin kompjuterik.<ref name="SCHIDHUB"/> Më pas fitoi më shumë konkurse.<ref name=":8">{{Cite book |last=Ciresan |first=Dan |url=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf |title=Advances in Neural Information Processing Systems 25 |last2=Giusti |first2=Alessandro |last3=Gambardella |first3=Luca M. |last4=Schmidhuber |first4=Jürgen |date=2012 |publisher=Curran Associates, Inc. |editor-last=Pereira |editor-first=F. |pages=2843–2851 |language=en |access-date=2017-06-13 |editor-last2=Burges |editor-first2=C. J. C. |editor-last3=Bottou |editor-first3=L. |editor-last4=Weinberger |editor-first4=K. Q. |archive-url=https://web.archive.org/web/20170809081713/http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf |archive-date=2017-08-09 |url-status=live}}</ref><ref name="ciresan2013miccai">{{Cite book |last=Ciresan |first=D. |title=Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013 |last2=Giusti |first2=A. |last3=Gambardella |first3=L.M. |last4=Schmidhuber |first4=J. |date=2013 |isbn=978-3-642-38708-1 |series=Lecture Notes in Computer Science |volume=7908 |pages=411–418 |language=en |chapter=Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks |doi=10.1007/978-3-642-40763-5_51 |pmid=24579167 |issue=Pt 2}}</ref> Ata treguan gjithashtu se si CNN -të me grumbullim maksimal në GPU përmirësonin performancën në mënyrë të konsiderueshme.<ref name=":9"/>

Në vitin 2012, '''Andrew Ng''' dhe '''Jeff Dean''' zhvilluan një rrjet nervor të përparuar ushqyes ('''FNN''') që ishte në gjendje të mësonte koncepte të nivelit të lartë, si '''macet''', duke analizuar imazhe të paetiketuara të nxjerra nga videot [[YouTube|në YouTube]].<ref name="ng2012">Ng, Andrew; Dean, Jeff (2012). "Building High-level Features Using Large Scale Unsupervised Learning". arXiv:1112.6209 [cs.LG].</ref>

Në tetor 2012, '''AlexNet''', i krijuar nga '''Alex Krizhevsky''', '''Ilya Sutskever''', dhe [[Geoffrey Hinton]]<ref name="krizhevsky2012"/> fitoi konkursin në shkallë të gjerë '''ImageNet''', duke arritur një performancë që tejkaloi ndjeshëm metodat tradicionale të cekëta të mësimit të makinerive. Ky sukses shënoi një pikë kthese në të mësuarit e thellë, duke treguar fuqinë e rrjeteve nervore të thella për detyra komplekse në vizionin kompjuterik. Përmirësime të mëtejshme në rritje përfshinin rrjetin VGG-16 nga Karen Simonyan dhe Andrew Zisserman<ref name="VGG">Simonyan, Karen; Andrew, Zisserman (2014). "Very Deep Convolution Networks for Large Scale Image Recognition". arXiv:1409.1556 [cs.CV].</ref> dhe Inceptionv3 të Google.<ref name="szegedy">{{Cite journal |last=Szegedy |first=Christian |date=2015 |title=Going deeper with convolutions |url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43022.pdf |journal=Cvpr2015 |language=en |arxiv=1409.4842}}</ref>

Suksesi i rrjeteve nervore të thella në klasifikimin e imazheve u zgjerua më tej në detyrën më komplekse të '''gjenerimit të përshkrimeve (titrave)''' për imazhet. Ky avancim u arrit shpesh duke kombinuar '''CNN'''-të për nxjerrjen e veçorive vizuale nga imazhet me '''LSTM'''-të për të gjeneruar përshkrime të bazuara në veçoritë e nxjerra, duke krijuar një qasje të fuqishme për integrimin e vizionit kompjuterik dhe përpunimit të gjuhës natyrore.<ref name="1411.4555">Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). "Show and Tell: A Neural Image Caption Generator". arXiv:1411.4555 [cs.CV]</ref><ref name="1411.4952">Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). "From Captions to Visual Concepts and Back". arXiv:1411.4952 [cs.CV]</ref><ref name="1411.2539">Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). "Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models". arXiv:1411.2539 [cs.LG]</ref>

Në vitin 2014, '''gjendja e artit''' në të mësuarit e thellë përfshinte trajnimin e '''rrjeteve nervore shumë të thella''' me 20 deri në 30 shtresa.<ref>Simonyan, Karen; Zisserman, Andrew (2015-04-10), ''Very Deep Convolutional Networks for Large-Scale Image Recognition'', arXiv:1409.1556</ref> Megjithatë, rritja e numrit të shtresave hasi një pengesë të madhe: '''problemi i "degradimit"''', ku grumbullimi i shumë shtresave çonte në një ulje të konsiderueshme të saktësisë gjatë trajnimit, edhe kur rrjeti kishte kapacitet të mjaftueshëm për të mësuar modelin. Në vitin 2015, u zhvilluan dy teknika për të trajnuar rrjete shumë të thella: Rrjeti i Autostradave u publikua në maj 2015 dhe rrjeti nervor i mbetur (ResNet)  në dhjetor 2015. ResNet sillet si një rrjet autostrade me portë të hapur.

Në të njëjtën periudhë, '''të mësuarit e thellë''' filloi të ndikonte edhe në fushën e artit. Shembuj të hershëm të kësaj përfshijnë '''Google DeepDream''' (2015), i cili krijonte imazhe të gjeneruara nga rrjete nervore përmes amplifikimit të modeleve të mësuara nga rrjeti, dhe '''transferimi i stilit nervor''' (2015), një teknikë që përdorte rrjete nervore për të kombinuar stilin vizual të një pikture me përmbajtjen e një imazhi tjetër, duke prodhuar art unik dhe krijues.<ref>Gatys, Leon A.; Ecker, Alexander S.; Bethge, Matthias (26 August 2015). "A Neural Algorithm of Artistic Style". arXiv:1508.06576 [cs.CV]</ref> që të dyja bazoheshin në rrjetet nervore të klasifikimit të imazheve të paratrajnuara, si VGG-19.

Rrjeti i kundërshtarëve gjenerues (GAN) nga ( Ian Goodfellow et al., 2014)  (bazuar në parimin e kuriozitetit artificial të Jürgen Schmidhuber <ref name="gancurpm2020"/> ) u bë më i fundit në modelimin gjenerues gjatë periudhës 2014–2018 . Cilësia e shkëlqyer e imazhit arrihet nga [[Nvidia]] 's StyleGAN (2018)<ref name="SyncedReview2018">{{Cite web |date=14 dhjetor 2018 |title=GAN 2.0: NVIDIA's Hyperrealistic Face Generator |url=https://syncedreview.com/2018/12/14/gan-2-0-nvidias-hyperrealistic-face-generator/ |access-date=3 tetor 2019 |website=SyncedReview.com |language=en}}</ref> bazuar në Progressive GAN nga Tero Karras et al.<ref name="progressiveGAN2017">Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (26 February 2018). "Progressive Growing of GANs for Improved Quality, Stability, and Variation". arXiv:1710.10196 [cs.NE]</ref> Në këtë rast, '''gjeneratori i rrjeteve nervore gjeneruese kundërshtare (GAN)''' është zgjeruar nga një shkallë e vogël në një shkallë të madhe përmes një qasjeje '''piramidale'''. Kjo teknikë ndihmon në ndërtimin gradual të detajeve, duke filluar nga rezolutat e ulëta dhe duke shtuar informacione të hollësishme ndërsa rritet shkalla, duke përmirësuar ndjeshëm cilësinë e gjenerimit të imazheve ose të dhënave të tjera komplekse. Gjenerimi i imazheve nga GAN arriti sukses popullor dhe provokoi diskutime në lidhje me [[Deepfake|falsifikimet e thella]].<ref>{{Cite web |title=Prepare, Don't Panic: Synthetic Media and Deepfakes |url=https://lab.witness.org/projects/synthetic-media-and-deep-fakes/ |url-status=live |archive-url=https://web.archive.org/web/20201202231744/https://lab.witness.org/projects/synthetic-media-and-deep-fakes/ |archive-date=2 dhjetor 2020 |access-date=25 nëntor 2020 |publisher=witness.org |language=en}}</ref> Modelet e difuzionit (2015)<ref>{{Cite journal |last=Sohl-Dickstein |first=Jascha |last2=Weiss |first2=Eric |last3=Maheswaranathan |first3=Niru |last4=Ganguli |first4=Surya |date=2015-06-01 |title=Deep Unsupervised Learning using Nonequilibrium Thermodynamics |url=http://proceedings.mlr.press/v37/sohl-dickstein15.pdf |journal=Proceedings of the 32nd International Conference on Machine Learning |language=en |publisher=PMLR |volume=37 |pages=2256–2265 |arxiv=1503.03585}}</ref> eklipsuan GAN-et në modelimin gjenerues që atëherë, me sisteme të tilla si DALL·E 2 (2022) dhe [[Stable Diffusion]] (2022).

Në vitin 2015, Google arriti një '''përmirësim prej 49%''' në '''njohjen e të folurit''' duke përdorur një model të bazuar në '''LSTM'''. Ky avancim u bë një pjesë integrale e '''Google Voice Search''', duke sjellë një përvojë më të saktë dhe të shpejtë për përdoruesit e [[Telefoni i mençur|smartphone]]. Ky zhvillim shënoi një hap të madh përpara në aplikimet praktike të rrjeteve nervore të thella në teknologjitë e përditshme.<ref name="sak2015">{{Cite web |last=Sak |first=Haşim |last2=Senior |first2=Andrew |last3=Rao |first3=Kanishka |last4=Beaufays |first4=Françoise |last5=Schalkwyk |first5=Johan |date=shtator 2015 |title=Google voice search: faster and more accurate |url=http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html |url-status=live |archive-url=https://web.archive.org/web/20160309191532/http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html |archive-date=2016-03-09 |access-date=2016-04-09 |language=en}}</ref>

'''Të mësuarit e thellë''' është një komponent thelbësor i sistemeve më të avancuara në disiplina të ndryshme, me ndikim të veçantë në fusha si '''vizioni kompjuterik''' dhe '''njohja automatike e të folurit (ASR)'''. Këto teknika kanë revolucionarizuar aftësinë për të analizuar, kuptuar dhe interpretuar të dhëna komplekse, duke çuar në përmirësime të mëdha në detyra si njohja e imazheve, përshkrimi i objekteve dhe përpunimi i të folurit njerëzor. Rezultatet në grupet e vlerësimit të përdorura zakonisht si TIMIT (ASR) dhe MNIST ( [[Vizioni kompjuterik|klasifikimi i imazheve]] ), si dhe një sërë detyrash me fjalor të gjerë për njohjen e të folurit janë përmirësuar në mënyrë të qëndrueshme.<ref name="HintonDengYu2012"/><ref>{{Cite book |last=Singh |first=Premjeet |title=2021 International Conference on Computer Communication and Informatics (ICCCI) |last2=Saha |first2=Goutam |last3=Sahidullah |first3=Md |year=2021 |isbn=978-1-72815-875-4 |pages=1–4 |language=en |chapter=Non-linear frequency warping using constant-Q transformation for speech emotion recognition |doi=10.1109/ICCCI50826.2021.9402569}}</ref> Rrjetet nervore konvolucionale u zëvendësuan për ASR nga LSTM.<ref name="sak2015"/><ref name="sak2014">{{Cite web |last=Sak |first=Hasim |last2=Senior |first2=Andrew |last3=Beaufays |first3=Francoise |date=2014 |title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling |url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf |url-status=dead |archive-url=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf |archive-date=24 prill 2018 |language=en}}</ref><ref name="liwu2015">Li, Xiangang; Wu, Xihong (2014). "Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition". arXiv:1410.4281 [cs.CL]</ref><ref name="zen2015">{{Cite web |last=Zen |first=Heiga |last2=Sak |first2=Hasim |date=2015 |title=Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis |url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf |url-status=live |archive-url=https://web.archive.org/web/20210509123113/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf |archive-date=2021-05-09 |access-date=2017-06-13 |website=Google.com |publisher=ICASSP |pages=4470–4474 |language=en}}</ref> por janë më të suksesshëm në vizionin kompjuterik.

Yoshua Bengio, [[Geoffrey Hinton]] dhe [[Yann LeCun]] iu dha [[Turing Award|Çmimi Turing]] shpesh të quajtur "Nobel-i i Informatikës," për kontributet e tyre të jashtëzakonshme në fushën e të mësuarit të thellë. Çmimi u dha për '''"përparime konceptuale dhe inxhinierike që i kanë bërë rrjetet e thella nervore një komponent kritik të informatikës"''', duke theksuar ndikimin e tyre në zhvillimin dhe aplikimin e këtyre teknologjive në shumë disiplina.<ref>{{Cite web |title=2018 ACM A.M. Turing Award Laureates |url=https://awards.acm.org/about/2018-turing |access-date=2024-08-07 |website=awards.acm.org |language=en}}</ref>

== Rrjetet nervore ==
Rrjetet nervore artificiale (ANN), të njohura edhe si sisteme lidhëse, janë sisteme kompjuterike të frymëzuara nga rrjetet nervore biologjike që përbëjnë trurin e kafshëve. Këto sisteme mësojnë të kryejnë detyra duke analizuar shembuj, zakonisht pa pasur nevojë për programim specifik për secilën detyrë. Për shembull, në rastin e njohjes së imazheve, ato mund të mësojnë të dallojnë imazhet që përmbajnë mace duke analizuar imazhe shembull të etiketuar manualisht si "mace" ose "pa mace" dhe duke përdorur rezultatet për të identifikuar macet në imazhe të reja. Këto rrjete kanë gjetur përdorim të gjerë në aplikacione ku është e vështirë të formulohet një algoritëm tradicional kompjuterik bazuar në rregulla.

Një ANN bazohet në një koleksion të njësive të lidhura të quajtura neurone artificiale, (analoge me [[Neuroni|neuronet]] biologjike në një [[Truri|tru biologjik]] ). Çdo lidhje ( [[Sinapsi|sinapsë]] ) ndërmjet neuroneve mund të transmetojë një sinjal në një neuron tjetër. Neuroni marrës (postinaptik) mund të përpunojë sinjalin(et) dhe më pas të sinjalizojë neuronet në rrjedhën e poshtme të lidhur me të. Neuronet mund të kenë gjendje, të përfaqësuar përgjithësisht nga [[Numrat realë|numra realë]], zakonisht midis 0 dhe 1. Neuronet dhe sinapset mund të kenë '''peshë variabile''', e cila ndryshon gjatë procesit të mësimit. Këto ndryshime në peshë përcaktojnë fuqinë e sinjalit që transmetohet te neuronet në rrjedhën e poshtme, duke e rritur ose zvogëluar atë në bazë të rregullimeve të bëra për të optimizuar performancën e rrjetit. Ky mekanizëm është thelbësor për adaptimin dhe përmirësimin e rrjeteve nervore gjatë trajnimit.

Në mënyrë tipike, '''neuronet organizohen në shtresa''', ku secila shtresë kryen lloje të ndryshme transformimesh mbi hyrjet që merr. '''Sinjalet''' kalojnë nga '''shtresa e parë''' (hyrje) drejt '''shtresës së fundit''' (dalëse), shpesh duke kaluar përmes shtresave të ndërmjetme një ose disa herë. Ky proces i shtresëzuar lejon rrjetet nervore të mësojnë përfaqësime të ndërlikuara dhe hierarkike të të dhënave.

Qëllimi fillestar i qasjes së rrjeteve nervore ishte të adresonte problemet në mënyrë të ngjashme me mënyrën se si funksionon truri i njeriut. Me kalimin e kohës, fokusi u zhvendos drejt përshtatjes së aftësive specifike njohëse, gjë që çoi në largime nga struktura biologjike, siç është përhapja e pasme – një proces ku informacioni rrjedh në drejtim të kundërt për të rregulluar rrjetin në bazë të atij informacioni.

'''Rrjetet nervore''' kanë gjetur përdorim në një gamë të gjerë detyrash, duke përfshirë: '''vizionin kompjuterik''', '''njohjen e të folurit''', [[Përkthimi makinerik|përkthimin me makinë]], filtrimin e [[Rrjeti shoqëror|rrjeteve sociale]], '''luajtjen e lojërave në tabelë dhe video''', si dhe '''diagnozën mjekësore'''. Aplikimet e tyre kanë transformuar mënyrën se si zgjidhen probleme komplekse në këto fusha, duke ofruar zgjidhje të automatizuara dhe shpeshherë më të sakta sesa qasjet tradicionale.

Deri në vitin 2017, '''rrjetet nervore''' zakonisht përmbanin nga disa mijëra deri në disa milionë njësi dhe miliona lidhje. Edhe pse ky numër është shumë më i vogël në krahasim me miliardat e neuroneve në '''trurin e njeriut''', këto rrjete janë dëshmuar të afta të kryejnë shumë detyra me një performancë që shpesh tejkalon atë të njerëzve. Shembuj të tillë përfshijnë '''njohjen e fytyrave''' dhe luajtjen e lojës '''"Go"''', ku rrjetet nervore kanë arritur suksese të jashtëzakonshme.<ref>{{Cite journal |last=Silver |first=David |last2=Huang |first2=Aja |last3=Maddison |first3=Chris J. |last4=Guez |first4=Arthur |last5=Sifre |first5=Laurent |last6=Driessche |first6=George van den |last7=Schrittwieser |first7=Julian |last8=Antonoglou |first8=Ioannis |last9=Panneershelvam |first9=Veda |date=janar 2016 |title=Mastering the game of Go with deep neural networks and tree search |journal=Nature |language=en |volume=529 |issue=7587 |pages=484–489 |bibcode=2016Natur.529..484S |doi=10.1038/nature16961 |issn=1476-4687 |pmid=26819042}}</ref>

=== Rrjetet nervore të thella ===
Një rrjet nervor i thellë (DNN) është një rrjet nervor artificial që përmban disa shtresa midis shtresës hyrëse dhe asaj dalëse.<ref name="BENGIODEEP"/><ref name="SCHIDHUB"/> Ekzistojnë lloje të ndryshme të rrjeteve nervore, por ato gjithmonë përbëhen nga të njëjtët komponentë: neuronet, sinapset, peshat, paragjykimet dhe funksionet.<ref name="Nokkada">{{Citation |title=A Guide to Deep Learning and Neural Networks |url=https://serokell.io/blog/deep-learning-and-neural-network-guide#components-of-neural-networks |archive-url=https://web.archive.org/web/20201102151103/https://serokell.io/blog/deep-learning-and-neural-network-guide#components-of-neural-networks |language=en |access-date=2020-11-16 |archive-date=2020-11-02}}</ref> Këta komponentë punojnë së bashku duke imituar funksionet e trurit të njeriut dhe mund të trajnohen në mënyrë të ngjashme me çdo algoritëm tjetër të mësimit të makinerive (ML).<sup class="noprint Inline-Template Template-Fact" style="white-space:nowrap;">&#x5B; ''[[wikipedia:Citim i duhur|<span title="This claim needs references to reliable sources. (November 2020)">citim i nevojshëm</span>]]'' &#x5D;</sup>

Për shembull, një DNN i trajnuar për të identifikuar racat e qenve do të analizojë imazhin e dhënë dhe do të llogarisë probabilitetet për secilën racë të mundshme. Përdoruesi mund të shqyrtojë rezultatet dhe të vendosë cilat probabilitete të pranojë, bazuar në një prag të caktuar, për të përcaktuar racën e propozuar. Çdo manipulim matematikor gjatë këtij procesi konsiderohet si një shtresë në rrjetin nervor.<ref name="Kumar2021">{{Cite journal |last=Kumar |first=Nishant |last2=Raubal |first2=Martin |year=2021 |title=Applications of deep learning in congestion detection, prediction and alleviation: A survey |journal=Transportation Research Part C: Emerging Technologies |language=en |volume=133 |pages=103432 |doi=10.1016/j.trc.2021.103432 |doi-access=free |hdl-access=free}}</ref> dhe DNN kompleks ka shumë shtresa, prandaj emri i rrjeteve "të thella".

'''Rrjetet nervore të thella (DNN)''' janë të afta të modelojnë '''marrëdhënie komplekse jolineare'''. Arkitekturat e tyre krijojnë '''modele kompozicionale''', ku një objekt përfaqësohet si një përbërje hierarkike e primitivëve të shtresuar. Kjo strukturë i lejon DNN-të të mësojnë përfaqësime të ndërlikuara dhe të ndajnë veçori në nivele të ndryshme abstraksioni, duke i bërë ato veçanërisht të fuqishme për detyra komplekse si vizioni kompjuterik dhe përpunimi i gjuhës natyrore.<ref>{{Cite journal |last=Szegedy |first=Christian |last2=Toshev |first2=Alexander |last3=Erhan |first3=Dumitru |date=2013 |title=Deep neural networks for object detection |url=https://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection |url-status=live |journal=Advances in Neural Information Processing Systems |language=en |pages=2553–2561 |archive-url=https://web.archive.org/web/20170629172111/http://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection |archive-date=2017-06-29 |access-date=2017-06-13}}</ref> Shtresat shtesë lejojnë kombinimin dhe ndërtimin e veçorive nga ato të niveleve më të ulëta, duke bërë të mundur modelimin e të dhënave komplekse me më pak njësi krahasuar me një rrjet të cekët që ofron performancë të ngjashme.<ref name="BENGIODEEP"/> Për shembull, u vërtetua se [[polinomet]] e pakta shumëvariate janë në mënyrë eksponenciale më të lehtë për t'u përafruar me DNN-të sesa me rrjetet e cekëta.

Arkitekturat e thella përfshijnë variante të shumta të disa qasjeve themelore, ku secila ka treguar sukses në fusha specifike. Megjithatë, krahasimi i performancës midis këtyre arkitekturave është i vështirë, përveç rasteve kur ato testohen mbi të njëjtat grupe të dhënash.<ref name="Kumar2021"/>

DNN-të zakonisht funksionojnë si rrjete të të dhënave ku informacioni rrjedh në mënyrë të njëanshme, nga shtresa hyrëse deri te shtresa dalëse, pa kthim prapa. Fillimisht, DNN krijon një hartë të neuroneve virtuale dhe cakton vlera numerike të rastësishme, të quajtura "pesha", për lidhjet midis tyre. Këto pesha shumëzohen me hyrjet dhe gjenerojnë një dalje, zakonisht një vlerë midis 0 dhe 1. Në rastet kur rrjeti nuk arrin të njohë saktë një model, një algoritëm rregullon peshat për të përmirësuar performancën.<ref>{{Cite news |last=Hof |first=Robert D. |title=Is Artificial Intelligence Finally Coming into Its Own? |language=en |work=MIT Technology Review |url=https://www.technologyreview.com/s/513696/deep-learning/ |access-date=10 korrik 2018 |archive-url=https://web.archive.org/web/20190331092832/https://www.technologyreview.com/s/513696/deep-learning/ |archive-date=31 mars 2019}}</ref> Në këtë mënyrë algoritmi mund të bëjë disa parametra më me ndikim, derisa të përcaktojë manipulimin e saktë matematikor për të përpunuar plotësisht të dhënat.

'''Rrjetet nervore të përsëritura (RNN)''', të cilat lejojnë rrjedhjen e të dhënave në çdo drejtim, janë veçanërisht të përshtatshme për detyra që përfshijnë të dhëna sekuenciale. Ato përdoren gjerësisht në aplikacione si [[Modeli i gjuhës|modelimi i gjuhës]] ku rrjetet duhet të analizojnë dhe kuptojnë varësitë ndërmjet fjalëve ose frazave në një sekuencë për të parashikuar ose gjeneruar tekst.<ref name="gers2001">{{Cite journal |last=Gers |first=Felix A. |last2=Schmidhuber |first2=Jürgen |year=2001 |title=LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages |url=http://elartu.tntu.edu.ua/handle/lib/30719 |url-status=live |journal=IEEE Transactions on Neural Networks |language=en |volume=12 |issue=6 |pages=1333–1340 |doi=10.1109/72.963769 |pmid=18249962 |archive-url=https://web.archive.org/web/20200126045722/http://elartu.tntu.edu.ua/handle/lib/30719 |archive-date=2020-01-26 |access-date=2020-02-25}}</ref><ref name="NIPS2014">{{Cite journal |last=Sutskever |first=L. |last2=Vinyals |first2=O. |last3=Le |first3=Q. |date=2014 |title=Sequence to Sequence Learning with Neural Networks |url=https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf |url-status=live |journal=Proc. NIPS |language=en |arxiv=1409.3215 |bibcode=2014arXiv1409.3215S |archive-url=https://web.archive.org/web/20210509123145/https://papers.nips.cc/paper/2014/file/a14ac55a4f27472c5d894ec1c3c743d2-Paper.pdf |archive-date=2021-05-09 |access-date=2017-06-13}}</ref><ref name="vinyals2016">Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). "Exploring the Limits of Language Modeling". arXiv:1602.02410 [cs.CL]</ref><ref name="gillick2015">Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). "Multilingual Language Processing from Bytes". arXiv:1512.00103 [cs.CL]</ref><ref name="MIKO2010">{{Cite journal |last=Mikolov |first=T. |display-authors=etal |date=2010 |title=Recurrent neural network based language model |url=http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf |url-status=live |journal=Interspeech |language=en |pages=1045–1048 |doi=10.21437/Interspeech.2010-343 |archive-url=https://web.archive.org/web/20170516181940/http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf |archive-date=2017-05-16 |access-date=2017-06-13}}</ref> Kujtesa afatshkurtër është veçanërisht e efektshme për këtë përdorim.<ref name=":0">{{Cite journal |last=Hochreiter |first=Sepp |last2=Schmidhuber |first2=Jürgen |date=1 nëntor 1997 |title=Long Short-Term Memory |journal=Neural Computation |language=en |volume=9 |issue=8 |pages=1735–1780 |doi=10.1162/neco.1997.9.8.1735 |issn=0899-7667 |pmid=9377276}}</ref><ref name=":10">{{Cite web |title=Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available) |url=https://www.researchgate.net/publication/220320057 |url-status=live |archive-url=https://web.archive.org/web/20210509123147/https://www.researchgate.net/publication/220320057_Learning_Precise_Timing_with_LSTM_Recurrent_Networks |archive-date=9 maj 2021 |access-date=13 qershor 2017 |website=ResearchGate |language=en}}</ref>

'''Rrjetet nervore konvolucionale (CNN)''' janë të specializuara për detyra në fushën e '''vizionit kompjuterik'''. Ato janë të dizajnuara për të përpunuar dhe analizuar të dhëna të strukturuara si imazhet, duke nxjerrë automatikisht veçori të rëndësishme për klasifikim, zbulim objektesh, segmentim të imazheve dhe detyra të tjera vizuale.<ref name="LECUN86">{{Cite journal |last=LeCun |first=Y. |display-authors=etal |year=1998 |title=Gradient-based learning applied to document recognition |url=http://elartu.tntu.edu.ua/handle/lib/38369 |journal=Proceedings of the IEEE |language=en |volume=86 |issue=11 |pages=2278–2324 |doi=10.1109/5.726791}}</ref> CNN-të janë aplikuar gjithashtu në modelimin akustik për njohjen automatike të të folurit (ASR).<ref name=":2">{{Cite book |last=Sainath |first=Tara N. |title=2013 IEEE International Conference on Acoustics, Speech and Signal Processing |last2=Mohamed |first2=Abdel-Rahman |last3=Kingsbury |first3=Brian |last4=Ramabhadran |first4=Bhuvana |year=2013 |isbn=978-1-4799-0356-6 |pages=8614–8618 |language=en |chapter=Deep convolutional neural networks for LVCSR |doi=10.1109/icassp.2013.6639347 |author-link=Tara Sainath |author-link4=Bhuvana Ramabhadran}}</ref>

==== Sfidat ====
Ashtu si me rrjetet nervore artificiale (ANN), DNN-të që trajnohen në mënyrë naive mund të hasin disa sfida. Dy nga problemet më të zakonshme janë përshtatja e tepërt, ku modeli mëson tepër nga të dhënat e trajnimit dhe humb aftësinë për të përgjithësuar, dhe koha e llogaritjes, e cila mund të jetë e gjatë për shkak të kompleksitetit të modelit dhe numrit të madh të parametrave.

DNN-të janë të prirur për t'u mbipërshtatur për shkak të shtresave të shtuara të abstraksionit, të cilat i lejojnë ata të modelojnë varësi të rralla në të dhënat e trajnimit. Metodat e rregullimit të tilla si krasitja e njësisë së Ivakhnenko<ref name="ivak1971"/> ose zvogëlimi i peshës ( <math> \ell_2 </math> -rregullim) ose rrallësi ( <math> \ell_1 </math> -rregullimi) mund të aplikohet gjatë stërvitjes për të luftuar mbipërshtatjen.<ref>{{Cite book |last=Bengio |first=Yoshua |title=2013 IEEE International Conference on Acoustics, Speech and Signal Processing |last2=Boulanger-Lewandowski |first2=Nicolas |last3=Pascanu |first3=Razvan |year=2013 |isbn=978-1-4799-0356-6 |pages=8624–8628 |language=en |chapter=Advances in optimizing recurrent networks |citeseerx=10.1.1.752.9151 |doi=10.1109/icassp.2013.6639349}}</ref> Përndryshe, rregullimi i braktisjes së shkollës heq rastësisht njësitë nga shtresat e fshehura gjatë trajnimit. Kjo ndihmon për të përjashtuar varësitë e rralla.<ref name="DAHL2013">{{Cite journal |last=Dahl |first=G. |display-authors=etal |date=2013 |title=Improving DNNs for LVCSR using rectified linear units and dropout |url=http://www.cs.toronto.edu/~gdahl/papers/reluDropoutBN_icassp2013.pdf |url-status=live |journal=ICASSP |language=en |archive-url=https://web.archive.org/web/20170812140509/http://www.cs.toronto.edu/~gdahl/papers/reluDropoutBN_icassp2013.pdf |archive-date=2017-08-12 |access-date=2017-06-13}}</ref> Një zhvillim i fundit dhe interesant është kërkimi mbi modelet që përputhen me kompleksitetin e detyrës së modeluar, bazuar në vlerësimin e kompleksitetit të brendshëm të saj. Kjo metodë është aplikuar me sukses në detyra të ndryshme, si parashikimi i serive kohore, duke përfshirë raste me variacione të shumta, si parashikimi i trafikut.<ref name="Kumar2024">{{Cite journal |last=Kumar |first=Nishant |last2=Martin |first2=Henry |last3=Raubal |first3=Martin |year=2024 |title=Enhancing Deep Learning-Based City-Wide Traffic Prediction Pipelines Through Complexity Analysis |journal=Data Science for Transportation |language=en |volume=6 |issue=3 |pages=Article 24 |doi=10.1007/s42421-024-00109-x |doi-access=free}}</ref> Së fundi, të dhënat mund të zmadhohen duke përdorur teknika si prerja dhe rrotullimi, duke e bërë të mundur zgjerimin e grupeve të vogla të trajnimit. Kjo qasje ndihmon në reduktimin e mundësisë së përshtatjes së tepërt duke ofruar më shumë shembuj për modelin gjatë trajnimit.<ref>{{Cite web |title=Data Augmentation – deeplearning.ai {{!}} Coursera |url=https://www.coursera.org/learn/convolutional-neural-networks/lecture/AYzbX/data-augmentation |url-status=live |archive-url=https://web.archive.org/web/20171201032606/https://www.coursera.org/learn/convolutional-neural-networks/lecture/AYzbX/data-augmentation |archive-date=1 dhjetor 2017 |access-date=30 nëntor 2017 |website=Coursera |language=en}}</ref>

DNN-të duhet të marrin parasysh një sërë parametrash trajnimi, si madhësia e rrjetit (numri i shtresave dhe njësive për shtresë), shpejtësia e të mësuarit dhe peshat fillestare. Gjetja e parametrave optimalë duke eksploruar të gjithë hapësirën e mundshme shpesh nuk është e realizueshme për shkak të kostove të larta në kohë dhe burimeve llogaritëse. Për të adresuar këtë sfidë, përdoren truke të ndryshme, si grumbullimi, ku gradientët llogariten për disa shembuj trajnimi njëkohësisht, në vend që të trajtohen shembuj individualë.<ref name="RBMTRAIN">{{Cite journal |last=Hinton |first=G. E. |date=2010 |title=A Practical Guide to Training Restricted Boltzmann Machines |url=https://www.researchgate.net/publication/221166159 |url-status=live |journal=Tech. Rep. UTML TR 2010-003 |language=en |archive-url=https://web.archive.org/web/20210509123211/https://www.researchgate.net/publication/221166159_A_brief_introduction_to_Weightless_Neural_Systems |archive-date=2021-05-09 |access-date=2017-06-13}}</ref> përshpejtojnë llogaritjen. Aftësitë e mëdha të përpunimit të arkitekturave me shumë bërthama (të tilla si GPU ose Intel Xeon Phi) kanë prodhuar përshpejtime të konsiderueshme në trajnim, për shkak të përshtatshmërisë së arkitekturave të tilla përpunuese për llogaritjet e matricës dhe vektorit.<ref>{{Cite book |last=You |first=Yang |url=http://www.escholarship.org/uc/item/6ch40821 |title=Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on – SC '17 |last2=Buluç |first2=Aydın |last3=Demmel |first3=James |date=nëntor 2017 |publisher=SC '17, ACM |isbn=978-1-4503-5114-0 |pages=1–12 |language=en |chapter=Scaling deep learning on GPU and knights landing clusters |doi=10.1145/3126908.3126912 |access-date=5 mars 2018 |chapter-url=https://dl.acm.org/citation.cfm?doid=3126908.3126912 |archive-url=https://web.archive.org/web/20200729133850/https://escholarship.org/uc/item/6ch40821 |archive-date=29 korrik 2020 |url-status=live}}</ref><ref>{{Cite journal |last=Viebke |first=André |last2=Memeti |first2=Suejb |last3=Pllana |first3=Sabri |last4=Abraham |first4=Ajith |year=2019 |title=CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi |journal=The Journal of Supercomputing |language=en |volume=75 |pages=197–227 |arxiv=1702.07908 |bibcode=2017arXiv170207908V |doi=10.1007/s11227-017-1994-x}}</ref>

Si alternativë, inxhinierët mund të shqyrtojnë përdorimin e llojeve të tjera të rrjeteve nervore që ofrojnë algoritme trajnimi më të thjeshta dhe më të qëndrueshme. Një shembull i tillë është CMAC (Kontrolluesi i Artikulatorit të Modelit Cerebellar), një rrjet nervor që nuk kërkon norma të mësimit apo vlera të rastësishme për peshat fillestare. Ky rrjet garanton konvergimin në një hap të vetëm me një grup të ri të dhënash, dhe kompleksiteti llogaritës i algoritmit të trajnimit rritet në mënyrë lineare në raport me numrin e neuroneve të përdorur.

== Paisjet ==
Që nga vitet 2010, përparimet në '''algoritmet e mësimit të makinerive''' dhe [[Hardueri|në harduerin kompjuterik]] kanë bërë të mundur trajtimin më efikas të '''rrjeteve nervore të thella'''. Këto rrjete përmbajnë shumë shtresa të njësive të fshehura jolineare dhe shpesh një '''shtresë dalëse shumë të madhe''', duke u mundësuar atyre të mësojnë përfaqësime të ndërlikuara dhe të zgjidhin detyra komplekse në mënyrë më të shpejtë dhe të saktë. Këto zhvillime kanë revolucionarizuar aplikimet në fusha si vizioni kompjuterik, njohja e të folurit dhe përpunimi i gjuhës natyrore.<ref>{{Cite web |last=Research |first=AI |date=23 tetor 2015 |title=Deep Neural Networks for Acoustic Modeling in Speech Recognition |url=http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/ |url-status=live |archive-url=https://web.archive.org/web/20160201033801/http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/ |archive-date=1 shkurt 2016 |access-date=23 tetor 2015 |website=airesearch.com |language=en}}</ref> Deri në vitin 2019, njësitë e përpunimit grafik (GPU), shpesh të pajisura me optimizime specifike për inteligjencën artificiale, kishin zëvendësuar CPU-të si teknologjinë kryesore për trajnimin e AI komerciale në shkallë të gjerë.<ref>{{Cite news |date=dhjetor 2019 |title=GPUs Continue to Dominate the AI Accelerator Market for Now |language=en |work=InformationWeek |url=https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475 |url-status=live |access-date=11 qershor 2020 |archive-url=https://web.archive.org/web/20200610094310/https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475 |archive-date=10 qershor 2020}}</ref> [[OpenAI]] vlerësoi llogaritjen e harduerit të përdorur në projektet më të mëdha të të mësuarit të thellë nga AlexNet (2012) deri në AlphaZero (2017) dhe gjeti një rritje 300,000 herë në sasinë e llogaritjes së kërkuar, me një prirje kohore të dyfishuar prej 3.4 muajsh.<ref>{{Cite news |last=Ray |first=Tiernan |date=2019 |title=AI is changing the entire nature of computation |language=en |work=ZDNet |url=https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/ |url-status=live |access-date=11 qershor 2020 |archive-url=https://web.archive.org/web/20200525144635/https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/ |archive-date=25 maj 2020}}</ref><ref>{{Cite web |date=16 maj 2018 |title=AI and Compute |url=https://openai.com/blog/ai-and-compute/ |url-status=live |archive-url=https://web.archive.org/web/20200617200602/https://openai.com/blog/ai-and-compute/ |archive-date=17 qershor 2020 |access-date=11 qershor 2020 |website=OpenAI |language=en}}</ref>

[[Qarku elektronik|Qarqet e veçanta elektronike]] të quajtura procesorë të mësimit të thellë u zhvilluan për të përshpejtuar ekzekutimin e '''algoritmeve të të mësuarit të thellë'''. Këto procesorë, si '''TPU-të''' (Tensor Processing Units) dhe '''GPU-të''' të avancuara, janë të dizajnuara për të trajtuar llogaritje intensive dhe të dhëna masive në mënyrë efikase, duke mundësuar trajnim më të shpejtë dhe inferencë më të efektshme të modeleve të thella nervore. Procesorët e mësimit të thellë përfshijnë njësitë e përpunimit nervor (NPU) në telefonat celularë [[Huawei]]<ref>{{Cite web |title=HUAWEI Reveals the Future of Mobile AI at IFA 2017 &#124; HUAWEI Latest News &#124; HUAWEI Global |url=https://consumer.huawei.com/en/press/news/2017/ifa2017-kirin970/ |website=consumer.huawei.com |language=en |access-date=16 dhjetor 2024 |archive-date=10 nëntor 2021 |archive-url=https://web.archive.org/web/20211110131401/https://consumer.huawei.com/en/press/news/2017/ifa2017-kirin970/ |url-status=dead }}</ref> dhe serverët [[Kompjuterat në Re|e informatikës cloud,]] siç janë njësitë e përpunimit të tensoreve (TPU) në platformën e resë kompjuterike të Google.<ref>{{Cite journal |last=P |first=JouppiNorman |last2=YoungCliff |last3=PatilNishant |last4=PattersonDavid |last5=AgrawalGaurav |last6=BajwaRaminder |last7=BatesSarah |last8=BhatiaSuresh |last9=BodenNan |last10=BorchersAl |last11=BoyleRick |date=2017-06-24 |title=In-Datacenter Performance Analysis of a Tensor Processing Unit |journal=ACM SIGARCH Computer Architecture News |language=EN |volume=45 |issue=2 |pages=1–12 |arxiv=1704.04760 |doi=10.1145/3140659.3080246 |doi-access=free}}</ref> Cerebras Systems ka zhvilluar gjithashtu një sistem të specializuar për trajtimin e modeleve të mëdha të të mësuarit të thellë, të quajtur CS-2. Ky sistem bazohet në procesorin më të madh të industrisë, gjeneratën e dytë Wafer Scale Engine (WSE-2).<ref>{{Cite web |last=Woodie |first=Alex |date=2021-11-01 |title=Cerebras Hits the Accelerator for Deep Learning Workloads |url=https://www.datanami.com/2021/11/01/cerebras-hits-the-accelerator-for-deep-learning-workloads/ |access-date=2022-08-03 |website=Datanami |language=en}}</ref><ref>{{Cite web |date=2021-04-20 |title=Cerebras launches new AI supercomputing processor with 2.6 trillion transistors |url=https://venturebeat.com/2021/04/20/cerebras-systems-launches-new-ai-supercomputing-processor-with-2-6-trillion-transistors/ |access-date=2022-08-03 |website=VentureBeat |language=en-US}}</ref>

[[Gjysmëpërcjellësi|Gjysmëpërçuesit]] atomikisht të hollë po konsiderohen si një zgjidhje premtuese për ndërtimin e '''harduerit të të mësuarit të thellë''' me '''efikasitet të lartë energjie'''. Këto materiale të avancuara lejojnë krijimin e pajisjeve ku e njëjta strukturë bazë mund të shërbejë njëkohësisht për '''operacione logjike''' dhe '''ruajtjen e të dhënave''', duke reduktuar ndjeshëm konsumin e energjisë dhe kompleksitetin e sistemit. Ky zhvillim përfaqëson një hap të rëndësishëm drejt integrimit të operacioneve të përllogaritjes dhe memorjes në harduerin e të mësuarit të thellë. Në vitin 2020, Marega et al. botoi eksperimente me një material kanal aktiv me sipërfaqe të madhe për zhvillimin e pajisjeve dhe qarqeve logjike në memorie të bazuara në [[Tranzistori me efekt të fushës|transistorë me efekt të fushës]] me portë lundruese (FGFET).<ref name="atomthin">{{Cite journal |last=Marega |first=Guilherme Migliato |last2=Zhao |first2=Yanfei |last3=Avsar |first3=Ahmet |last4=Wang |first4=Zhenyu |last5=Tripati |first5=Mukesh |last6=Radenovic |first6=Aleksandra |last7=Kis |first7=Anras |year=2020 |title=Logic-in-memory based on an atomically thin semiconductor |journal=Nature |language=en |volume=587 |issue=2 |pages=72–77 |bibcode=2020Natur.587...72M |doi=10.1038/s41586-020-2861-0 |pmc=7116757 |pmid=33149289}}</ref>

Në vitin 2021, '''J. Feldmann et al.''' propozuan një '''përshpejtues të integruar të harduerit fotonik''' të projektuar për përpunim '''paralel konvolucionar'''. Ky përshpejtues përdor teknologjinë fotonike për të kryer operacione matematikore intensive të rrjeteve konvolucionale në mënyrë më të shpejtë dhe me efikasitet të lartë energjie, duke ofruar një alternativë premtuese ndaj harduerit elektronik tradicional për aplikime në të mësuarit e thellë.<ref name="photonic">{{Cite journal |last=Feldmann |first=J. |last2=Youngblood |first2=N. |last3=Karpov |first3=M. |last4=Gehring |first4=H. |display-authors=3 |year=2021 |title=Parallel convolutional processing using an integrated photonic tensor |journal=Nature |language=en |volume=589 |issue=2 |pages=52–58 |arxiv=2002.00281 |doi=10.1038/s41586-020-03070-1 |pmid=33408373}}</ref> Autorët identifikojnë dy avantazhe kryesore të fotonikës së integruar ndaj homologëve të saj elektronikë: (1) transferimi masiv paralel i të dhënave përmes multipleksimit të ndarjes së [[Gjatësia e valës|gjatësisë valore]] në lidhje me krehjet e frekuencës dhe (2) shpejtësi jashtëzakonisht të larta të modulimit të të dhënave.<ref name="photonic" /> Sistemi i tyre është i aftë të kryejë triliona operacione të akumulimit dhe shumëzimit për sekondë, duke demonstruar potencialin e fotonikës së integruar për aplikacione të inteligjencës artificiale që përpunojnë sasi të mëdha të dhënash.<ref name="photonic" />

== Aplikacionet ==

=== Njohja automatike e të folurit ===
{{Artificial intelligence navbox}}Njohja automatike e të folurit në shkallë të gjerë përfaqëson një nga rastet e para dhe më bindëse të suksesit të të mësuarit të thellë. RRN-të LSTM (Long Short-Term Memory) kanë aftësinë të mësojnë detyra që përfshijnë "të mësuar shumë të thellë"<ref name="SCHIDHUB"/> që përfshijnë intervale shumë sekondash që përmbajnë ngjarje të të folurit të ndara nga mijëra hapa kohorë diskrete, ku një hap kohor korrespondon me rreth 10 ms. LSTM me porta harrese <ref name=":10"/> është konkurruese me njohësit tradicionalë të të folurit për detyra të caktuara.<ref name="graves2003">{{Cite web |last=Graves |first=Alex |last2=Eck |first2=Douglas |last3=Beringer |first3=Nicole |last4=Schmidhuber |first4=Jürgen |date=2003 |title=Biologically Plausible Speech Recognition with LSTM Neural Nets |url=ftp://ftp.idsia.ch/pub/juergen/bioadit2004.pdf |url-status=live |archive-url=https://web.archive.org/web/20210509123139/ftp://ftp.idsia.ch/pub/juergen/bioadit2004.pdf |archive-date=2021-05-09 |access-date=2016-04-09 |website=1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland |pages=175–184 |language=en}}</ref>

Suksesi fillestar në njohjen e të folurit u bazua në detyrat e njohjes në shkallë të vogël bazuar në TIMIT. Grupi i të dhënave përmban 630 folës nga tetë [[Dialekti|dialekte]] kryesore të [[Anglishtja amerikane|anglishtes amerikane]], ku secili folës lexon 10 fjali.<ref name="APC_1">{{Cite book |last=Garofolo, J.S. |url=https://catalog.ldc.upenn.edu/LDC93S1 |title=TIMIT Acoustic-Phonetic Continuous Speech Corpus |last2=Lamel, L.F. |last3=Fisher, W.M. |last4=Fiscus, J.G. |last5=Pallett, D.S. |last6=Dahlgren, N.L. |last7=Zue, V. |date=1993 |publisher=Linguistic Data Consortium |isbn=1-58563-019-5 |language=en |doi=10.35111/17gk-bn40 |access-date=27 dhjetor 2023}}</ref> Madhësia e vogël e detyrës TIMIT e bën atë të përshtatshme për testimin e shumë konfigurimeve. Për më tepër, TIMIT fokusohet në njohjen e sekuencave të fonemave, e cila, ndryshe nga njohja e sekuencave të fjalëve, përdor modele më të thjeshta të gjuhës bigram të fonemave. Kjo e bën më të lehtë analizimin e aspektit akustik të njohjes së të folurit. Normat e gabimeve të raportuara, të matur si përqindje e gabimeve të fonemave (PER), përfshijnë rezultate të hershme dhe janë përmbledhur që nga viti 1991.
{| class="wikitable"
!Metoda
! Shkalla e gabimit në telefon në përqindje (PER) (%)
|-
| RNN i inicializuar rastësisht <ref>{{Cite journal |last=Robinson |first=Tony |author-link=Tony Robinson (speech recognition) |date=30 shtator 1991 |title=Several Improvements to a Recurrent Error Propagation Network Phone Recognition System |journal=Cambridge University Engineering Department Technical Report |language=en |volume=CUED/F-INFENG/TR82 |doi=10.13140/RG.2.2.15418.90567}}</ref>
| 26.1
|-
| Trifon Bayesian GMM-HMM
| 25.6
|-
| Modeli i Trajektores së Fshehur (Gjenerative).
| 24.8
|-
| DNN i iniciuar në mënyrë të rastësishme monofon
| 23.4
|-
| Monofoni DBN-DNN
| 22.4
|-
| Trifon GMM-HMM me trajnim BMMI
| 21.7
|-
| Monofoni DBN-DNN në fbank
| 20.7
|-
| DNN konvolucionale <ref name="CNN-2014">{{Cite journal |last=Abdel-Hamid |first=O. |display-authors=etal |date=2014 |title=Convolutional Neural Networks for Speech Recognition |url=https://zenodo.org/record/891433 |url-status=live |journal=IEEE/ACM Transactions on Audio, Speech, and Language Processing |language=en |volume=22 |issue=10 |pages=1533–1545 |doi=10.1109/taslp.2014.2339736 |archive-url=https://web.archive.org/web/20200922180719/https://zenodo.org/record/891433 |archive-date=2020-09-22 |access-date=2018-04-20}}</ref>
| 20.0
|-
| DNN konvolucional w. Bashkim heterogjen
| 18.7
|-
| Ansambli DNN/CNN/RNN <ref name="EnsembleDL">{{Cite journal |last=Deng |first=L. |last2=Platt |first2=J. |date=2014 |title=Ensemble Deep Learning for Speech Recognition |journal=Proc. Interspeech |language=en |pages=1915–1919 |doi=10.21437/Interspeech.2014-433}}</ref>
| 18.3
|-
| LSTM me dy drejtime
| 17.8
|-
| Rrjeti Hierarkik Convolutional Deep Maxout <ref name="HCDMM">{{Cite journal |last=Tóth |first=Laszló |date=2015 |title=Phone Recognition with Hierarchical Convolutional Deep Maxout Networks |url=http://publicatio.bibl.u-szeged.hu/5976/1/EURASIP2015.pdf |url-status=live |journal=EURASIP Journal on Audio, Speech, and Music Processing |language=en |volume=2015 |doi=10.1186/s13636-015-0068-3 |archive-url=https://web.archive.org/web/20200924085514/http://publicatio.bibl.u-szeged.hu/5976/1/EURASIP2015.pdf |archive-date=2020-09-24 |access-date=2019-04-01 |doi-access=free}}</ref>
| 16.5
|}
Debutimi i DNN-ve për njohjen e altoparlantëve në fund të viteve 1990, përdorimi i tyre për njohjen e të folurit gjatë viteve 2009–2011, dhe aplikimi i RRN-ve LSTM midis viteve 2003–2007, shënuan një përparim të madh që përshpejtoi zhvillimet në tetë fusha kryesore: <ref name="BOOK2014"/><ref name="interspeech2014Keynote"/><ref name="ReferenceA"/>

* Rritje/shkallëzim dhe trajnim dhe dekodim i përshpejtuar i DNN
* Sekuenca e trajnimit diskriminues
* Përpunimi i veçorive nga modele të thella me kuptim të fortë të mekanizmave themelorë
* Përshtatja e DNN-ve dhe modeleve të thella përkatëse
* Mësimi me shumë detyra dhe transferim nga DNN dhe modele të thella përkatëse
* CNN dhe si t'i dizajnoni ato për të shfrytëzuar më së miri njohuritë e domenit të fjalës
* RNN dhe variantet e tij të pasura LSTM
* Llojet e tjera të modeleve të thella, duke përfshirë modelet e bazuara në tensor dhe modelet e integruara gjeneruese/diskriminuese të thella.

Të gjitha sistemet kryesore komerciale të njohjes së të folurit (p.sh. Microsoft Cortana, [[Xbox]], Skype Translator, Amazon Alexa, Google Now, [[Siri|Apple Siri]], Baidu dhe iFlyTek kërkimi zanor dhe një sërë produktesh të të folurit Nuance, etj.) bazohen në të mësuarit e thellë. Këto rrjete nervore të avancuara janë thelbësore për përmirësimin e saktësisë dhe efikasitetit të sistemeve të njohjes dhe përpunimit të të folurit në kohë reale.<ref name="BOOK2014"/>

=== Njohja e imazhit ===
[[Skeda:Deep Learning in mussel farming.webm|parapamje| Richard Green shpjegon se si të mësuarit e thellë përdoret me një mjet të drejtuar nga distanca në [[Midhje|akuakulturën e midhjeve]]]]
Një grup i njohur për vlerësimin e '''klasifikimit të imazheve''' është '''grupi i të dhënave MNIST''', i cili përmban '''shifra të shkruara me dorë'''. Ai përfshin '''60,000 shembuj trajnimi''' dhe '''10,000 shembuj testimi''', duke e bërë atë të përshtatshëm për testimin dhe krahasimin e konfigurimeve të ndryshme të modeleve. Ngjashëm me grupin '''TIMIT''' për njohjen e të folurit, madhësia e vogël e MNIST lejon testimin e shpejtë të konfigurimeve të shumta. Për më tepër, ekziston një '''listë gjithëpërfshirëse e rezultateve''' të arritura në këtë grup të dhënash, e cila shërben si pikë referimi për performancën e modeleve të ndryshme.<ref name="YANNMNIST">{{Cite web |title=MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges |url=http://yann.lecun.com/exdb/mnist/. |url-status=live |archive-url=https://web.archive.org/web/20140113175237/http://yann.lecun.com/exdb/mnist/ |archive-date=2014-01-13 |access-date=2014-01-28 |website=yann.lecun.com |language=en}}</ref>

Image recognition based on '''deep learning''' has reached a '''"superhuman"''' level, delivering results that surpass the accuracy of human participants. This milestone demonstrates the capability of deep neural networks to analyze and interpret visual data with precision beyond human limitations, especially in large-scale challenges such as the '''ImageNet''' competition. This first occurred in 2011 in recognition of traffic signs, and in 2014, with recognition of human faces.<ref name=":7">{{Cite journal |last=Cireşan |first=Dan |last2=Meier |first2=Ueli |last3=Masci |first3=Jonathan |last4=Schmidhuber |first4=Jürgen |date=gusht 2012 |title=Multi-column deep neural network for traffic sign classification |journal=Neural Networks |series=Selected Papers from IJCNN 2011 |language=en |volume=32 |pages=333–338 |citeseerx=10.1.1.226.8219 |doi=10.1016/j.neunet.2012.02.023 |pmid=22386783}}</ref><ref name="surpass1">{{Cite arXiv|title=Surpassing Human Level Face Recognition}}</ref>

Automjetet e pajisura me teknologji të të mësuarit të thellë tani janë në gjendje të interpretojnë pamjet 360° të kapura nga kamerat. [1] Një tjetër shembull është Facial Dismorphology Novel Analysis (FDNA), e cila përdoret për të analizuar keqformimet njerëzore duke i lidhur ato me një bazë të dhënash të madhe të sindromave gjenetike.

=== Përpunimi i artit pamor ===
[[Skeda:Jimmy Wales in France, with the style of Munch's "The Scream" applied using neural style transfer.jpg|parapamje|164x164px| Përpunimi i artit pamor të Jimmy Wales në Francë, me stilin e " [[Britma (vepër artistike)|The Scream]] " të Munch të aplikuar duke përdorur transferimin e stilit nervor]]
I lidhur ngushtë me përparimet në '''njohjen e imazheve''' është përdorimi në rritje i '''teknikave të të mësuarit të thellë''' në detyra të ndryshme të '''artit pamor'''. '''Rrjetet nervore të thella (DNN)''' kanë dëshmuar aftësinë e tyre për të kryer detyra si:

* identifikimi i periudhës së stilit të një pikture të caktuar <ref name="art1" /><ref name="art2" />
* Transferimi i stilit nervor{{Snd}}kapja e stilit të një vepre arti të caktuar dhe zbatimi i tij në një mënyrë të këndshme vizualisht në një fotografi ose video arbitrare <ref name="art1" /><ref name="art2" />
* duke gjeneruar imazhe mahnitëse bazuar në fushat e rastësishme të hyrjes vizuale.<ref name="art1">{{Cite journal |last=G. W. Smith |last2=Frederic Fol Leymarie |date=10 prill 2017 |title=The Machine as Artist: An Introduction |journal=Arts |language=en |volume=6 |issue=4 |pages=5 |doi=10.3390/arts6020005 |doi-access=free}}</ref><ref name="art2">{{Cite journal |last=Blaise Agüera y Arcas |date=29 shtator 2017 |title=Art in the Age of Machine Intelligence |journal=Arts |language=en |volume=6 |issue=4 |pages=18 |doi=10.3390/arts6040018 |doi-access=free}}</ref>

=== Përpunimi i gjuhës natyrore ===
'''Rrjetet nervore''' kanë qenë në përdorim për '''zbatimin e modeleve gjuhësore''' që nga fillimi i viteve 2000. Fillimisht, ato u përdorën për detyra si '''modelimi i gjuhës''', '''përkthimi me makinë''', dhe '''njohja e të folurit''', duke hapur rrugën për zhvillimin e modeleve më të avancuara. Me kalimin e kohës, përparimet në arkitekturat si '''RNN''' dhe më vonë '''Transformer''', kanë përmirësuar ndjeshëm aftësitë e këtyre modeleve për të kuptuar, analizuar dhe gjeneruar tekst në mënyrë të natyrshme dhe efikase.<ref name="gers2001"/> LSTM ndihmoi në përmirësimin e përkthimit të makinës dhe modelimit të gjuhës.<ref name="NIPS2014"/>

Teknika të tjera të rëndësishme në këtë fushë përfshijnë '''kampionimin negativ''' [1] dhe '''futjen e fjalëve'''. Futja e fjalëve, si '''word2vec''', mund të shihet si një '''shtresë përfaqësuese''' në një arkitekturë të të mësuarit të thellë, e cila transformon një fjalë atomike në një përfaqësim '''pozicional''' që lidhet me fjalët e tjera në grupin e të dhënave. Ky pozicion përfaqësohet si një '''pikë në një''' [[Hapësira vektoriale|hapësirë vektoriale]] , duke kapur kuptimin kontekstual dhe semantik të fjalëve. Kjo qasje përmirëson ndjeshëm aftësinë e modeleve për të kuptuar dhe gjeneruar gjuhë natyrore në mënyrë më të sofistikuar. Përdorimi i '''futjes së fjalëve''' si një '''shtresë hyrëse''' në një '''RNN''' i mundëson rrjetit të analizojë fjalitë dhe frazat duke përdorur një '''gramatikë vektoriale kompozicionale''' efektive. Kjo gramatikë mund të shihet si një zbatim i një '''gramatike probabilistike pa kontekst (PCFG)''', ku struktura e saj realizohet dhe mësohet nga '''RNN'''. Kjo i jep rrjetit aftësinë për të kuptuar marrëdhëniet semantike dhe sintaksore midis fjalëve, duke i përfaqësuar ato si kombinime të kuptimit të fjalëve individuale në një hapësirë vektoriale.<ref name="SocherManning2014">{{Cite web |last=Socher |first=Richard |last2=Manning |first2=Christopher |title=Deep Learning for NLP |url=http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf |url-status=live |archive-url=https://web.archive.org/web/20140706040227/http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf |archive-date=6 korrik 2014 |access-date=26 tetor 2014 |language=en}}</ref> Koduesit automatikë rekurzivë të ndërtuar mbi futjet e fjalëve mund të vlerësojnë ngjashmërinë e fjalive dhe të zbulojnë parafrazimin.<ref name="SocherManning2014" /> Arkitekturat nervore të thella ofrojnë rezultatet më të mira për analizimin e konstituencës,<ref>{{Cite journal |last=Socher |first=Richard |last2=Bauer |first2=John |last3=Manning |first3=Christopher |last4=Ng |first4=Andrew |date=2013 |title=Parsing With Compositional Vector Grammars |url=http://aclweb.org/anthology/P/P13/P13-1045.pdf |url-status=live |journal=Proceedings of the ACL 2013 Conference |language=en |archive-url=https://web.archive.org/web/20141127005912/http://www.aclweb.org/anthology/P/P13/P13-1045.pdf |archive-date=2014-11-27 |access-date=2014-09-03}}</ref> analizën e ndjenjave,<ref name="RDM_1">{{Cite journal |last=Socher, R. |last2=Perelygin, A. |last3=Wu, J. |last4=Chuang, J. |last5=Manning, C.D. |last6=Ng, A. |last7=Potts, C. |date=tetor 2013 |title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank |url=https://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf |url-status=live |journal=Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing |language=en |publisher=Association for Computational Linguistics |archive-url=https://web.archive.org/web/20161228100300/http://nlp.stanford.edu/%7Esocherr/EMNLP2013_RNTN.pdf |archive-date=28 dhjetor 2016 |access-date=21 dhjetor 2023}}</ref> rikthimin e informacionit,<ref>{{Cite journal |last=Shen |first=Yelong |last2=He |first2=Xiaodong |last3=Gao |first3=Jianfeng |last4=Deng |first4=Li |last5=Mesnil |first5=Gregoire |date=1 nëntor 2014 |title=A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval |url=https://www.microsoft.com/en-us/research/publication/a-latent-semantic-model-with-convolutional-pooling-structure-for-information-retrieval/ |url-status=live |journal=Microsoft Research |language=en |archive-url=https://web.archive.org/web/20171027050418/https://www.microsoft.com/en-us/research/publication/a-latent-semantic-model-with-convolutional-pooling-structure-for-information-retrieval/ |archive-date=27 tetor 2017 |access-date=14 qershor 2017}}</ref><ref>{{Cite journal |last=Huang |first=Po-Sen |last2=He |first2=Xiaodong |last3=Gao |first3=Jianfeng |last4=Deng |first4=Li |last5=Acero |first5=Alex |last6=Heck |first6=Larry |date=1 tetor 2013 |title=Learning Deep Structured Semantic Models for Web Search using Clickthrough Data |url=https://www.microsoft.com/en-us/research/publication/learning-deep-structured-semantic-models-for-web-search-using-clickthrough-data/ |url-status=live |journal=Microsoft Research |language=en |archive-url=https://web.archive.org/web/20171027050414/https://www.microsoft.com/en-us/research/publication/learning-deep-structured-semantic-models-for-web-search-using-clickthrough-data/ |archive-date=27 tetor 2017 |access-date=14 qershor 2017}}</ref> kuptimin e gjuhës së folur,<ref name="IEEE-TASL2015">{{Cite journal |last=Mesnil |first=G. |last2=Dauphin |first2=Y. |last3=Yao |first3=K. |last4=Bengio |first4=Y. |last5=Deng |first5=L. |last6=Hakkani-Tur |first6=D. |author-link6=Dilek Hakkani-Tür |last7=He |first7=X. |last8=Heck |first8=L. |last9=Tur |first9=G. |last10=Yu |first10=D. |last11=Zweig |first11=G. |year=2015 |title=Using recurrent neural networks for slot filling in spoken language understanding |journal=IEEE Transactions on Audio, Speech, and Language Processing |language=en |volume=23 |issue=3 |pages=530–539 |doi=10.1109/taslp.2014.2383614}}</ref> përkthimin në makinë,<ref name="NIPS2014"/><ref name="auto">{{Cite journal |last=Gao |first=Jianfeng |last2=He |first2=Xiaodong |last3=Yih |first3=Scott Wen-tau |last4=Deng |first4=Li |date=1 qershor 2014 |title=Learning Continuous Phrase Representations for Translation Modeling |url=https://www.microsoft.com/en-us/research/publication/learning-continuous-phrase-representations-for-translation-modeling/ |url-status=live |journal=Microsoft Research |language=en |archive-url=https://web.archive.org/web/20171027050403/https://www.microsoft.com/en-us/research/publication/learning-continuous-phrase-representations-for-translation-modeling/ |archive-date=27 tetor 2017 |access-date=14 qershor 2017}}</ref> lidhjen e entitetit kontekstual,<ref name="auto" /><ref name="auto" /> njohja e stilit të shkrimit,<ref name="BROC2017">{{Cite journal |last=Brocardo |first=Marcelo Luiz |last2=Traore |first2=Issa |last3=Woungang |first3=Isaac |last4=Obaidat |first4=Mohammad S. |year=2017 |title=Authorship verification using deep belief network systems |journal=International Journal of Communication Systems |language=en |volume=30 |issue=12 |pages=e3259 |doi=10.1002/dac.3259}}</ref> njohja e entitetit të emërtuar (klasifikimi i tokenit),<ref>{{Cite journal |last=Kariampuzha |first=William |last2=Alyea |first2=Gioconda |last3=Qu |first3=Sue |last4=Sanjak |first4=Jaleal |last5=Mathé |first5=Ewy |last6=Sid |first6=Eric |last7=Chatelaine |first7=Haley |last8=Yadaw |first8=Arjun |last9=Xu |first9=Yanji |last10=Zhu |first10=Qian |date=2023 |title=Precision information extraction for rare disease epidemiology at scale |journal=Journal of Translational Medicine |language=en |volume=21 |issue=1 |page=157 |doi=10.1186/s12967-023-04011-y |pmc=9972634 |pmid=36855134 |doi-access=free}}</ref> klasifikimi i tekstit dhe të tjerë.<ref>{{Cite news |title=Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) – Microsoft Research |language=en |work=Microsoft Research |url=https://www.microsoft.com/en-us/research/project/deep-learning-for-natural-language-processing-theory-and-practice-cikm2014-tutorial/ |url-status=live |access-date=14 qershor 2017 |archive-url=https://web.archive.org/web/20170313184253/https://www.microsoft.com/en-us/research/project/deep-learning-for-natural-language-processing-theory-and-practice-cikm2014-tutorial/ |archive-date=13 mars 2017}}</ref>

Zhvillimet e fundit në të mësuarit e thellë kanë zgjeruar konceptin e '''futjes së fjalëve''' në '''futjen e fjalive'''. Në vend që të përfaqësojnë vetëm fjalë individuale në një hapësirë vektoriale, këto teknika përfshijnë të gjithë fjalinë, duke kapur '''kontekste më të gjera''' dhe marrëdhëniet ndërmjet fjalëve në mënyrë më komplekse. Këto përfaqësime, të gjeneruara nga modele si '''BERT''', '''GPT''', dhe '''InferSent''', ndihmojnë në detyra të avancuara si '''përpunimi i gjuhës natyrore (NLP)''', përkthimi i saktë kontekstual dhe analizimi i kuptimeve komplekse në tekst.

[[Google translate|Google Translate]] (GT) përdor një '''rrjet të madh memorie afatshkurtër (LSTM)''' nga fundi në fund për të trajtuar përkthimin e gjuhës në mënyrë më efikase dhe të saktë. [1][2][3][4] Ndërkohë, '''Google Neural Machine Translation (GNMT)''', që është motori bazë i GT, përdor një metodë të '''përkthimit makinerie të bazuar në shembuj''', ku sistemi '''"mëson nga miliona shembuj"''' për të kuptuar dhe përkthyer tekstin në mënyrë më natyrale. Kjo qasje mbështetet te fuqia e të mësuarit të thellë për të kuptuar kontekstin dhe nuancat e gjuhës në nivel të thellë dhe kompleks.<ref name="googleblog_GNMT_2016">{{Cite web |last=Schuster |first=Mike |last2=Johnson |first2=Melvin |last3=Thorat |first3=Nikhil |date=22 nëntor 2016 |title=Zero-Shot Translation with Google's Multilingual Neural Machine Translation System |url=https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html |url-status=live |archive-url=https://web.archive.org/web/20170710183732/https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html |archive-date=10 korrik 2017 |access-date=23 mars 2017 |website=Google Research Blog |language=en}}</ref> Ai përkthen "fjali të tëra në një kohë, në vend të pjesëve". Google Translate mbështet mbi njëqind gjuhë.<ref name="googleblog_GNMT_2016" /> Rrjeti kodon "semantikën e fjalisë në vend që thjesht të mësojë përmendësh përkthime nga fraza në frazë".<ref name="googleblog_GNMT_2016" /><ref name="Biotet">{{Cite web |last=Boitet |first=Christian |last2=Blanchon |first2=Hervé |last3=Seligman |first3=Mark |last4=Bellynck |first4=Valérie |date=2010 |title=MT on and for the Web |url=http://www-clips.imag.fr/geta/herve.blanchon/Pdfs/NLP-KE-10.pdf |url-status=dead |archive-url=https://web.archive.org/web/20170329125916/http://www-clips.imag.fr/geta/herve.blanchon/Pdfs/NLP-KE-10.pdf |archive-date=29 mars 2017 |access-date=1 dhjetor 2016 |language=en}}</ref> GT përdor anglishten si një ndërmjetës midis shumicës së çifteve gjuhësore.<ref name="Biotet" />

=== Zbulimi i barnave dhe toksikologjia ===
Një përqindje e konsiderueshme e '''barnave kandidate''' nuk arrijnë të fitojnë '''miratimin rregullator'''. Këto dështime zakonisht ndodhin për shkak të: '''Efikasitetit të pamjaftueshëm''' (ku ilaçi nuk arrin të prodhojë efektin e dëshiruar në objektivin biologjik), '''Ndërveprimeve të padëshiruara''' (që përfshijnë efektet jashtë objektivit të synuar, duke çuar në ndikime të padëshirueshme në proceset e tjera biologjike), [[Toksiciteti|efektet toksike]] të paparashikuara.<ref name="ARROWSMITH2013">{{Cite journal |last=Arrowsmith |first=J |last2=Miller |first2=P |year=2013 |title=Trial watch: Phase II and phase III attrition rates 2011–2012 |journal=Nature Reviews Drug Discovery |language=en |volume=12 |issue=8 |pages=569 |doi=10.1038/nrd4090 |pmid=23903212 |doi-access=free}}</ref><ref name="VERBIEST2015">{{Cite journal |last=Verbist |first=B |last2=Klambauer |first2=G |last3=Vervoort |first3=L |last4=Talloen |first4=W |last5=The Qstar |first5=Consortium |last6=Shkedy |first6=Z |last7=Thas |first7=O |last8=Bender |first8=A |last9=Göhlmann |first9=H. W. |last10=Hochreiter |first10=S |year=2015 |title=Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project |journal=Drug Discovery Today |language=en |volume=20 |issue=5 |pages=505–513 |doi=10.1016/j.drudis.2014.12.014 |pmid=25582842 |doi-access=free |hdl-access=free}}</ref> Hulumtimet kanë eksploruar përdorimin e të mësuarit të thellë për të parashikuar objektivat biomolekulare,<ref name="MERCK2012">{{Cite web |title=Merck Molecular Activity Challenge |url=https://kaggle.com/c/MerckActivity |url-status=live |archive-url=https://web.archive.org/web/20200716190808/https://www.kaggle.com/c/MerckActivity |archive-date=2020-07-16 |access-date=2020-07-16 |website=kaggle.com |language=en}}</ref><ref name=":5">{{Cite web |title=Multi-task Neural Networks for QSAR Predictions {{!}} Data Science Association |url=http://www.datascienceassn.org/content/multi-task-neural-networks-qsar-predictions |url-status=live |archive-url=https://web.archive.org/web/20170430142049/http://www.datascienceassn.org/content/multi-task-neural-networks-qsar-predictions |archive-date=30 prill 2017 |access-date=14 qershor 2017 |website=www.datascienceassn.org |language=en}}</ref> jashtë objektivave dhe [[Toksiciteti|efektet toksike]] të kimikateve mjedisore në lëndë ushqyese, produkte shtëpiake dhe ilaçe.<ref name="TOX21Data">{{Cite web |title=NCATS Announces Tox21 Data Challenge Winners |url=https://tripod.nih.gov/tox21/challenge/leaderboard.jsp |url-status=live |archive-url=https://web.archive.org/web/20150908025122/https://tripod.nih.gov/tox21/challenge/leaderboard.jsp |archive-date=2015-09-08 |access-date=2015-03-05 |language=en}}</ref><ref name=":11">{{Cite web |title=NCATS Announces Tox21 Data Challenge Winners |url=http://www.ncats.nih.gov/news-and-events/features/tox21-challenge-winners.html |url-status=dead |archive-url=https://web.archive.org/web/20150228225709/http://www.ncats.nih.gov/news-and-events/features/tox21-challenge-winners.html |archive-date=28 shkurt 2015 |access-date=5 mars 2015 |language=en}}</ref>

'''AtomNet''' është një sistem i '''mësimit të thellë''' i krijuar për '''dizajnin racional të barnave''' të bazuara në strukturën molekulare. Duke përdorur arkitektura të avancuara si '''rrjetet nervore konvolucionale (CNN)''', AtomNet analizon strukturat tredimensionale të molekulave dhe objektivave biologjikë për të identifikuar potencialin e lidhjes dhe efektivitetin e barnave kandidate. Ky sistem është përdorur për të zbuluar molekula me potencial terapeutik, duke përshpejtuar procesin e zhvillimit të barnave dhe duke reduktuar kostot dhe kohën e nevojshme për kërkim.<ref>{{Cite arXiv|title=AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery}}</ref> AtomNet u përdor për të parashikuar biomolekulat e reja kandidate për objektivat e sëmundjeve si virusi Ebola <ref name="Toronto">{{Cite news |title=Toronto startup has a faster way to discover effective medicines |language=en |work=[[The Globe and Mail]] |url=https://www.theglobeandmail.com/report-on-business/small-business/starting-out/toronto-startup-has-a-faster-way-to-discover-effective-medicines/article25660419/ |url-status=live |access-date=9 nëntor 2015 |archive-url=https://web.archive.org/web/20151020040115/http://www.theglobeandmail.com/report-on-business/small-business/starting-out/toronto-startup-has-a-faster-way-to-discover-effective-medicines/article25660419/ |archive-date=20 tetor 2015}}</ref> dhe [[Multiple skleroza|skleroza e shumëfishtë]].<ref>{{Cite web |date=27 maj 2015 |title=Startup Harnesses Supercomputers to Seek Cures |url=http://ww2.kqed.org/futureofyou/2015/05/27/startup-harnesses-supercomputers-to-seek-cures/ |url-status=live |archive-url=https://web.archive.org/web/20151224104721/http://ww2.kqed.org/futureofyou/2015/05/27/startup-harnesses-supercomputers-to-seek-cures/ |archive-date=24 dhjetor 2015 |access-date=9 nëntor 2015 |website=KQED Future of You |language=en}}</ref><ref name="Toronto" />

Në vitin 2017, '''rrjetet nervore grafike (GNN)''' u aplikuan për herë të parë për të '''parashikuar vetitë e ndryshme të molekulave''' në një grup të madh të dhënash '''toksikologjike'''. Ky qasje inovative përdori struktura grafike për të përfaqësuar molekulat, ku atomet konsideroheshin si nyje dhe lidhjet kimike si skaje. '''GNN-të''' mundësuan kapjen e marrëdhënieve komplekse midis atomeve dhe përmirësuan ndjeshëm saktësinë në parashikimin e toksicitetit dhe vetive të tjera kimike, duke shënuar një hap të rëndësishëm në zbatimin e mësimit të thellë në kimi dhe farmaceutikë.<ref>Gilmer, Justin; Schoenholz, Samuel S.; Riley, Patrick F.; Vinyals, Oriol; Dahl, George E. (2017-06-12). "Neural Message Passing for Quantum Chemistry". arXiv:1704.01212 [cs.LG].</ref> Në vitin 2019, rrjetet nervore gjeneruese u përdorën për të prodhuar molekula që u vërtetuan eksperimentalisht deri në minj.<ref>{{Cite journal |last=Zhavoronkov |first=Alex |date=2019 |title=Deep learning enables rapid identification of potent DDR1 kinase inhibitors |journal=Nature Biotechnology |language=en |volume=37 |issue=9 |pages=1038–1040 |doi=10.1038/s41587-019-0224-x |pmid=31477924}}</ref>

=== Menaxhimi i marrëdhënieve me klientët ===

Mësimi i përforcimit të thellë është aplikuar për të përafruar vlerën e veprimeve të mundshme në marketingun e drejtpërdrejtë, të bazuara në variablat RFM (Recency, Frequency, Monetary). Funksioni i vlerës së vlerësuar u interpretua natyrshëm si një masë e vlerës së jetës së klientit.

=== Sistemet e rekomandimit ===
 Sistemet e rekomandimeve kanë zbatuar të mësuarit e thellë për të nxjerrë veçori të rëndësishme që mbështesin modelet e faktorëve latentë, duke përmirësuar rekomandimet e bazuara në përmbajtjen e muzikës dhe sugjerimet e ditarit personal.<ref>{{Cite book |last=van den Oord |first=Aaron |url=http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf |title=Advances in Neural Information Processing Systems 26 |last2=Dieleman |first2=Sander |last3=Schrauwen |first3=Benjamin |date=2013 |publisher=Curran Associates, Inc. |editor-last=Burges |editor-first=C. J. C. |pages=2643–2651 |language=en |access-date=2017-06-14 |editor-last2=Bottou |editor-first2=L. |editor-last3=Welling |editor-first3=M. |editor-last4=Ghahramani |editor-first4=Z. |editor-last5=Weinberger |editor-first5=K. Q. |archive-url=https://web.archive.org/web/20170516185259/http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf |archive-date=2017-05-16 |url-status=live}}</ref><ref>{{Cite journal |last=Feng |first=X.Y. |last2=Zhang |first2=H. |last3=Ren |first3=Y.J. |last4=Shang |first4=P.H. |last5=Zhu |first5=Y. |last6=Liang |first6=Y.C. |last7=Guan |first7=R.C. |last8=Xu |first8=D. |year=2019 |title=The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study |journal=[[Journal of Medical Internet Research]] |language=en |volume=21 |issue=5 |page=e12957 |doi=10.2196/12957 |pmc=6555124 |pmid=31127715 |doi-access=free}}</ref> Mësimi i thellë me shumë pamje është aplikuar për të mësuar preferencat e përdoruesve nga fusha të shumta.<ref>{{Cite journal |last=Elkahky |first=Ali Mamdouh |last2=Song |first2=Yang |last3=He |first3=Xiaodong |date=1 maj 2015 |title=A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems |url=https://www.microsoft.com/en-us/research/publication/a-multi-view-deep-learning-approach-for-cross-domain-user-modeling-in-recommendation-systems/ |url-status=live |journal=Microsoft Research |language=en |archive-url=https://web.archive.org/web/20180125134534/https://www.microsoft.com/en-us/research/publication/a-multi-view-deep-learning-approach-for-cross-domain-user-modeling-in-recommendation-systems/ |archive-date=25 janar 2018 |access-date=14 qershor 2017}}</ref> Modeli përdor një qasje hibride bashkëpunuese dhe të bazuar në përmbajtje dhe rrit rekomandimet në detyra të shumta.

=== Bioinformatika ===

Një '''autoenkoder ANN''' u përdor me sukses në [[Bioinformatika|bioinformatikë]], për të '''parashikuar shënimet e ontologjisë së gjeneve''' dhe për të identifikuar '''marrëdhëniet midis gjeneve dhe funksioneve të tyre'''. Duke përdorur arkitekturën e autoenkoderit, modeli mësoi përfaqësime të ngjeshura dhe të rëndësishme të të dhënave biologjike, duke përmirësuar saktësinë në parashikimin e lidhjeve komplekse midis gjeneve dhe funksioneve të tyre në baza të dhënash me shkallë të gjerë. Kjo qasje ndihmoi në zbërthimin e marrëdhënieve biologjike që mund të mos ishin evidente me metodat tradicionale.<ref>{{Cite book |last=Chicco |first=Davide |url=http://dl.acm.org/citation.cfm?id=2649442 |title=Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics |last2=Sadowski |first2=Peter |last3=Baldi |first3=Pierre |date=1 janar 2014 |publisher=ACM |isbn=978-1-4503-2894-4 |pages=533–540 |language=en |chapter=Deep autoencoder neural networks for gene ontology annotation predictions |doi=10.1145/2649387.2649442 |hdl=11311/964622 |access-date=23 nëntor 2015 |archive-url=https://web.archive.org/web/20210509123140/https://dl.acm.org/doi/10.1145/2649387.2649442 |archive-date=9 maj 2021 |url-status=live}}</ref>

Në informatikën mjekësore, mësimi i thellë u përdor për '''Parashikimin e cilësisë së gjumit''' duke analizuar të dhënat e mbledhura nga '''pajisjet e veshura''' [1], si orët inteligjente dhe sensorët, për të vlerësuar modelet dhe anomalitë e gjumit.<ref>{{Cite journal |last=Sathyanarayana |first=Aarti |date=1 janar 2016 |title=Sleep Quality Prediction From Wearable Data Using Deep Learning |journal=JMIR mHealth and uHealth |language=en |volume=4 |issue=4 |pages=e125 |doi=10.2196/mhealth.6562 |pmc=5116102 |pmid=27815231 |doi-access=free}}</ref> dhe parashikimet e komplikimeve shëndetësore nga të dhënat elektronike të të dhënave shëndetësore.<ref>{{Cite journal |last=Choi |first=Edward |last2=Schuetz |first2=Andy |last3=Stewart |first3=Walter F. |last4=Sun |first4=Jimeng |date=13 gusht 2016 |title=Using recurrent neural network models for early detection of heart failure onset |journal=Journal of the American Medical Informatics Association |language=en |volume=24 |issue=2 |pages=361–370 |doi=10.1093/jamia/ocw112 |issn=1067-5027 |pmc=5391725 |pmid=27521897}}</ref>

Rrjetet nervore të thella kanë arritur rezultate të jashtëzakonshme në parashikimin e strukturës së proteinave bazuar në sekuencën e aminoacideve të tyre. Në vitin 2020, AlphaFold, një sistem i bazuar në mësimin e thellë, shënoi një nivel saktësie shumë më të lartë se të gjitha metodat llogaritëse të mëparshme.<ref>{{Cite web |title=DeepMind's protein-folding AI has solved a 50-year-old grand challenge of biology |url=https://www.technologyreview.com/2020/11/30/1012712/deepmind-protein-folding-ai-solved-biology-science-drugs-disease/ |access-date=2024-05-10 |website=MIT Technology Review |language=en}}</ref><ref>{{Cite web |last=Shead |first=Sam |date=2020-11-30 |title=DeepMind solves 50-year-old 'grand challenge' with protein folding A.I. |url=https://www.cnbc.com/2020/11/30/deepmind-solves-protein-folding-grand-challenge-with-alphafold-ai.html |access-date=2024-05-10 |website=CNBC |language=en}}</ref>

=== Vlerësimet e Rrjetit Neural të Thellë ===
Rrjetet nervore të thella mund të përdoren për të vlerësuar entropinë e një [[Proceset stokastike|procesi stokastik]] dhe të quajtur Vlerësuesi i Entropisë së Përbashkët Neural (NJEE).<ref name="SPB22">{{Cite journal |last=Shalev |first=Y. |last2=Painsky |first2=A. |last3=Ben-Gal |first3=I. |date=2022 |title=Neural Joint Entropy Estimation |url=https://www.iradbengal.sites.tau.ac.il/_files/ugd/901879_d51bc0a620734585b5d3154488b3ae84.pdf |journal=IEEE Transactions on Neural Networks and Learning Systems |language=en |volume=PP |issue=4 |pages=5488–5500 |arxiv=2012.11197 |doi=10.1109/TNNLS.2022.3204919 |pmid=36155469}}</ref> Një vlerësim i tillë ofron njohuri mbi efektet e [[Ndryshorja e rastit|variablave të rastësishme]] hyrëse në një [[Ndryshorja e rastit|variabël të rastësishëm]] të pavarur. Praktikisht, DNN është trajnuar si një klasifikues që harton një vektor hyrës ose [[Matrica|matricë]] X në një [[Shpërndarja e probabilitetit|shpërndarje probabiliteti të]] daljes mbi klasat e mundshme të ndryshores së rastësishme Y, duke pasur parasysh hyrjen X. Për shembull, në detyrat [[Vizioni kompjuterik|e klasifikimit të imazheve]], NJEE harton një vektor [[Pikseli|pikselësh]] ' vlerat e ngjyrave ndaj probabiliteteve mbi klasat e mundshme të imazhit. Në praktikë, shpërndarja e probabilitetit të Y merret nga një shtresë Softmax me numër nyjesh që është i barabartë me madhësinë e [[alfabeti]]t të Y. '''NJEE''' përdor '''funksione aktivizimi vazhdimisht të diferencueshme''', duke përmbushur kushtet e kërkuara nga '''teorema e përafrimit universal'''. Kjo qasje ka treguar se siguron një '''vlerësues shumë të qëndrueshëm''', duke ofruar performancë të shkëlqyer edhe kur alfabeti ka një madhësi të madhe. Në këto raste, NJEE ka tejkaluar ndjeshëm metodat e tjera, duke e bërë atë një zgjedhje të preferuar për aplikime ku përmasat e alfabetit janë të mëdha dhe kërkohet saktësi e lartë.<ref name="SPB22" />

=== Analiza e imazhit mjekësor ===
Të mësuarit e thellë ka demonstruar rezultate konkurruese në aplikime mjekësore, duke përfshirë klasifikimin e qelizave kancerogjene, zbulimin e lezioneve, segmentimin e organeve dhe përmirësimin e cilësisë së imazheve mjekësore.<ref>{{Cite journal |last=Litjens |first=Geert |last2=Kooi |first2=Thijs |last3=Bejnordi |first3=Babak Ehteshami |last4=Setio |first4=Arnaud Arindra Adiyoso |last5=Ciompi |first5=Francesco |last6=Ghafoorian |first6=Mohsen |last7=van der Laak |first7=Jeroen A.W.M. |last8=van Ginneken |first8=Bram |last9=Sánchez |first9=Clara I. |date=dhjetor 2017 |title=A survey on deep learning in medical image analysis |journal=Medical Image Analysis |language=en |volume=42 |pages=60–88 |arxiv=1702.05747 |bibcode=2017arXiv170205747L |doi=10.1016/j.media.2017.07.005 |pmid=28778026}}</ref><ref>{{Cite book |last=Forslid |first=Gustav |title=2017 IEEE International Conference on Computer Vision Workshops (ICCVW) |last2=Wieslander |first2=Hakan |last3=Bengtsson |first3=Ewert |last4=Wahlby |first4=Carolina |last5=Hirsch |first5=Jan-Michael |last6=Stark |first6=Christina Runow |last7=Sadanandan |first7=Sajith Kecheril |year=2017 |isbn=978-1-5386-1034-3 |pages=82–89 |language=en |chapter=Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy |doi=10.1109/ICCVW.2017.18 |access-date=2019-11-12 |chapter-url=http://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-326160 |archive-url=https://web.archive.org/web/20210509123157/https://d1bxh8uas1mnw7.cloudfront.net/assets/embed.js |archive-date=2021-05-09 |url-status=live}}</ref> Mjetet bashkëkohore të të mësuarit të thellë kanë treguar saktësi të lartë në zbulimin e sëmundjeve të ndryshme dhe janë dëshmuar si mjete të dobishme për specialistët, duke ndihmuar në përmirësimin e efikasitetit të procesit të diagnostikimit.<ref>{{Cite journal |last=Dong |first=Xin |last2=Zhou |first2=Yizhao |last3=Wang |first3=Lantian |last4=Peng |first4=Jingfeng |last5=Lou |first5=Yanbo |last6=Fan |first6=Yiqun |date=2020 |title=Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework |journal=IEEE Access |language=en |volume=8 |pages=129889–129898 |bibcode=2020IEEEA...8l9889D |doi=10.1109/ACCESS.2020.3006362 |issn=2169-3536 |doi-access=free}}</ref><ref>{{Cite journal |last=Lyakhov |first=Pavel Alekseevich |last2=Lyakhova |first2=Ulyana Alekseevna |last3=Nagornov |first3=Nikolay Nikolaevich |date=2022-04-03 |title=System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network |journal=Cancers |language=en |volume=14 |issue=7 |pages=1819 |doi=10.3390/cancers14071819 |issn=2072-6694 |pmc=8997449 |pmid=35406591 |doi-access=free}}</ref>

=== Reklamimi celular ===
Identifikimi i audiencës së duhur për reklamimin celular është një sfidë e vazhdueshme, pasi kërkon analizimin dhe vlerësimin e një sërë pikash të dhënash përpara krijimit dhe përdorimit të një segmenti të synuar në shërbimin e reklamave nga serverët e reklamave.<ref>{{Cite book |last=De |first=Shaunak |title=2017 2nd International Conference on Communication Systems, Computing and IT Applications (CSCITA) |last2=Maity |first2=Abhishek |last3=Goel |first3=Vritti |last4=Shitole |first4=Sanjay |last5=Bhattacharya |first5=Avik |year=2017 |isbn=978-1-5090-4381-1 |pages=174–177 |language=en |chapter=Predicting the popularity of instagram posts for a lifestyle magazine using deep learning |doi=10.1109/CSCITA.2017.8066548}}</ref> Mësimi i thellë është zbatuar për të analizuar dhe interpretuar grupe të dhënash të mëdha dhe komplekse nga fushatat reklamuese në internet. Gjatë ciklit të reklamimit, që përfshin kërkesën, shërbimin dhe klikimin, mblidhen pika të shumta të dhënash. Ky informacion mund të përdoret si bazë për algoritmet e mësimit të makinerive për të optimizuar përzgjedhjen dhe shfaqjen e reklamave.

=== Rivendosja e imazhit ===
'''Mësimi i thellë''' është përdorur me sukses për të adresuar probleme të anasjellta në përpunimin e imazheve dhe videove, si denoising, ku modelet heqin zhurmat nga imazhet ose videot për të rikuperuar detaje më të qarta. Gjithashtu, është aplikuar në super-rezolucion, duke përmirësuar imazhet me rezolucion të ulët për t'i bërë ato më të mprehta dhe më të detajuara. Një tjetër përdorim i rëndësishëm është inlying, ku identifikohen objekte ose elemente të rëndësishme brenda një imazhi, dhe colorization i filmave, që përfshin shtimin automatik të ngjyrave në filma bardhezi, duke i rikthyer ato në gjendjen e tyre origjinale ose duke u dhënë një pamje të re artistike. Këto zgjidhje kanë përmirësuar ndjeshëm efikasitetin dhe cilësinë e rezultateve në këto fusha.<ref>{{Cite web |date=13 nëntor 2018 |title=Colorizing and Restoring Old Images with Deep Learning |url=https://blog.floydhub.com/colorizing-and-restoring-old-images-with-deep-learning/ |url-status=live |archive-url=https://web.archive.org/web/20191011162814/https://blog.floydhub.com/colorizing-and-restoring-old-images-with-deep-learning/ |archive-date=11 tetor 2019 |access-date=11 tetor 2019 |website=FloydHub Blog |language=en}}</ref> Këto aplikacione përfshijnë metoda të të mësuarit, si "Fushat e tkurrjes për restaurimin efektiv të imazhit" [1], që trajnohen në një grup të dhënash të imazheve, dhe Deep Image Prior, që trajnohet specifikisht mbi imazhin që kërkon restaurim.

=== Zbulimi i mashtrimit financiar ===
'''Mësimi i thellë''' po zbatohet me sukses në fusha të ndryshme të '''financave''' dhe '''sigurisë''', duke përfshirë: [[Mashtrimi (vepër penale)|zbulimin e mashtrimit]] financiar ku modelet analizojnë sjelljet transaksionale për të identifikuar modele të pazakonta që sinjalizojnë mashtrime, '''Zbulimin e evazionit fiskal''', duke përdorur të dhëna komplekse për të monitoruar dhe analizuar sjellje që shmangin detyrimet tatimore,<ref>{{Cite journal |last=Kleanthous |first=Christos |last2=Chatzis |first2=Sotirios |year=2020 |title=Gated Mixture Variational Autoencoders for Value Added Tax audit case selection |journal=Knowledge-Based Systems |language=en |volume=188 |page=105048 |doi=10.1016/j.knosys.2019.105048}}</ref> dhe '''Kundër pastrimit të parave''', ku rrjetet nervore të thella ndihmojnë në identifikimin e aktiviteteve të dyshimta brenda transaksioneve financiare duke kapur modele të fshehura dhe varësi komplekse. Këto aplikime po përmirësojnë ndjeshëm aftësitë e institucioneve financiare dhe autoriteteve rregullatore për të zbuluar dhe parandaluar aktivitetet e paligjshme.<ref>{{Cite journal |last=Czech |first=Tomasz |date=28 qershor 2018 |title=Deep learning: the next frontier for money laundering detection |url=https://www.globalbankingandfinance.com/deep-learning-the-next-frontier-for-money-laundering-detection/ |url-status=live |journal=Global Banking and Finance Review |language=en |archive-url=https://web.archive.org/web/20181116082711/https://www.globalbankingandfinance.com/deep-learning-the-next-frontier-for-money-laundering-detection/ |archive-date=2018-11-16 |access-date=2018-07-15}}</ref>

=== Shkenca e materialeve ===
Në nëntor 2023, studiuesit në [[Google DeepMind]] dhe Lawrence Berkeley National Laboratory prezantuan një sistem të avancuar të inteligjencës artificiale të quajtur '''GNoME'''. Ky sistem është krijuar për të trajtuar detyra komplekse në mënyrë efikase, duke kombinuar teknologjitë më të fundit në '''të mësuarit e thellë''' dhe '''modelimin e të dhënave shkencore'''. GNoME shënon një hap përpara në aplikimin e AI-së për problemet shkencore dhe inxhinierike, duke ofruar mundësi të reja për analizimin e të dhënave të mëdha dhe për nxjerrjen e përfundimeve të bazuara në modele komplekse. Ky sistem ka kontribuar në [[Shkenca e materialeve|shkencën e materialeve]] duke zbuluar mbi 2 milionë materiale të reja brenda një afati kohor relativisht të shkurtër. GNoME përdor teknika të të mësuarit të thellë për të eksploruar në mënyrë efikase strukturat e mundshme materiale, duke arritur një rritje të konsiderueshme në identifikimin e [[Struktura e kristaleve reale|strukturave të qëndrueshme kristal]] inorganike. Parashikimet e sistemit u vërtetuan përmes eksperimenteve autonome robotike, duke demonstruar një normë të dukshme suksesi prej 71%. Të dhënat e materialeve të zbuluara rishtazi janë bërë publike përmes bazës së të dhënave të Projektit Materiale, duke u mundësuar studiuesve të identifikojnë materialet me vetitë e kërkuara për aplikime të ndryshme. Ky zhvillim hap rrugën për përparime të reja në kërkimin shkencor dhe integrimin e AI në shkencën e materialeve, duke përshpejtuar procesin e inovacionit dhe ulur ndjeshëm kostot e zhvillimit të produkteve. Përdorimi i AI dhe mësimi i thellë ofron potencialin për të minimizuar ose eliminuar nevojën për eksperimente manuale laboratorike, duke i lejuar shkencëtarët të përqendrohen në hartimin dhe analizën e përbërjeve inovative.<ref>{{Cite web |last=Nuñez |first=Michael |date=2023-11-29 |title=Google DeepMind's materials AI has already discovered 2.2 million new crystals |url=https://venturebeat.com/ai/google-deepminds-materials-ai-has-already-discovered-2-2-million-new-crystals/ |access-date=2023-12-19 |website=VentureBeat |language=en-US}}</ref><ref>{{Cite journal |last=Merchant |first=Amil |last2=Batzner |first2=Simon |last3=Schoenholz |first3=Samuel S. |last4=Aykol |first4=Muratahan |last5=Cheon |first5=Gowoon |last6=Cubuk |first6=Ekin Dogus |date=dhjetor 2023 |title=Scaling deep learning for materials discovery |journal=Nature |language=en |volume=624 |issue=7990 |pages=80–85 |bibcode=2023Natur.624...80M |doi=10.1038/s41586-023-06735-9 |issn=1476-4687 |pmc=10700131 |pmid=38030720 |doi-access=free}}</ref><ref>{{Cite journal |last=Peplow |first=Mark |date=2023-11-29 |title=Google AI and robots join forces to build new materials |url=https://www.nature.com/articles/d41586-023-03745-5 |journal=Nature |language=en |doi=10.1038/d41586-023-03745-5 |pmid=38030771}}</ref>

=== Ushtarake ===
Departamenti i Mbrojtjes i Shteteve të Bashkuara ka përdorur mësimin e thellë për të trajnuar robotët që të mësojnë dhe kryejnë detyra të reja duke përdorur teknika të bazuara në vëzhgim.<ref name=":12">{{Cite web |title=Army researchers develop new algorithms to train robots |url=https://www.eurekalert.org/pub_releases/2018-02/uarl-ard020218.php |url-status=live |archive-url=https://web.archive.org/web/20180828035608/https://www.eurekalert.org/pub_releases/2018-02/uarl-ard020218.php |archive-date=28 gusht 2018 |access-date=29 gusht 2018 |website=EurekAlert! |language=en}}</ref>

=== Ekuacionet diferenciale të pjesshme ===
Rrjetet nervore të informuara nga fizika janë përdorur për të zgjidhur [[ekuacionet diferenciale të pjesshme]] si në problemet e përparme ashtu edhe në ato të anasjellta në një mënyrë të drejtuar nga të dhënat.<ref>{{Cite journal |last=Raissi |first=M. |last2=Perdikaris |first2=P. |last3=Karniadakis |first3=G. E. |date=2019-02-01 |title=Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations |journal=Journal of Computational Physics |language=en |volume=378 |pages=686–707 |bibcode=2019JCoPh.378..686R |doi=10.1016/j.jcp.2018.10.045 |issn=0021-9991 |osti=1595805 |doi-access=free}}</ref> Një shembull është rindërtimi i rrjedhës së lëngjeve duke përdorur ekuacionet Navier-Stokes. Rrjetet nervore të informuara nga fizika eliminojnë nevojën për gjenerimin e rrjeteve të shtrenjta, të cilat janë zakonisht të domosdoshme në metodat konvencionale të Dinamikës Llogaritëse të Lëngjeve (CFD).<ref>{{Cite journal |last=Mao |first=Zhiping |last2=Jagtap |first2=Ameya D. |last3=Karniadakis |first3=George Em |date=2020-03-01 |title=Physics-informed neural networks for high-speed flows |journal=Computer Methods in Applied Mechanics and Engineering |language=en |volume=360 |pages=112789 |bibcode=2020CMAME.360k2789M |doi=10.1016/j.cma.2019.112789 |issn=0045-7825 |doi-access=free}}</ref><ref>{{Cite journal |last=Raissi |first=Maziar |last2=Yazdani |first2=Alireza |last3=Karniadakis |first3=George Em |date=2020-02-28 |title=Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations |journal=Science |language=en |volume=367 |issue=6481 |pages=1026–1030 |bibcode=2020Sci...367.1026R |doi=10.1126/science.aaw4741 |pmc=7219083 |pmid=32001523}}</ref>

=== Metoda e ekuacionit diferencial stokastik të prapambetur të thellë ===
Metoda e ekuacionit diferencial stokastik të prapambetur të thellë është një qasje numerike që integron të mësuarit e thellë me ekuacionet diferenciale stokastike të prapambetura (BSDE). Kjo metodë është veçanërisht e efektshme për zgjidhjen e problemeve me dimensione të larta, duke gjetur aplikim të gjerë në fushën e matematikës financiare. Duke shfrytëzuar aftësitë e fuqishme të përafrimit të funksioneve të [[Mësimi i thellë|rrjeteve nervore të thella]], BSDE e thellë adreson sfidat llogaritëse me të cilat përballen metodat tradicionale numerike në mjedise me dimensione të larta. Metodat tradicionale, si metodat e diferencës së fundme apo simulimet Monte Carlo, shpesh përballen me sfidën e mallkimit të dimensionalitetit, ku kostoja llogaritëse rritet eksponencialisht me numrin e dimensioneve. Në kontrast, metodat e thella BSDE përdorin rrjete nervore të thella për të përafruar zgjidhjet e ekuacioneve diferenciale të pjesshme (PDE) me dimensione të larta, duke reduktuar në mënyrë efektive kompleksitetin dhe barrën llogaritëse.<ref name="Han2018">{{Cite journal |last=Han |first=J. |last2=Jentzen |first2=A. |last3=E |first3=W. |year=2018 |title=Solving high-dimensional partial differential equations using deep learning |journal=Proceedings of the National Academy of Sciences |language=en |volume=115 |issue=34 |pages=8505–8510 |arxiv=1707.02568 |bibcode=2018PNAS..115.8505H |doi=10.1073/pnas.1718942115 |pmc=6112690 |pmid=30082389 |doi-access=free}}</ref>

Integrimi i rrjeteve nervore të informuara nga fizika (PINN) në kuadrin e thellë BSDE përmirëson ndjeshëm aftësitë e tij, duke inkorporuar ligjet fizike themelore drejtpërdrejt në arkitekturën e rrjetit nervor. Kjo qasje siguron që zgjidhjet jo vetëm që përshtaten me të dhënat, por gjithashtu respektojnë ekuacionet diferenciale stokastike. PINN-të kombinojnë fuqinë e të mësuarit të thellë me kufizimet e përcaktuara nga modelet fizike, duke rezultuar në zgjidhje më të sakta dhe më të besueshme për problemet komplekse në matematikën financiare.

=== Rindërtimi i imazhit ===
Rindërtimi i imazhit përfshin rikrijimin e imazheve origjinale nga matjet që lidhen me to. Studime të ndryshme kanë treguar se metodat e të mësuarit të thellë ofrojnë performancë më të lartë dhe superiore krahasuar me metodat analitike, veçanërisht në aplikime të ndryshme si rindërtimi i imazheve spektrale<ref>{{Cite journal |last=Oktem |first=Figen S. |last2=Kar |first2=Oğuzhan Fatih |last3=Bezek |first3=Can Deniz |last4=Kamalabadi |first4=Farzad |date=2021 |title=High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction |url=https://ieeexplore.ieee.org/document/9415140 |journal=IEEE Transactions on Computational Imaging |language=en |volume=7 |pages=489–504 |arxiv=2008.11625 |doi=10.1109/TCI.2021.3075349 |issn=2333-9403}}</ref> dhe imazhet me ultratinguj.<ref>{{Cite journal |last=Bernhardt |first=Melanie |last2=Vishnevskiy |first2=Valery |last3=Rau |first3=Richard |last4=Goksel |first4=Orcun |date=dhjetor 2020 |title=Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction |url=https://ieeexplore.ieee.org/document/9144249 |journal=IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control |language=en |volume=67 |issue=12 |pages=2584–2594 |arxiv=2006.14395 |doi=10.1109/TUFFC.2020.3010186 |issn=1525-8955 |pmid=32746211}}</ref>

=== Parashikimi i motit ===
Sistemet tradicionale të parashikimit të motit përdorin zgjidhjen e sistemeve komplekse të ekuacioneve diferenciale të pjesshme për të modeluar ndryshimet atmosferike. GraphCast, një model i bazuar në të mësuarit e thellë, është trajnuar mbi një sasi të madhe të dhënash historike të motit për të parashikuar ndryshimet në modelet e motit me kalimin e kohës. Ky model mund të parashikojë kushtet e motit deri në 10 ditë në nivel global, duke ofruar një nivel shumë të detajuar brenda më pak se një minute, me një saktësi të krahasueshme me sistemet tradicionale moderne.<ref>{{Cite journal |last=Lam |first=Remi |last2=Sanchez-Gonzalez |first2=Alvaro |last3=Willson |first3=Matthew |last4=Wirnsberger |first4=Peter |last5=Fortunato |first5=Meire |last6=Alet |first6=Ferran |last7=Ravuri |first7=Suman |last8=Ewalds |first8=Timo |last9=Eaton-Rosen |first9=Zach |last10=Hu |first10=Weihua |last11=Merose |first11=Alexander |last12=Hoyer |first12=Stephan |last13=Holland |first13=George |last14=Vinyals |first14=Oriol |last15=Stott |first15=Jacklynn |date=2023-12-22 |title=Learning skillful medium-range global weather forecasting |journal=Science |language=en |volume=382 |issue=6677 |pages=1416–1421 |arxiv=2212.12794 |bibcode=2023Sci...382.1416L |doi=10.1126/science.adi2336 |issn=0036-8075 |pmid=37962497 |doi-access=free}}</ref><ref>{{Cite web |last=Sivakumar |first=Ramakrishnan |date=2023-11-27 |title=GraphCast: A breakthrough in Weather Forecasting |url=https://ramkrishna2910.medium.com/graphcast-a-breakthrough-in-weather-forecasting-d70fae9ac365 |access-date=2024-05-19 |website=Medium |language=en}}</ref>

=== Ora epigjenetike ===

Një orë epigjenetike është një test biokimik që mat moshën biologjike bazuar në ndryshimet epigjenetike. Galkin et al. përdorën rrjete nervore të thella për të trajnuar një orë epigjenetike për matjen e plakjes, duke arritur një nivel të lartë saktësie duke analizuar mbi 6,000 mostra gjaku.<ref>{{Cite journal |last=Galkin |first=F. |last2=Mamoshina |first2=P. |last3=Kochetov |first3=K. |last4=Sidorenko |first4=D. |last5=Zhavoronkov |first5=A. |year=2020 |title=DeepMAge: A Methylation Aging Clock Developed with Deep Learning |journal=Aging and Disease |language=en |doi=10.14336/AD |doi-access=free}}</ref> Ora përdor informacion nga 1000 faqe CpG dhe parashikon njerëz me kushte të caktuara më të vjetër se kontrollet e shëndetshme: IBD, demencë frontotemporale, [[Kanceri ovarian|kancer ovarian]], [[Mbipesha|obezitet]] . Ora e vjetërimit ishte planifikuar të lëshohej për përdorim publik në vitin Ora e plakjes ishte planifikuar për t'u bërë publike në vitin 2021 nga Deep Longevity, një kompani spinoff e Insilico Medicine.

== Lidhja me zhvillimin kognitiv dhe trurin e njeriut ==
Të mësuarit e thellë është i lidhur ngushtë me një klasë të teorive të zhvillimit të trurit (veçanërisht, zhvillimin neokortikal) të propozuara nga [[Neuroshkenca kognitive|neuroshkencëtarët kognitiv]] në fillim të viteve 1990.<ref name="UTGOFF">{{Cite journal |last=Utgoff |first=P. E. |last2=Stracuzzi |first2=D. J. |year=2002 |title=Many-layered learning |journal=Neural Computation |language=en |volume=14 |issue=10 |pages=2497–2529 |doi=10.1162/08997660260293319 |pmid=12396572}}</ref><ref name="ELMAN">{{Cite book |last=Elman |first=Jeffrey L. |url={{google books |plainurl=y |id=vELaRu_MrwoC}} |title=Rethinking Innateness: A Connectionist Perspective on Development |publisher=MIT Press |year=1998 |isbn=978-0-262-55030-7 |language=en}}</ref><ref name="SHRAGER">{{Cite journal |last=Shrager |first=J. |last2=Johnson |first2=MH |year=1996 |title=Dynamic plasticity influences the emergence of function in a simple cortical array |url=https://archive.org/details/sim_neural-networks_1996-10_9_7/page/n30 |journal=Neural Networks |language=en |volume=9 |issue=7 |pages=1119–1129 |doi=10.1016/0893-6080(96)00033-0 |pmid=12662587}}</ref><ref name="QUARTZ">{{Cite journal |last=Quartz |first=SR |last2=Sejnowski |first2=TJ |year=1997 |title=The neural basis of cognitive development: A constructivist manifesto |journal=Behavioral and Brain Sciences |language=en |volume=20 |issue=4 |pages=537–556 |citeseerx=10.1.1.41.7854 |doi=10.1017/s0140525x97001581 |pmid=10097006}}</ref> Këto teori zhvillimore u përkthyen në modele llogaritëse, duke i bërë ato pararendëse të sistemeve moderne të të mësuarit të thellë. Modelet e zhvillimit ndajnë një tipar kryesor: dinamikat e të mësuarit në tru, të tilla si valët e faktorit të rritjes nervore, mbështesin procese të vetëorganizimit, të ngjashme me mekanizmat e rrjeteve nervore të përdorura në të mësuarin e thellë. Ashtu si neokorteksi, rrjetet nervore operojnë përmes një hierarkie filtrash me shumë shtresa, ku secila shtresë përpunon informacionin nga shtresa e mëparshme (ose mjedisi hyrës) dhe më pas dërgon daljen e saj, ndonjëherë së bashku me hyrjen fillestare, në shtresat pasuese. Ky proces krijon një sistem të vetë-organizuar të transduktorëve, i cili është i mirëpërshtatur për mjedisin e tij operativ. Një përshkrim nga viti 1995 shpjegonte: "... truri i foshnjës duket se organizohet nën ndikimin e valëve të faktorëve trofikë, ku rajonet e ndryshme të trurit lidhen dhe maturohen në mënyrë sekuenciale, me secilën shtresë që piqet para tjetrës, derisa i gjithë truri të arrijë maturimin."

Një gamë e gjerë qasjesh është përdorur për të eksploruar besueshmërinë e modeleve të të mësuarit të thellë nga një perspektivë neurobiologjike. Nga njëra anë, janë zhvilluar disa variante të algoritmit të përhapjes së pasme për të rritur përputhshmërinë e tij me proceset reale të përpunimit në tru.<ref>{{Cite journal |last=Mazzoni |first=P. |last2=Andersen |first2=R. A. |last3=Jordan |first3=M. I. |date=15 maj 1991 |title=A more biologically plausible learning rule for neural networks. |journal=Proceedings of the National Academy of Sciences |language=en |volume=88 |issue=10 |pages=4433–4437 |bibcode=1991PNAS...88.4433M |doi=10.1073/pnas.88.10.4433 |issn=0027-8424 |pmc=51674 |pmid=1903542 |doi-access=free}}</ref><ref>{{Cite journal |last=O'Reilly |first=Randall C. |date=1 korrik 1996 |title=Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm |journal=Neural Computation |language=en |volume=8 |issue=5 |pages=895–938 |doi=10.1162/neco.1996.8.5.895 |issn=0899-7667}}</ref> Disa studiues kanë sugjeruar që format e pambikëqyrura të të mësuarit të thellë, si ato të bazuara në modele gjeneruese hierarkike dhe rrjetet e besimit të thellë, mund të reflektojnë më saktë realitetin biologjik.<ref>{{Cite journal |last=Testolin |first=Alberto |last2=Zorzi |first2=Marco |date=2016 |title=Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions |journal=Frontiers in Computational Neuroscience |language=en |volume=10 |pages=73 |doi=10.3389/fncom.2016.00073 |issn=1662-5188 |pmc=4943066 |pmid=27468262 |doi-access=free}}</ref><ref>{{Cite journal |last=Testolin |first=Alberto |last2=Stoianov |first2=Ivilin |last3=Zorzi |first3=Marco |date=shtator 2017 |title=Letter perception emerges from unsupervised deep learning and recycling of natural image features |journal=Nature Human Behaviour |language=en |volume=1 |issue=9 |pages=657–664 |doi=10.1038/s41562-017-0186-2 |issn=2397-3374 |pmid=31024135}}</ref> Në këtë kontekst, modelet gjeneruese të rrjeteve nervore janë lidhur me provat neurobiologjike që sugjerojnë se korteksi cerebral përdor një proces përpunimi të bazuar në kampionim për të analizuar dhe interpretuar informacionin.<ref>{{Cite journal |last=Buesing |first=Lars |last2=Bill |first2=Johannes |last3=Nessler |first3=Bernhard |last4=Maass |first4=Wolfgang |date=3 nëntor 2011 |title=Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons |journal=PLOS Computational Biology |language=en |volume=7 |issue=11 |pages=e1002211 |bibcode=2011PLSCB...7E2211B |doi=10.1371/journal.pcbi.1002211 |issn=1553-7358 |pmc=3207943 |pmid=22096452 |doi-access=free}}</ref>

Edhe pse një krahasim i plotë dhe sistematik midis organizimit të trurit të njeriut dhe kodimit neuronal në rrjetet e thella ende nuk është realizuar, disa analogji janë raportuar. Për shembull, funksionet llogaritëse të njësive në rrjetet e thella nervore shpesh krahasohen me proceset që kryhen nga neuronet biologjike, duke sugjeruar ngjashmëri konceptuale midis tyre<ref>{{Cite journal |last=Cash |first=S. |last2=Yuste |first2=R. |date=shkurt 1999 |title=Linear summation of excitatory inputs by CA1 pyramidal neurons |journal=Neuron |language=en |volume=22 |issue=2 |pages=383–394 |doi=10.1016/s0896-6273(00)81098-3 |issn=0896-6273 |pmid=10069343 |doi-access=free}}</ref> dhe popullatave nervore.<ref>{{Cite journal |last=Olshausen |first=B |last2=Field |first2=D |date=1 gusht 2004 |title=Sparse coding of sensory inputs |journal=Current Opinion in Neurobiology |language=en |volume=14 |issue=4 |pages=481–487 |doi=10.1016/j.conb.2004.07.007 |issn=0959-4388 |pmid=15321069}}</ref> Në mënyrë të ngjashme, përfaqësimet e zhvilluara nga modelet e të mësuarit të thellë janë të ngjashme me ato të matura në sistemin vizual të primatit <ref>{{Cite journal |last=Yamins |first=Daniel L K |last2=DiCarlo |first2=James J |date=mars 2016 |title=Using goal-driven deep learning models to understand sensory cortex |journal=Nature Neuroscience |language=en |volume=19 |issue=3 |pages=356–365 |doi=10.1038/nn.4244 |issn=1546-1726 |pmid=26906502}}</ref> si në nivelet me një njësi <ref>{{Cite journal |last=Zorzi |first=Marco |last2=Testolin |first2=Alberto |date=19 shkurt 2018 |title=An emergentist perspective on the origin of number sense |journal=Phil. Trans. R. Soc. B |language=en |volume=373 |issue=1740 |pages=20170043 |doi=10.1098/rstb.2017.0043 |issn=0962-8436 |pmc=5784047 |pmid=29292348}}</ref> dhe në nivelet e popullsisë.<ref>{{Cite journal |last=Güçlü |first=Umut |last2=van Gerven |first2=Marcel A. J. |date=8 korrik 2015 |title=Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream |journal=Journal of Neuroscience |language=en |volume=35 |issue=27 |pages=10005–10014 |arxiv=1411.6422 |doi=10.1523/jneurosci.5023-14.2015 |pmc=6605414 |pmid=26157000}}</ref>

== Veprimtaria tregtare ==
Laboratori i AI i [[Facebook]] është i përfshirë në zhvillimin e teknologjive të avancuara, si '''etiketimi automatik i fotografive''' të ngarkuara, duke përdorur algoritme të të mësuarit të thellë për të identifikuar dhe etiketuar '''emrat e njerëzve''' që shfaqen në to. Kjo teknologji bazohet në njohjen e fytyrës dhe vizionin kompjuterik, duke e bërë më të lehtë për përdoruesit organizimin dhe ndarjen e përmbajtjes së tyre vizuale.

[[Google DeepMind|DeepMind Technologies]] pjesë e '''Google''', zhvilloi një sistem inovativ të inteligjencës artificiale të aftë për të mësuar të luajë '''videolojëra Atari''' duke përdorur vetëm '''pikselët e ekranit''' si hyrje të të dhënave. Ky sistem, i bazuar në teknika të '''të mësuarit të thellë përforcues (Deep Reinforcement Learning)''', mësoi të optimizojë strategjitë e lojës për të maksimizuar pikët, duke demonstruar aftësinë për të mësuar sjellje komplekse vetëm nga informacioni vizual dhe shpërblimet e lojës. Ky projekt hapi rrugën për aplikime të avancuara në të mësuarit autonom. Në vitin 2015 ata demonstruan sistemin e tyre AlphaGo, i cili e mësoi lojën e [[Go (lojë)|Go]] mjaft mirë për të mposhtur një lojtar profesionist të Go.<ref>{{Cite journal |last=Gibney |first=Elizabeth |year=2016 |title=Google AI algorithm masters ancient game of Go |journal=Nature |language=en |volume=529 |issue=7587 |pages=445–446 |bibcode=2016Natur.529..445G |doi=10.1038/529445a |pmid=26819021 |doi-access=free}}</ref><ref>{{Cite journal |last=Silver |first=David |author-link=David Silver (programmer) |last2=Huang |first2=Aja |author-link2=Aja Huang |last3=Maddison |first3=Chris J. |last4=Guez |first4=Arthur |last5=Sifre |first5=Laurent |last6=Driessche |first6=George van den |last7=Schrittwieser |first7=Julian |last8=Antonoglou |first8=Ioannis |last9=Panneershelvam |first9=Veda |last10=Lanctot |first10=Marc |last11=Dieleman |first11=Sander |last12=Grewe |first12=Dominik |last13=Nham |first13=John |last14=Kalchbrenner |first14=Nal |last15=Sutskever |first15=Ilya |author-link15=Ilya Sutskever |date=28 janar 2016 |title=Mastering the game of Go with deep neural networks and tree search |journal=[[Nature (journal)|Nature]] |language=en |volume=529 |issue=7587 |pages=484–489 |bibcode=2016Natur.529..484S |doi=10.1038/nature16961 |issn=0028-0836 |pmid=26819042}}{{Closed access}}</ref><ref>{{Cite web |title=A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go {{!}} MIT Technology Review |url=http://www.technologyreview.com/news/546066/googles-ai-masters-the-game-of-go-a-decade-earlier-than-expected/ |url-status=dead |archive-url=https://web.archive.org/web/20160201140636/http://www.technologyreview.com/news/546066/googles-ai-masters-the-game-of-go-a-decade-earlier-than-expected/ |archive-date=1 shkurt 2016 |access-date=30 janar 2016 |website=MIT Technology Review |language=en}}</ref> [[Google translate|Google Translate]] përdor një rrjet nervor për të përkthyer midis më shumë se 100 gjuhëve.

Në vitin 2017, u themelua Covariant.ai, një kompani që përqendrohet në përdorimin e teknologjisë së të mësuarit të thellë për të integruar inteligjencën artificiale në proceset e fabrikave, duke synuar të përmirësojë automatizimin dhe efikasitetin operacional.<ref>{{Cite news |last=Metz |first=Cade |date=6 nëntor 2017 |title=A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-Up |language=en |work=The New York Times |url=https://www.nytimes.com/2017/11/06/technology/artificial-intelligence-start-up.html |url-status=live |access-date=5 korrik 2019 |archive-url=https://web.archive.org/web/20190707161547/https://www.nytimes.com/2017/11/06/technology/artificial-intelligence-start-up.html |archive-date=7 korrik 2019}}</ref>

Që nga viti 2008,<ref>{{Cite book |last=Bradley Knox, W. |title=2008 7th IEEE International Conference on Development and Learning |last2=Stone, Peter |year=2008 |isbn=978-1-4244-2661-4 |pages=292–297 |language=en |chapter=TAMER: Training an Agent Manually via Evaluative Reinforcement |doi=10.1109/devlrn.2008.4640845}}</ref> kërkuesit në Universitetin e Teksasit në Austin (UT) zhvilluan një kornizë të mësimit të makinerive të quajtur Trajnimi i një agjenti manualisht nëpërmjet përforcimit vlerësues, ose TAMER, i cili propozoi metoda të reja për robotët ose programet kompjuterike për të mësuar se si të kryejnë detyrat. duke ndërvepruar me një instruktor njerëzor.<ref name=":12"/> Fillimisht i zhvilluar si TAMER, një algoritëm i përmirësuar i quajtur Deep TAMER u prezantua në vitin 2018 në kuadër të një bashkëpunimi midis Laboratorit Kërkimor të Ushtrisë Amerikane (ARL) dhe studiuesve nga Universiteti i Teksasit (UT). Deep TAMER shfrytëzoi mësimin e thellë për t'i mundësuar një roboti të mësojë detyra të reja përmes vëzhgimit të sjelljeve dhe udhëzimeve njerëzore.<ref name=":12" /> Me përdorimin e Deep TAMER, një robot mësoi një detyrë duke vëzhguar një trajner njerëzor, qoftë përmes transmetimeve video apo duke ndjekur një njeri që kryente detyrën në mënyrë direkte. Pas kësaj, roboti praktikoi detyrën, duke marrë reagime nga trajneri gjatë stërvitjes, si p.sh., vlerësime të tilla si "punë e mirë" ose "punë e keqe," për të përmirësuar performancën e tij.<ref>{{Cite web |date=16 maj 2018 |title=Talk to the Algorithms: AI Becomes a Faster Learner |url=https://governmentciomedia.com/talk-algorithms-ai-becomes-faster-learner |url-status=live |archive-url=https://web.archive.org/web/20180828001727/https://governmentciomedia.com/talk-algorithms-ai-becomes-faster-learner |archive-date=28 gusht 2018 |access-date=29 gusht 2018 |website=governmentciomedia.com |language=en}}</ref>

== Kritika dhe komente ==
Të mësuarit e thellë ka qenë subjekt i kritikave dhe komenteve, shpeshherë edhe nga ekspertë jashtë fushës së shkencës kompjuterike, të cilët kanë vënë në dukje kufizimet, kompleksitetin dhe ndikimet e tij në fusha të ndryshme.

=== Teoria ===
Një kritikë kryesore ka të bëjë me mungesën e teorisë që rrethon disa metoda.<ref>{{Cite web |last=Marcus |first=Gary |date=14 janar 2018 |title=In defense of skepticism about deep learning |url=https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1 |url-status=live |archive-url=https://web.archive.org/web/20181012035405/https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1 |archive-date=12 tetor 2018 |access-date=11 tetor 2018 |website=Gary Marcus |language=en}}</ref> Mësimi në arkitekturat më të zakonshme të thella zakonisht zbatohet përmes zbritjes së gradientit, një metodë e mirëstudiuar dhe e kuptuar. Megjithatë, teoria që mbështet algoritme alternative, si divergjenca kontrastive, është ende më pak e zhvilluar dhe kuptohet më pak në krahasim.<sup class="noprint Inline-Template Template-Fact" style="white-space:nowrap;">&#x5B; ''[[wikipedia:Citim i duhur|<span title="This claim needs references to reliable sources. (July 2016)">citim i nevojshëm</span>]]'' &#x5D;</sup> (P.sh., A konvergohet algoritmi? Nëse po, me çfarë shpejtësie? Dhe çfarë përafrimi siguron?) Metodat e të mësuarit të thellë shpesh perceptohen si një "kuti e zezë," ku shumica e rezultateve dhe konfirmimeve bazohen kryesisht në prova empirike, ndërsa kuptimi teorik mbetet i kufizuar.<ref name="Knight 2017">{{Cite web |last=Knight |first=Will |date=14 mars 2017 |title=DARPA is funding projects that will try to open up AI's black boxes |url=https://www.technologyreview.com/s/603795/the-us-military-wants-its-autonomous-machines-to-explain-themselves/ |url-status=live |archive-url=https://web.archive.org/web/20191104033107/https://www.technologyreview.com/s/603795/the-us-military-wants-its-autonomous-machines-to-explain-themselves/ |archive-date=4 nëntor 2019 |access-date=2 nëntor 2017 |website=MIT Technology Review |language=en}}</ref>

Disa ekspertë argumentojnë se mësimi i thellë duhet të konsiderohet si një hap drejt arritjes së Inteligjencës Artificiale të fortë, por jo si një zgjidhje gjithëpërfshirëse. Megjithëse metodat e të mësuarit të thellë janë jashtëzakonisht të fuqishme, ato ende nuk përfshijnë shumë nga funksionalitetet e nevojshme për të realizuar plotësisht këtë qëllim. Psikologu hulumtues Gary Marcus theksoi:<blockquote>Realisht, mësimi i thellë është vetëm një pjesë e sfidës më të madhe të ndërtimit të makinave inteligjente. Teknikave të tilla u mungojnë mënyrat e paraqitjes së [[Shkakësia|marrëdhënieve shkakësore]] (…) nuk kanë mënyra të dukshme për të kryer konkluzionet logjike, dhe ato janë gjithashtu ende shumë larg nga integrimi i njohurive abstrakte, të tilla si informacioni se çfarë janë objektet, për çfarë shërbejnë dhe si ato përdoren zakonisht. Sistemet më të fuqishme të AI, si Watson (…) përdorin teknika si të mësuarit e thellë si vetëm një element në një grup teknikash shumë të komplikuar, duke filluar nga teknika statistikore e konkluzioneve Bayesian deri te [[Deduksioni|arsyetimi deduktiv]] . </blockquote>Në përputhje me idenë se ndjeshmëria artistike mund të shfaqet në nivele të ulëta të hierarkisë njohëse, është publikuar një seri grafikësh që tregojnë gjendjet e brendshme të rrjeteve nervore të thella me 20-30 shtresa. Këto grafikë ilustrojnë përpjekjet e rrjeteve për të identifikuar, brenda të dhënave kryesisht të rastësishme, imazhet për të cilat ishin trajnuar.[1] Ky vizualizim i krijoi një tërheqje të madhe vizuale: njoftimi i kërkimit mori mbi 1000 komente dhe për një kohë ishte artikulli më i vizituar në faqen e internetit të ''[[The Guardian]].''<ref>{{Cite news |last=Alex Hern |date=18 qershor 2015 |title=Yes, androids do dream of electric sheep |language=en |work=The Guardian |url=https://www.theguardian.com/technology/2015/jun/18/google-image-recognition-neural-network-androids-dream-electric-sheep |url-status=live |access-date=20 qershor 2015 |archive-url=https://web.archive.org/web/20150619200845/http://www.theguardian.com/technology/2015/jun/18/google-image-recognition-neural-network-androids-dream-electric-sheep |archive-date=19 qershor 2015}}</ref>

=== Gabimet ===
Disa arkitektura të mësimit të thellë shfaqin sjellje problematike që sfidojnë besueshmërinë dhe performancën e tyre. Një nga këto sjellje është klasifikimi i gabuar dhe i sigurt i imazheve të panjohura, duke i përfshirë ato gabimisht në një kategori të njohur imazhesh të zakonshme. Ky fenomen u identifikua në vitin 2014 dhe tregon se modelet e të mësuarit të thellë mund të mbështeten në modele sipërfaqësore të të dhënave, duke mos kuptuar thellësisht natyrën e tyre. Po ashtu, një tjetër problem i rëndësishëm, i raportuar në vitin 2013, është ndjeshmëria ndaj shqetësimeve të vogla në imazhe. Edhe modifikime të papërfillshme, shpesh të padukshme për syrin e njeriut, mund të çojnë në klasifikime të gabuara, duke nxjerrë në pah cenueshmërinë e këtyre sistemeve ndaj ndryshimeve të qëllimshme ose aksidentale. Këto probleme tregojnë nevojën për qasje më të qëndrueshme dhe të sigurta në trajnimin dhe dizajnimin e rrjeteve nervore.<ref>Szegedy, Christian; Zaremba, Wojciech; Sutskever, Ilya; Bruna, Joan; Erhan, Dumitru; Goodfellow, Ian; Fergus, Rob (2013). "Intriguing properties of neural networks". arXiv:1312.6199 [cs.CV]</ref> Goertzel hipotezoi se këto sjellje janë për shkak të kufizimeve në paraqitjet e tyre të brendshme dhe se këto kufizime do të pengonin integrimin në arkitekturat heterogjene me shumë komponentë [[Inteligjenca e përgjithshme artificiale|të inteligjencës së përgjithshme artificiale]] (AGI).<ref name="goertzel">{{Cite web |last=Goertzel |first=Ben |year=2015 |title=Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms? |url=http://goertzel.org/DeepLearning_v1.pdf |url-status=live |archive-url=https://web.archive.org/web/20150513053107/http://goertzel.org/DeepLearning_v1.pdf |archive-date=2015-05-13 |access-date=2015-05-10 |language=en}}</ref> Këto sfida mund të trajtohen nga arkitekturat e të mësuarit të thellë, të cilat krijojnë brenda vetes gjendje që homologohen me zbërthimet gramatikore të imazheve, duke mundësuar një përfaqësim më të sofistikuar dhe të strukturuar të të dhënave vizuale.<ref>{{Cite journal |last=Zhu |first=S.C. |last2=Mumford |first2=D. |year=2006 |title=A stochastic grammar of images |journal=Found. Trends Comput. Graph. Vis. |language=en |volume=2 |issue=4 |pages=259–362 |citeseerx=10.1.1.681.2190 |doi=10.1561/0600000018}}</ref> të entiteteve dhe ngjarjeve të vëzhguara.<ref name="goertzel" /> Mësimi i një gramatike (vizuale ose gjuhësore) nga të dhënat e trajnimit do të ishte ekuivalente me kufizimin e sistemit në arsyetimin e logjikshëm që funksionon mbi konceptet për sa i përket rregullave të prodhimit gramatikor dhe është një qëllim themelor i përvetësimit të gjuhës njerëzore  dhe [[Inteligjenca artificiale|inteligjencës artificiale]] (AI).<ref>{{Cite web |last=Eisner |first=Jason |title=Deep Learning of Recursive Structure: Grammar Induction |url=http://techtalks.tv/talks/deep-learning-of-recursive-structure-grammar-induction/58089/ |url-status=dead |archive-url=https://web.archive.org/web/20171230010335/http://techtalks.tv/talks/deep-learning-of-recursive-structure-grammar-induction/58089/ |archive-date=2017-12-30 |access-date=2015-05-10 |language=en}}</ref>

=== Kërcënimi kibernetik ===
Ndërsa mësimi i thellë lëviz nga laboratori në botë, kërkimet dhe përvoja tregojnë se rrjetet nervore artificiale janë të prekshme ndaj hakimeve dhe mashtrimeve.<ref>{{Cite web |date=11 shtator 2017 |title=Hackers Have Already Started to Weaponize Artificial Intelligence |url=https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425 |url-status=live |archive-url=https://web.archive.org/web/20191011162231/https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425 |archive-date=11 tetor 2019 |access-date=11 tetor 2019 |website=Gizmodo |language=en}}</ref> Duke analizuar modelet që përdorin këto sisteme për funksionim, sulmuesit mund të manipulojnë hyrjet në një rrjet nervor artificial (ANN) në mënyrë që të gjenerojnë përputhje që nuk do të ishin të dukshme për një vëzhgues njerëzor. Për shembull, një sulmues mund të bëjë ndryshime të vogla dhe delikate në një imazh, duke bërë që ANN ta identifikojë atë si objektivin e kërkimit, edhe pse për një person, imazhi nuk ka asnjë ngjashmëri. Ky manipulim i qëllimshëm quhet "sulm kundërshtar."<ref>{{Cite web |date=18 qershor 2018 |title=How hackers can force AI to make dumb mistakes |url=https://www.dailydot.com/debug/adversarial-attacks-ai-mistakes/ |url-status=live |archive-url=https://web.archive.org/web/20191011162230/https://www.dailydot.com/debug/adversarial-attacks-ai-mistakes/ |archive-date=11 tetor 2019 |access-date=11 tetor 2019 |website=The Daily Dot |language=en}}</ref>

Në vitin 2016, studiuesit përdorën një rrjet nervor artificial (ANN) për të manipuluar imazhet në mënyrë provë dhe gabim, duke identifikuar pikat e dobëta të modelit dhe duke krijuar imazhe që e mashtronin atë. Për sytë e njeriut, këto imazhe të modifikuara dukeshin identike me origjinalet. Një grup tjetër studiuesish tregoi se printimet e këtyre imazheve të manipuluara, edhe pasi u fotografuan, mashtruan me sukses një sistem klasifikimi të imazheve, duke demonstruar cenueshmërinë e rrjeteve nervore ndaj sulmeve kundërshtare.<ref name=":4">{{Cite news |date=10 tetor 2017 |title=AI Is Easy to Fool—Why That Needs to Change |language=en |work=Singularity Hub |url=https://singularityhub.com/2017/10/10/ai-is-easy-to-fool-why-that-needs-to-change |url-status=live |access-date=11 tetor 2017 |archive-url=https://web.archive.org/web/20171011233017/https://singularityhub.com/2017/10/10/ai-is-easy-to-fool-why-that-needs-to-change/ |archive-date=11 tetor 2017}}</ref> Një nga masat mbrojtëse kundër mashtrimeve të tilla është kërkimi i kundërt i imazhit, ku një imazh i dyshuar dërgohet në platforma si TinEye për të identifikuar versione të tjera të tij ose burimin origjinal. Një përmirësim i kësaj metode është kërkimi duke përdorur vetëm fragmente të imazhit, duke ndihmuar në zbulimin e imazheve nga të cilat mund të jetë marrë ajo pjesë, duke ofruar një analizë më të detajuar të autenticitetit të tij.<ref>{{Cite journal |last=Gibney |first=Elizabeth |year=2017 |title=The scientist who spots fake videos |url=https://www.nature.com/news/the-scientist-who-spots-fake-videos-1.22784 |url-status=live |journal=Nature |language=en |doi=10.1038/nature.2017.22784 |archive-url=https://web.archive.org/web/20171010011017/http://www.nature.com/news/the-scientist-who-spots-fake-videos-1.22784 |archive-date=2017-10-10 |access-date=2017-10-11}}</ref>

Një grup tjetër hulumtues zbuloi se disa '''shfaqje psikedelike''' mund të mashtronin [[Sistemi i njohjes së fëtyrës|sistemin e njohjes së fytyrës]] duke i bërë ato të mendojnë se '''njerëzit e zakonshëm''' ishin '''të famshëm'''. Kjo teknikë potencialisht mund të lejojë një person të '''imitojë identitetin e një tjetri''', duke ngritur shqetësime për sigurinë dhe privatësinë në sistemet biometrike. Ky zbulim thekson sfidat e sigurisë që lidhen me keqpërdorimin e teknologjive të të mësuarit të thellë dhe të njohjes së fytyrës. Në vitin 2017 studiuesit shtuan ngjitëse për tabelat e ndalimit dhe shkaktuan që një ANN t'i keqklasifikonte ato.<ref name=":4"/>

Megjithatë, '''rrjetet nervore artificiale (ANN)''' mund të trajnohen më tej për të zbuluar '''përpjekjet për''' [[Mashtrimi|mashtrim]], duke u bërë mjete të fuqishme për të identifikuar sjelljet e dyshimta dhe aktivitetet mashtruese. Kjo mund të çojë në një '''garë armësh''' midis sulmuesve dhe mbrojtësve, të ngjashme me atë që shihet në industrinë e '''mbrojtjes kundër''' [[Programi i dëmshëm|malware]] . ANN-të janë trajnuar për të mposhtur softuerin anti[[Programi i dëmshëm|-malware]] të bazuar në ANN duke sulmuar në mënyrë të përsëritur një mbrojtje me malware që ndryshohej vazhdimisht nga një algoritëm gjenetik derisa mashtroi anti-malware duke ruajtur aftësinë e tij për të dëmtuar objektivin.<ref name=":4"/>

Në vitin 2016, një grup tjetër studiuesish tregoi se tinguj të caktuar mund të manipulonin sistemin e komandës zanore të Google Now, duke e detyruar atë të hapte një adresë specifike ueb. Ata sugjeruan se një sulm i tillë mund të përdorej si hap i parë për sulme më të avancuara, si hapja e një faqeje interneti që përmban malware të llojit "drive-by".<ref name=":4"/>

"Helmimi i të dhënave" është një teknikë sulmi në të cilën të dhëna të rreme ose të manipuluara futen me qëllim në grupin e trajnimit të një sistemi të mësimit të makinerive. Kjo ndërhyrje synon të pengojë sistemin që të arrijë performancën optimale ose ta drejtojë atë drejt rezultateve të pasakta.<ref name=":4"/>

=== Etika e mbledhjes së të dhënave ===
'''Sistemet e të mësuarit të thellë''' që përdorin '''mësimin e mbikëqyrur''' zakonisht mbështeten në '''të dhëna të krijuara dhe/ose të shënuara nga njerëzit'''. Ky proces përfshin sigurimin e shembujve të etiketuar (p.sh., imazhe me kategori, tekst me etiketa emocionale, ose të dhëna mjekësore të diagnostikuara) që modelet mund të përdorin për të mësuar marrëdhëniet dhe modelet midis hyrjeve dhe daljeve. Cilësia dhe sasia e të dhënave të shënuara janë kritike për performancën e këtyre sistemeve, duke e bërë mbledhjen dhe etiketimin e të dhënave një aspekt thelbësor të procesit të trajnimit.<ref>{{Cite journal |last=Tubaro |first=Paola |date=2020 |title=Whose intelligence is artificial intelligence? |url=https://hal.science/hal-03029735 |journal=Global Dialogue |language=en |pages=38–39}}</ref> Është argumentuar se jo vetëm klikimet me pagesë të ulët (siç është Amazon Mechanical Turk ) përdoren rregullisht për këtë qëllim, por edhe forma të nënkuptuara të mikropunës njerëzore që shpesh nuk njihen si të tilla.<ref name=":13">{{Cite journal |last=Mühlhoff |first=Rainer |date=6 nëntor 2019 |title=Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning |url=https://depositonce.tu-berlin.de/handle/11303/12510 |journal=New Media & Society |language=en |volume=22 |issue=10 |pages=1868–1884 |doi=10.1177/1461444819885334 |issn=1461-4448 |doi-access=free}}</ref> Filozofi Rainer Mühlhoff dallon pesë lloje të "kapjes mekanike" të mikropunës njerëzore për të gjeneruar të dhëna trajnimi: (1) gamifikimi (ngulitja e detyrave të shënimit ose llogaritjes në rrjedhën e një loje), (2) "kurthi dhe gjurmimi" (p.sh. CAPTCHA për njohjen e imazhit ose ndjekjen e klikimeve në faqet e rezultateve të kërkimit të Google ), (3) shfrytëzimin e motivimeve sociale (p.sh. etiketimi i fytyrave në [[Facebook]] për të marrë imazhe të etiketuara të fytyrës), (4) [[Minimi i të dhënave|nxjerrja e informacionit]] (p.sh. duke përdorur pajisje të vetëvlerësuara si gjurmuesit e aktivitetit ) dhe (5) puna e klikimit.<ref name=":13" />

== Shihni gjithashtu ==

* Aplikimet e inteligjencës artificiale
* Krahasimi i softuerit të të mësuarit të thellë
* Ndjeshmëri e ngjeshur
* Programim i diferencuar
* Rrjeti shtetëror jehonë
* Lista e projekteve të inteligjencës artificiale
* Makinë në gjendje të lëngshme
* Lista e grupeve të të dhënave për kërkimin e të mësuarit në makinë
* Llogaritja e rezervuarit
* Hapësira e shkallës dhe mësimi i thellë
* Kodimi i rrallë
* Papagalli stokastik
* Mësimi i thellë topologjik

== Referime ==
{{Reflist|2}}

== Leximi i mëtejshëm ==

* Bishop, Christopher M.;Bishop, Hugh (2024). Deep learning: foundations and conepts. Springer. ISBN 978-3-031-45467-7.
* Prince, Simon J. D.(2023). Understanding deep learning. The MIT Press. ISBN 978-0-262-04864-4.
* Goodfellow, Ian; Bengio, Youshua; Courville, Aaron (2016). Deep Learning. MIT Press. ISBN 978-0-262-03561-3.Archived from original on 2016-04-16. Retrived 2021-05-09, introductory textbook.