Shpërndarja e vazhdueshme e Bernulit

Nga testwiki
Versioni i datës 24 korrik 2023 01:51 nga imported>InternetArchiveBot (Lidhje të jashtme të shpëtuara: 1 Lidhje të jashtme të etiketuara si të vdekura: 0) #IABot (v2.0.9.5)
(ndrysh) ← Version më i vjetër | Rishikimi i fundit (ndrysh) | Version më i ri → (ndrysh)
Kërceni tek navigimi Kërceni tek kërkimi

teorinë e probabilitetit, statistikë dhe mësimin e makinerive, shpërndarja e vazhdueshme e Bernulit [1] [2] [3] është një familje shpërndarjesh të vazhdueshme probabiliteti të parametrizuara nga një parametër i vetëm forme λ(0,1), i përcaktuar në intervalin e njësisë x[0,1], nga:

p(x|λ)λx(1λ)1x.

Shpërndarja e vazhdueshme e Bernulit lind në mësimin e thellë dhe vizionin kompjuterik, veçanërisht në kontekstin e autoenkoduesve variacionalë, [4] [5] për modelimin e intensitetit të pikselave të imazheve natyrore. Si i tillë, ai përcakton një homolog të duhur probabilistik për humbjen e tipit entropi e kryqëzuar binare që përdoret zakonisht, e cila shpesh aplikohet për të dhëna të vazhdueshme me vlera në [0,1]. [6] [7] [8] [9]

Shpërndarja e vazhdueshme Bernuli përcakton gjithashtu një familje eksponenciale shpërndarjesh. Shkrimi η=log(λ/(1λ)) për parametrin natyror, dendësia mund të rishkruhet në formë kanonike: p(x|η)exp(ηx) .

Shpërndarjet e ndërlidhura

Shpërndarja e Bernulit

Shpërndarja e vazhduar mund të mendohet si një relaksim i vazhdueshëm i shpërndarjes Bernuli, e cila përcaktohet në bashkësinë diskrete {0,1} nga funksioni i masës së probabilitetit :

p(x)=px(1p)1x,

ku p është një parametër skalar midis 0 dhe 1. Duke zbatuar të njëjtën formë funksionale në intervalin e vazhdueshëm [0,1] rezulton në funksionin e dendësisë probabilitare të Bernulit të vazhdueshëm, deri në një konstante normalizuese.

Shpërndarja beta

Shpërndarja Beta ka funksionin e densitetit:

p(x)xα1(1x)β1,

e cila mund të rishkruhet si:

p(x)x1α11x2α21,

ku α1,α2 janë parametra skalar pozitivë, dhe (x1,x2) përfaqëson një pikë arbitrare brenda 1- simpleksit, Δ1={(x1,x2):x1>0,x2>0,x1+x2=1} . Duke ndërruar rolin e parametrit dhe argumentit në këtë funksion të densitetit, marrim:

p(x)α1x1α2x2.

Kjo familje është e identifikueshme vetëm deri në kufizimin linear α1+α2=1, nga ku marrim:

p(x)λx1(1λ)x2,

që korrespondon saktësisht me dendësinë e vazhdueshme të Bernulit.

  1. Loaiza-Ganem, G., & Cunningham, J. P. (2019). The continuous Bernoulli: fixing a pervasive error in variational autoencoders. In Advances in Neural Information Processing Systems (pp. 13266-13276).
  2. PyTorch Distributions. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli
  3. Tensorflow Probability. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli Stampa:Webarchive
  4. Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
  5. Kingma, D. P., & Welling, M. (2014, April). Stochastic gradient VB and the variational auto-encoder. In Second International Conference on Learning Representations, ICLR (Vol. 19).
  6. Larsen, A. B. L., Sønderby, S. K., Larochelle, H., & Winther, O. (2016, June). Autoencoding beyond pixels using a learned similarity metric. In International conference on machine learning (pp. 1558-1566).
  7. Jiang, Z., Zheng, Y., Tan, H., Tang, B., & Zhou, H. (2017, August). Variational deep embedding: an unsupervised and generative approach to clustering. In Proceedings of the 26th International Joint Conference on Artificial Intelligence (pp. 1965-1972).
  8. PyTorch VAE tutorial: https://github.com/pytorch/examples/tree/master/vae.
  9. Keras VAE tutorial: https://blog.keras.io/building-autoencoders-in-keras.html.