Varlığın ve yokluğun yasası Entropi:
Entropi Kavramını ve termodinamiğin 2. Yasasını matematiksel olarak ele alan yazımda entropi kavramından bahsedilmişti. Linke tıklayarak ulaşabilirsiniz.
Kısaca değinmek gerekirse entropi bir düzensizlik ölçütüdür. Kapalı sistemlerde düzensizlik artmaktadır.
Bir kelime oyununda olduğunuzu düşünün ve bu kelime oyununda bilmeniz gereken 3 harfli bir kelime var. Size ilk harf verildi sizce İlk harfi B olursa mı bilme olasılığınız artar yoksa j olursa mı? J olursa kelimeyi tahmin etme olasılığınız artacaktır çünkü j ile başlayan kelimeler daha az bulunmaktadır. Örneğin B ile başlayan dilimizde 100 kelime varsa J ile başlayan 5 kelime var diyelim. 100 kelimeden mi doğru olanı bulmanız daha olası 5 kelimeden mi? Kısacası bir olasılık dağılımından gelen içerik arttıkça olasılık düşüyor.
Şimdi bunu kelimelerden daha kolay hesaplanabilecek bir şeye taşıyalım. 0,1 dizileriyle düşünmeye devam edelim. 0 ve 1 ile oluşturulabilecek her türlü bilginin basamağına “bit” denilmektedir. Mesela 1010011 altı bitliktir. Eğer bilgilerin her bir basamakta 0 ve 1’lerin görülme olasılığı eşit olsa bir kelimede ne kadar bilgi olacağına içerik sayısına yani bite göre karar verebiliriz. Örneğin 010 olarak kodlanan bir bilgi 3 bitlik içeriğe sahip. Peki 3 bitle kaç farklı bilgi derleyebiliriz?
000
001
010
100
110
011
111
101
Kaynakça
Duran, S. (2020, Haziran 28). Bilginin Entropisi. matkafası: http://erdos2.matkafasi.com/?p=1114 adresinden alındı
