Amit most írok, az kicsit hosszú, de szerintem megéri elolvasni.
ad 1) "Világosan és röviden, matematikai apparátus nélkül kifejtve: ha egy rendszer makroszkopikus állapota (A) és valóságos állapota (a) közti kapcsolat természetét akarjuk vizsgálni, annak érdekében, hogy következtetéseket vonhassunk le belőle és a dolgok lényegét megragadjuk, a pontosságból engednünk kell. Meg kell értenünk, hogy az A látható, vagy makroszkopikus állapotnak megfelelnek nagy számú tényleges lehetséges a1, a2, a3, ... állapotok, amelyek közt megfigyelési eszközeinkkel nem tudunk különbséget tenni. Ezeknek a lehetőségeknek a száma (N) a klasszikus koncepció szerint természetesen végtelen, de a kvantumelmélet szerint – amelynek lényege, hogy a természeti jelenségek nem folytonosak – egy anyagi rendszer belső struktúrájának lehetséges állapotai véges N számúak, jóllehet ez a szám hatalmas. Az N értéke a rendszer rejtett belső meghatározatlansága fokának egy mértéke lehet; a gyakorlat számára egy, a logaritmusával arányos mennyiséget szoktuk erre a célra használni: S = k log N. Ebben a formulában K a Boltzmann-féle általános állandó, amelyet úgy határozunk meg, hogy S megegyezzék egy, a termodinamikából ismert fundamentális mennyiséggel, az S entrópiával." (Ettore Majorana)
ad 2) "Az entrópia származtatható statisztikus fizikai módszerekkel is. Ekkor abból indulunk ki, hogy a rendszer egy makroállapotát (makroszkopikus mennyiséggel jellemezhető, pl. egy bizonyos hőmérsékletű állapotot) több mikroállapota (mikroszkopikusan, pl. az összes atomja pozíciójának és sebességvektorának megadásával leírható állapota) is előállíthatja. Az egy makroállapotot megvalósító mikroállapotok száma a makroállapot termodinamikai valószínűsége. Az összes makroállapot közül pedig az valósul meg, amelyiknek legnagyobb a termodinamikai valószínűsége. Ezek alapján egy adott makroállapot entrópiája: S = k ln W, ahol k a Boltzmann-állandó, W pedig a makroállapot termodinamikai valószínűsége.
Az ilyen módon bevezetett entrópiáról megmutatható, hogy ugyanazokkal a tulajdonságokkal rendelkezik, mint a termodinamikai entrópia." (Gyimesi Gergely)
ad 3) "Entrópia: rendezetlenség mértéke. Kétféle rendezetlenség: termikus (termikus entrópia), illetve térbeli (konfigurációs entrópia)
...
S = k lnW, W: Termodinamikai valószínűség: adott állapot hányféle módon valósulhat meg. Boltzmann állandó k = R/NA, R univerzális gázállandó, NA Avogadro szám.
...
Fontosnak tartjuk hangsúlyozni, hogy a termodinamika valamennyi főtétele önálló, tapasztalati törvény, amelyet semmilyen más tételből levezetni vagy
bizonyítani nem lehet, így helyességét kizárólag a tapasztalat igazolja." (Miskolci Egyetem, fizika jegyzet, közösségi munka)
ad 4) A Boltzmann entrópia levezetése:
http://phys.chem.elte.hu/tanareloadas/O ... TermoI.pdf
ad 5) Valószínűségtani entrópia, vagy információhiány definíciószerűen: H = - szumma(pk * ln pk), ahol pk az k-adik esemény valószínűsége. Ily formában nyilván diszkrét valószínűségeloszlásokra érvényes. A mikrofizikai rendszerek is diszkrét részecskékből állnak. Ez az összefüggés tkp. Gibbs 1878. évi általánosítása olyan esetekre, amikor nem minden esemény azonos valószínűségű. Találtam olyan irodalmat ahol a szumma(pk * ln pk) összeget meglepetésnek (M) nevezik és a Boltzmann entrópiával az S = - k * M képlettel kapcsolják össze.
...
Annak igazolása, hogy az entrópia (S) és az információhiány (H) arányosak egymással:
Egy adott makroállapotnak minden molekula részéről Z mikroállapot feleljen meg. A tapasztalat szerint minden Z mikroállapot egyformán valószínű, így pk = 1/Z. Egy molekula valószínűségtani entrópiája H = - szumma(1/Z * ln 1/Z) = ln Z
Boltzmann szerint: S = k * N * lnZ, ebből az egy molekulára jutó entrópiaadag: s = S/N = k * ln Z, vagyis s = k * H, azaz s arányos H-val.
ad 6) Informatika dióhéjban: (Farkas János, Kaposvári Egyetem, informatika előadás)
ADAT:
Tények, fogalmak, eligazítások olyan formalizált reprezentációja (ábrázolása, megjelenítése, tükörképe), amely alkalmas az emberi vagy automatikus eszközök által történő kommunikációra, értelmezésre vagy feldolgozásra.
INFORMÁCIÓ:
Új ismeretté értelmezett adat.
Jellemző adatok összessége
Megjelenési formája: kód
Jellemzői: optimális kódolás, információtartalom, mértékegysége az információmennyiség, az információ kifejezéséhez szükséges jelek száma, egysége a bit.
Hartley – elv (1)
Legyen n darab különböző szimbólum, amelyekből különböző üzeneteket állítunk elő.
Üzenetek jellemzői: Mindegyik ugyanazon szimbólumkészletből való, különböző szimbólumokat tartalmazhatnak, különböző számú szimbólumokat tartalmazhatnak, ugyanazon szimbólumokat, de különböző sorrendben tartalmazhatnak, mindegyik szimbólum hírbe történő iválasztásának valószínűsége azonos, nem veszi figyelembe a csatorna zajossága miatt keletkező bizonytalanságot.
Hartley – elv (2)
Legyen az üzenet m hosszú.
Ekkor a lehetséges üzenetek száma: M = n^m Ez azt jelenti, hogy a hír információtartalma a hír hosszával exponenciálisan nő. Jobb lenne, ha a növekedés lineáris lenne, ez logaritmussal elérhető, így: H = log(a)M = log(a)n^m = m log(a)n (Hartley formula (1928))
Hartley – elv (3)
Legyen 2 darab különböző szimbólum, amelyekből 1 szimbólumot kiválasztunk.
Ez a legkisebb információs értékkel rendelkező hír. H = m log(a)n = 1 log(a)2 = log(a)2 Ha kettes alapú számrendszert választunk, akkor H = log(2)2 = 1. Ezt egy bitnek nevezzük.
1948 – Shannon (Hartley - elv módosítása)
Shannon – elv (1)
Az információmennyiség nem a jelek számával, hanem előfordulási valószínűségükkel arányos.
Legyen n darab különböző szimbólum, amelyekből különböző üzeneteket állítunk elő. Az egyes szimbólumokhoz tartozó előfordulási valószínűségek legyenek rendre: p1, p2, ..., pk ... pn k = 1,2, ...n, 0 <= pk <= 1. Ekkor a k. szimbólumhoz (jelhez), mint eredményhez tartozó egyedi információ:
I = -log(a)pk = log(a)1/pk
Shannon – elv (2)
Azért negatív a logaritmus, mert p törtszám, így eredményül pozitív számot kapunk. Ha a logaritmus alapszámának a 2 -t választjuk, akkor I egysége a bit, ami két egyenlően valószínű esemény egyikének kiválasztásához tartozó információmennyiség ( p1=p2=1/2). Másképp fogalmazva: két egyenlő valószínűségű esemény közötti választás 1 egységnyi információt tartalmaz.
Ha 2^N számú, egyenlően valószínű eseményünk van, akkor bármely esemény kiválasztásával kapott információtartalom: I = - log(2)pk = -log(2)(1/2^N) = N (Nagyobb p -hez kisebb információtartalom tartozik és viszont.)
Shannon – entrópia (1)
Átlagos információtartalom - entrópia.
Legyen n darab különböző szimbólum, amelyekből különböző üzeneteket állítunk elő.
Az egyes szimbólumokhoz tartozó előfordulási valószínűségek legyenek rendre: p1, p2, ..., pk ... pn k = 1,2, ...n, 0 <= pk <= 1. Ekkor az információ mértékét az átlagos információtartalom vagy entrópia adja meg: H = - szumma(k = 1 től n-ig)pklog(2)pk (Shannon formula)
Speciális esetek:
Egy választás biztosan bekövetkezik: Ekkor p1=1, p2 = 0, p3m= 0, ....pk = 0. A közlés entrópiája H = 0, mert az 1. esemény biztosan bekövetkezik, így információtartalma nincs!
Maximális entrópia: Ha mindegyik választás valószínűsége azonos, akkor a közlés a legnagyobb bizonytalanságot szünteti meg. Ekkor az átlagos információtartalom (entrópia) azonos az egyetlen választás esetével. Hmax = - szumma(k = 1 től n-ig)1/nlog(2)1/n = log(2)n
(A log(a) és a log(2) az a, illetve a 2 alapú logaritmust jelenti, de gondolom, értititek enélkül is.)
ad 7) Végül: Miről beszéltünk eddig?
Azt írogattuk, hogy termodinamikai entrópia, de elég lett volna csak annyit, hogy entrópia és ebbe beleértendő a termikus és a konfigurációs entrópia is. A hivatkozott ELTE jegyzetben másféle entrópiákat is ismertetnek, de azt hiszem, ez most nem lényeges.
Azt is sokszor írogattuk, hogy informatikai entrópia. Valaki igazi fizikus szólhatott volna, hogy nem stimmel valami, s ez világosan kiolvasható az ad 6) előadás vázlatából. Ennek a fogalomnak semmi köze a fizikához! A Shannon szerint számított átlagos információtartalom azért kapta az "entrópia" sallangot, mert valaki - nem jut eszembe a neve - javasolta. Az informatikai entrópia képletében nem is szerepel a Boltzmann állandó, tehát ez nem olyan entrópia, amit a fizikában értünk alatta. Inkább információhiányt kellett volna emlegetni valószínűségtani értelemben az ad 5) szerint. Az ad 5) azt állítja, hogy s és H arányosak, ekvivalensek, ugyanazt fejezik ki, de másként. Azt nem mondja, hogy a kettő azonos! Az ad 5) szerinti információhiány formulája csak a logaritmusfüggvény alapszámában különbözik az ad 6) szerinti információtartalométól, kettő mégsem ugyanazt jelenti. Az ad 5) formula belátható fizikai érveléssel, Shannon formulája önkényes, mert úgy gondolta, hogy "Az információmennyiség nem a jelek számával, hanem előfordulási valószínűségükkel arányos." Ezen azért lehetne vitatkozni, de tudni kell, hogy a Shannon-elv igen sikeres az informatikában. Az ad 5) nem beszél semmiféle bitekről, amiket írni/olvasni kellene. Nem mondja azt, hogy egy bit információ mennyi entrópianövekedés/csökkenés, de nem mond ilyet az ad 6) sem. Arról nem beszélgettünk, hogy termodinamikai valószínűség, pedig kellett volna, lásd ad 1, 2, 3).
Most vissza Maxwell démonához. Idézek önmagamtól: "Közben megtaláltam Maxwell magyarázatát az ő kis démonára. Szerinte arra utal, azt bizonyítja a gondolatkísérlete, hogy a II. főtétel statisztikus jellegű, vagyis makrorendszerekre érvényes. Ez számomra minden további nélkül elfogadható és nagyon szimpatikus. Az a meglepő dolog, hogy a gáztörvényeket, a hőmérséklet fogalmát egyetlen molekulára alkalmazni, mint "juj", vagy Szilárd motorjában első perctől fogva berzenkedést váltott ki belőlem, de úgy voltam vele, gondolatkísérlet." Ez nekem így kielégítő. Minden olyan magyarázat, vagy feloldási kísérlet meddő erőlködés, amelyik azon alapul, hogy az információ írása/törlése mennyi, a fizikában értelmezett entrópianövekedést/csökkenést okoz. Erről akkor lehet beszélni, ha ismert a tárolási módszer, a tároló működése, s a tárolót természetesen beillesztjük a rendszerbe. A tároló ismeretében szépen kiszámítható a működéséhez szükséges energia, a hatásfok, s megadható, hogy a tároló működése mennyivel növeli a rendszer entrópiáját. Ez az entrópia szonban nem azonos Szilárd, vagy Landauer által megfogalmazott egy bit információ törléséhez/tárolásához szükséges entrópiával. Ez úgy gondolom, világos.
Álláspontom szerint egyetlen részecskére, atomra, molekulára nem érvényesek a megszokott fogalmaink, a nyomás, a hőmérséklet, a térfogat, stb. Az egyetlen részecske nem egy pattogó gumilabda, hanem bonyolult objektum, aminek nincs határozott térfogata, alakja, felszíne, stb. Nem érvényesek rá a gáztörvények sem. (A reális gázokegyébként is fütyülnek arra, hogy mi ideális gázként számolnánk velük, mert úgy egyszerűbb. Szerkessz csak egy nagy gáztartályt, ami mondjuk tiszta hidrogént tartalmaz pld. 400 bar nyomáson és 500 K hőmérsékleten. Ha ideális gázként számolod, kirúg a főnököd, s ez a jobbik eset, mert ha megépíted és a próbaüzemben felrobban, akkor mehetsz a levesbe apróléknak!)
Szilárd motorja, "juj" lánctalpas motorja, Feynman kilincsműves szerkentyűje és társaik csak hasznos szellemi fejtörők, de nem vezethetnek a másodfajú perpetuum mobile megalkotásához. Az egyetlen fickándozó részecske, atom, molekula leírása a kvantummechanikával lehetséges. A sokrészecske rendszer, vagyis a dugattyúk, falak, kölcsönhatása az egyetlen részecskével szintén kvantummechanika. A probléma tárgyalásakor nem találkoztam kvantummechanikai hivatkozásokkal, hacsak nem tekintjük annak a Boltzmann-féle entrópiát. Az informatikában értelmezett egy bit információ törlésekor, vaqy írásakor csak úgy változhat az entrópia, ahogy a tároló működése majd kiadja, ahogy fentebb írtam.
Az a benyomásom, illetve a meggyőződésem, hogy ebben és a kapcsolódó témákban nem egységes a tudomány képviselőinek a véleménye.
Végül "juj" #5294-ben feltett kérdésére, miszerint:
"Van három fő elképzelés az információs entrópia és a fizikai entrópia közötti összefüggésre. A kérdés még nem dőlt el, szakmai körökben jelenleg is vitatják.
1. Brillouin: az info megszerzése növeli a környezet entrópiáját
2. Landauer: az info irreverzibilis törlése
3. nincs összefüggés
Én a harmadik mellett érvelek." - az a válaszom, hogy a 3. állítás az igaz.