Morse, találmányaival (ábécé, távíró) elősegítette az üzenet pontosságának és gyorsaságának növekedését. Ábécéje létrehozása során vette észre, hogy akkor a leggazdaságosabb a hírek továbbítása, ha a gyakran előforduló betűket rövid, míg a ritkán előforduló betűket hosszabb jelekkel helyettesíti.

Hartley az információ mérhetőségének problémájával foglalkozott. Felismerte, hogy az információ akkor mérhető, ha az információnak csak a fizikai formáját vizsgáljuk. Hartleynak az információ mérésére vonatkozó álláspontja helyes volt, képletéről¹¹ viszont kiderült, hogy az a hírközlésnek csak egy speciális esetére érvényes, amikor a jelek egyenlő gyakorisággal fordulnak elő. Az információ mérésének problémáját Shannon oldotta meg végleg.

Shannon az információ mérésének problémájával a negyvenes években kezdett foglalkozni. 1948-ban jelent meg tanulmánya „Mathematical Theory of Communication" (A kommunikáció matematikai elmélete címmel). A tanulmányban „...információmennyiségként definiált egy fogalmat, amelyet a vizsgált közlemény statisztikai váratlanságának logaritmusával (valószínűségének reciprokával) határozott meg."¹² Shannon tehát az információ fogalmát a valószínűség fogalmával kapcsolta össze, egységes matematikai keretben. Bevezette a matematikai információelmélet egyik fontos alapfogalmát, az entrópiát.¹³

Az információelmélet a fogalomról technikai meghatározást ad. Eszerint információ mindaz, ami kódolható és a feladót a címzettel összekötő csatornán átvihető. Az információt a kommunikációs folyamat mennyiségi mértékegységének tartja. Mackay¹⁴ szerint „Shannon mércéje azt mutatja, hogy minimálisan mennyi bináris lépéssel lenne az érintett reprezentáció kiválasztható a lehetséges reprezentációk halmazából." Weawer álláspontja, hogy „...az információ szó nem annyira arra vonatkozik, amit az ember mond, hanem arra, amit mondhat. Vagyis az információ annak a mértéke, hogy mekkora a szabadságunk valamely közlemény kiválasztásában."¹⁵

Korunk embere az információnak eddig nem ismert áradatával találkozik nap mint nap. Egyre több információra van szükségünk, ám ezt a hatalmas mennyiséget fel is kell dolgozni ahhoz, hogy hasznosítani tudjuk. A feldolgozás hagyományos eszközökkel már nem oldható meg. Az eszköz, ami segítséget nyújt a probléma hathatós megoldásában, a számítógép.

Mára az információ fogalma elszakíthatatlanul számítógéphez kapcsolódott. A számítógép legnagyobb jelentősége abban áll, hogy az információt nemcsak közvetíteni és tárolni tudja, hanem képes új információ előállítására is. Figyelembe kell vennünk azonban azt, hogy „...nem a számítógép ad eddig nem ismert információkat, csak ennek segítségével tudjuk a bevitt adatokat oly módon átalakítani, hogy az az ember számára információt jelent."¹⁶

Az információelmélet

A Shannoni hírközléselmélet alapjait Nyquist és Hartley, a Bell Laboratórium munkatársai vetették meg. Hartley közlési folyamatra vonatkozó elméletét Shannon¹⁷ fejlesztette tovább. Megalkotójának ugyanakkor C. Shannont tekinti a tudomány.

Morse találmányaival (ábécé, távíró) az üzenet pontosságának és gyorsaságának növekedését segítette elő.

Hartley az információ mérhetőségének problémájával foglalkozott. Döntő felismerése, hogy az információ csak akkor mérhető, ha eltekintünk a jelentéstől, és az információnak csak a fizikai formáját vizsgáljuk. Az információ mérésére vonatkozó álláspontja helyes volt, képletéről¹⁸ viszont kiderült, hogy az a hírközlésnek csak egy speciális esetére érvényes, amikor a jelek egyenlő gyakorisággal fordulnak elő. Az információ mérésének problémáját Shannonnak sikerült véglegesen megoldania.

„Az információ mértékéül Shannon elfogadta R. V. L. Hartley (1928) definícióját, hogy az információk átvitele egyezés létrehozását jelenti adó és vevő között bizonyos egymástól független kérdésekben, amelyek mindegyikére egyszerű 'igennel' és 'nemmel' lehet válaszolni. A bit¹⁹ információmennyisége a helyes 'igen' vagy 'nem' válaszok számával egyenlő. Az idézetben már benne az elemi egység neve. Ez a bit a 'binari digit'. A bit olyan eseményhez tartozó információ mennyisége, amelynek két kimenete van, s a kettő egyformán lehetséges. [...]" (Horváth T.)

¹¹ A képletet és levezetését lásd: Fülöp Géza (1996) Az információ. Budapest. p.7-8.

¹² Tószegi Zsuzsanna A képi információ. Budapest, OSZK. 1994. 57. p.

¹³ Az entrópia fogalmát és képletét lásd Fülöp, i.m. pp.10-12.

¹⁴ Mackay, Donald M.: A jelentés helye az információelméletben. In.: Kommunikáció.1. A kommunikatív jelentés. Budapest: Közg. és Jogi K., 1977. p.204.

¹⁵ Weawer, Warren: A kommunikáció matematikája. In.: Kommunikáció.1. A kommunikatív jelentés. Budapest: Közgazd. és Jogi K., 1977. p.73.

¹⁶ Forgó Sándor et.al. Informatika a tanügyigazgatásban. Budapest: OKKER. p.35.

¹⁷ Shannon A kommunikáció matematikai elmélete. című tanulmánya 1948-ban jelent meg, melyben információmennyiségként definiált egy fogalmat, amelyet a vizsgált közlemény statisztikai váratlanságának logaritmusával (valószínűségének reciprokával) határozott meg. Az információ fogalmát a valószínűség fogalmával kapcsolta össze egységes matematikai keretben. Bevezette a matematikai információelmélet egyik fontos alapfogalmát, az entrópiát. Az entrópia fogalmát és képletét l. Fülöp, im. 10-12.

¹⁸ A képletet és levezetését lásd: Fülöp Géza: Az információ. Budapest, 1996. 7-8.

¹⁹ Horvát T.:Könyvtárosok kézikönyve. Budapest, Osiris kézikönyvek, 1999. 70.