Informaatioteoria (kevät 2016)

Laajuus 10 op

Luennot ti 10-12 ja ke 10-12 salissa M342 (alustava; sali voi vielä muuttua)

Ensimmäinen luento 12.1

Harjoitukset: To 12 - 14 M342 (alustava; sali voi vielä muuttua)

Taso: Syventävät opinnot

Soveltuvuus: Sopii sekä matematiikan, sovelletun matematiikan että tilastotieteen opiskelijoille

 

---

Kurssin aihe

Kurssi esittelee Claude Shannonin muotoileman viestinnän matemaattisen teorian käsitteitä ja tuloksia. Informaatioteoria on keskeinen osa sitä matemaattista perustaa, johon esimerkiksi televiestinnän sovellukset nojaavat. Kiinnostuksen kohteena ovat viestilähteen sisältämän informaation määrän mittaaminen, informaation tiivistäminen, koodaaminen, koodatun informaation lähettäminen tiedonsiirtokanavan läpi lähettäjältä vastaanottajalle sekä vastaanotetun viestin dekoodaaminen (tulkinta).  Keskeisiä kysymyksiä ovat tiedon tiivistämisen kannalta optimaalinen koodaaminen ja se millä nopeudella  on mahdollista lähettää informaatiota luotettavasti annetun tiedonsiirtokanavan läpi.

Tarvittavat esitiedot

Kurssin seuraaminen ei edellytä laajoja esitietoja. Todennäköisyyslaskennan peruskurssin tiedot täydennettynä useampiulotteisten jakaumien perusasioilla esimerkiksi todennäköisyyslaskennan jatkokurssin tai satunnaismuuttujat ja jakaumat -kurssin pohjalta pääosin riittävät. Lisäksi kuulijoilla oletetaan olevan lineaarialgebran ja useamman muuttujan differentiaali- ja integraalilaskennan perustiedot. Aivan kurssin loppupuolella (jatkuva-aikainen Gaussin kanava) käytetään jonkin verran vaativampia matemaattisia käsitteitä (Hilbertin avaruus L₂, stokastiset prosessit) mutta luennoilla pyritään näiltäkin osin esittämään kaikki tarpeellinen.  Tarvittaessa keskeisiä asioita kerrataan. On myös huomattava, että tällä kurssilla informaation koodausta käsitellään lähinnä vain periaattelliselta kannalta eikä esimerkiksi koodausteorian kurssin tietoja lainkaan edellytetä.

Luennot ja laskuharjoitukset

Opetus koostuu luennoista sekä laskuharjoituksista. Lasketuista kotilaskuista saa hyvitystä kurssin jälkeisessä ensimmäisessä tentissä. Kurssilla on käytössä moniste, jonka linkki on alla.
 

---

 

Kurssilla käsiteltäviä asioita

• Informaation määrän mittaaminen, entropia ja siihen liittyvät käsitteet
  
• Informaation tiivistäminen, optimaalinen koodaus
• Diskreetti kanava
• Diskreettiaikainen ja jatkuva-aikainen Gaussin kanava 

---

 
Kirjoja

Norman Abramson. Information Theory and Coding. McGraw-Hill, 1963.

Robert B. Ash. Information Theory. Dover, 1990 (vuonna 1965 julkaistun kirjan uusintapainos).

Thomas M. Cover and Joy A. Thomas. Elements of Information Theory. Wiley, 1991.

Robert G. Gallager. Information Theory and Reliable Communication. Wiley, 1968.

David J. C. MacKay. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2004.

Claude E. Shannon and Warren Weaver. The Mathematical Theory of Communication. University of Illinois Press, 1998.

---

Harjoitustehtävät

Harjoitus 1 (pdf)

Harjoitus 2 (pdf)

Harjoitus 3 (pdf)

Harjoitus 4 (pdf)

Harjoitus 5 (pdf)

Harjoitus 6 (pdf)

Harjoitus 7 (pdf)

Harjoitus 8 (pdf)

Harjoitus 9 (pdf)

Harjoitus 10 (pdf)

Harjoitus 11 (pdf)

Harjoitus 12 (pdf)

Harjoitus 13 (pdf)

Harjoitus 14 (pdf) (Huom: 2 sivua)

---

Luentomoniste

---

Muuta luentomateriaalia

---

Englanti-suomi-sanasto

---

Lisätietoja

Pääsiäisloman johdosta luentoja ja laskuharjoituksia ei pidetä viikolla 15.