Informaatioteoria, syksy 2012

Luennoitsija

Esa Nummelin

Laajuus

9 op.
(Halutessaan voi sopia 1 lisäop:n suorittamisesta luennoijan kanssa.)

Tyyppi

Syventävä opinto

Esitietovaatimukset

Johdatus tn-laskentaan tai vastaava kurssi. Stokastiset prosessit hyödyllinen mutta ei välttämätön.

Luentoajat

Ma 12-14, ti 10-12 C124, lisäksi laskuharjoituksia 2 viikkotuntia.
Kysely- ja kertaustilaisuudet ke 31.10. ja ke 12.12. klo 14-16 salissa D123.

Kokeet

2 kurssikoetta tai lopputentti. Kurssikokeet tai lopputentti 0-30 pistettä, laskuharjoitusaktiivisuus 0-6 lisäpistettä.
 Kurssikokeet to 1.11. (painoarvo 40%) ja to 13.12. (painoarvo 60%) klo 16.00-18.00 salissa C124.
Loppukoe 18.12. klo 12-16 ja 24.1. klo 16-20. Näissä kokeissa laskuharjoituslisäpisteet voimassa.

Kirjallisuus

T. Cover ja J.Thomas: Elements of Information Theory, Wiley.

Sisältö

Peruskäsitteitä: informaatio, entropia, informaatiolähde, informaatiokanava.
 Shannonin lauseet I ja II: ns. datan tiivistyslause ja kanavan kapasiteettilause.
 Gaussinen informaatiokanava.

Ilmoittaudu

Unohditko ilmoittautua? Mitä tehdä.

Laskuharjoitukset

Tehtävässä 5.1 virhe: Siirtomatriisin symmetria on väärä oletus. Oikea oletus on: matriisien vaakarivien pitää olla toistensa permutaatioita, samoin pystyrivien pitää olla toistensa permutaatioita.

7. harj. (ma 3.12.) tehtävät:
 1-2. Cover&Thomas, s. 221, teht. 9 (ks 6. harj. tehtäväpaperi)
 3. Eksp(\lambda)-jakautuneen sm:n differentiaalientropia?
 4. N(\mu,\sigma^2)- "
 5. Osoita, että eksponentiaalijakaumalla, jolla on parametri 1/ \mu, on maksimaalinen diff.entropia niiden ei-neg. sm:ien jakaumien joukossa, joiden odotusarvo on \mu.

8.harj. (ti 11.12.) tehtävät:
 1. Olkoon X sm, jolla on tiheysfunktio f ja varianssi \sigma^2. Olkoon Y normaalijakautunut N(\mu,\sigma^2). Osoita, että H(X) \leq H(Y).
 2. Olkoon (X,Y) tasajakautunut kolmiossa x \geq 0, 0 \leq y \leq b - (b/a)x. Laske h(X), h(Y) ja I(X,Y).
 3. Laske K(Tas(0,a),Tas(0,b)).
 4. Olkoon (X,Y) multinormaalijakautunut N(0,0;\sigma_1^2,\sigma_2^2;\rho). (Tiheysfunktio löytyy tn-laskennan peruskurssin materiaalista. Se ilmoitetaan myös ma 10.12. luennolla.) Laske H(X),H(Y),H(X,Y),I(X,Y).