Bayes-päättely, kevät 2014

Luennoitsija 

Jukka Ranta

Laajuus

5 op.

Tyyppi

Aineopintoja

Esitietovaatimukset

Perustiedot Bayes-lähestymistavan soveltamisesta tilastolliseen päättelyyn yksi- ja moniparametrisilla malleilla. Kurssi edellytetään esitietona useilla muilla kursseilla. Keskeistä sisältöä on posterioritodennäköisyyksien määräytyminen uskottavuusfunktiosta sekä priorijakaumasta. Posteriorien ratkaisemista ja laskentaa tarkastellaan sekä konjugaattiperheiden tapauksessa että yleisemmissä tilanteissa, joissa sovelletaan Monte Carlo -menetelmiä, BUGS-ohjelmistoa ja jonkin verran myös R-ohjelmaa lähinnä grafiikan tuottamiseen tai satunnaisotantaan. Keskeisiä käsitteitä: priori, posteriori, uskottavuusfunktio, informatiivisen ja epäinformatiivisen priorin soveltaminen, konjugaattiset (liitto)priorit, Monte Carlo -menetelmä, graafinen malli (DAG-kaavio), ehdollinen riippumattomuus, ennustejakauma. Luennot perustuvat luentomonisteeseen ja taustakirjallisuuteen joka on mainittu kurssin kotisivulla. Esitietoina tarvitaan  tuntemus todennäköisyyslaskennan käsitteistä (odotusarvo, varianssi, ehdollinen-, yhteis- ja marginaalijakauma), sekä (ii) todennäköisyyksien laskusääntöjen hallinta ja (iii) yleisimpien parametristen todennäköisyysjakaumien (binomi, Poisson, normaali, jne.) tuntemus diskreeteille ja jatkuva-arvoisille muuttujille, ja (iv) tilastollisen päättelyn periaate uskottavuusfunktion käsitteen osalta.

The course gives an introduction to the theory of bayesian inference and basics of WinBUGS / OpenBUGS for application examples. (Also R software will be modestly used). There are no pre-requirements other than reasonable familiarity with basic differential and integral calculus of functions of one, two and sometimes several variables. But: perhaps most essential is to know probability theory at basic level but reasonably well to be able to do some calculations. Concepts of discrete and continuous random variables, their usual distributions as well as parameterizations of these distributions should be reasonably familiar (not never-heard). In addition to 'usual' distributions such as Normal, Binomial, Multinomial, Poisson, Exponential etc. which you must have more-or-less seen or heard before, we will work with others that can be less familiar to you now: Beta, Dirichlet, Gamma, etc. You won't need to memorize exact mathematical definition of each, but you will need to recognize them, to know what they stand for and to do some short mathematical manipulations with them. For that, you will need to distinguish concepts such as 'random variable' and 'parameters' in each case, and to apply calculus to compute things like conditional probability, marginal probability, expected value, etc. at least in simple cases with given functions. Both with discrete and continuous distributions. For some examples we aim to look for analytical solutions but over time, we increasingly need to pay attention to learning the principle of the method and its underlying working conditions, to let software do computing. It can be an advantage to have knowledge of basic (non-bayesian) statistics, although not necessary. But some understanding of probability theory is needed because that is the main tool that will be used. Also an interest in applied problems is beneficial for making probabilistic model based inference from data, as well as willingness to get hands on command script based software.

Luentoajat

Viikot 3-4, ti 16-18 C123, to 16-18 C124.

Huom! Muutos:  Viikot 5-8 ma 16-18 D123, ti 16-18 C123

lisäksi laskuharjoituksia 2 viikkotuntia.

Luennot pidetään suomeksi, harjoitukset englanniksi.

Lectures will be in Finnish, but lecture material is in English for self studies; exercise sessions will be in English.

Kokeet

Exam 26.2. Wed, 12-15 CK112. Doing more exercises gives extra points to be added to exam points.   

Sisältökuvaus, kurssimateriaali ja kirjallisuus

Lecture materials in English to be updated. Similar material can be found in books:

R. Christensen et al.: Bayesian Ideas and Data Analysis. An Introduction for Scientists and Statisticians. CRC Press. 2011.

D. Lunn et al.: The BUGS Book. A Practical Introduction to Bayesian Analysis. CRC Press. 2013.

J. Albert: Bayesian Computation with R. Springer. 2009.  

Here the first slides:

background_intro

bag_of_balls_example

Conjugate models   (Poisson models added 3.2.)

Computations and BUGS     (updated 26.1.)

Reporting summaries from posterior distribution

Predictive distributions

From Monte Carlo to Markov chain Monte Carlo (MCMC) - what's hidden inside BUGS? 

Multiparameter inference

More advice on BUGS  ! 

hypotheses

applications  (updated)

model assessment

Essentially similar material written in more text-book form: course text  (Updated 3.2.)

Moodle: https://moodle.helsinki.fi/course/view.php?id=12064

Solutions to exercises will be in moodle.

Also: in Moodle there are 2 discussion topics on (1) exercise problems and (2) generally on any topics in course contents. Either in Finnish/English. Anything unclear? Please ask! Kysykää!

Ilmoittaudu kurssille

Unohditko ilmoittautua? Katso ohjeet täältä!

Laskuharjoitukset

Alkavat toisella luentoviikolla.  

Starting from the 2nd week of the course.  

exercises1    (Correction added)

exercises2  (Clarifications added)

exercises3  (only 4 problems, but practise with BUGS)

exercises4

exercises5