Intensive course, September 2012:

materials:
part1 ,
part2 ,
part3 ,
part4 ,
part5 ,
part6 ,
part7 ,
examples 

Bayes-päättely, kevät 2012

Perustiedot Bayes-lähestymistavan soveltamisesta tilastolliseen päättelyyn. Kurssi edellytetään esitietona useilla muilla kursseilla. Keskeistä sisältöä on posteriorin määräytyminen uskottavuusfunktiosta sekä priorijakaumasta. Posterioripäättelyä tarkastellaan sekä konjugaattiperheiden tapauksessa että yleisemmissä tilanteissa, joissa joudutaan soveltamaan laskennallisia menetelmiä. Alustava sisältö: (1) Bayesin kaavan historia johdantona kurssille, (2) kokonaistodennäköisyys, ehdollinen todennäköisyys ja Bayesin kaava, (3) esimerkkejä Bayes-päättelystä tavallisilla (ns. konjugaattisilla) jakaumaperheillä, (4) posteriori- ja posterioriprediktiivinen jakauma: käyttö ja tulkinta, (5) ei-konjugaattiset jakaumat ja MCMC-integroinnin periaate, (6) esimerkkejä OpenBUGSilla, (7) muita malleja ja sovelluksia. Tavoitteena on oppia Bayes-päättelyn matemaattiset periaatteet ja perusideat sekä teoriassa että esimerkkisovelluksissa: todennäköisyyden tulkinta, mallin ja posteriorijakauman muodostaminen, priorin ja datan rooli, tulosten laskeminen ja käyttäminen esimerkkiongelmissa sekä analyyttisesti että likiarvoisesti Monte Carlo -laskennalla, yksinkertaisten mallien käsittely OpenBUGS-ohjelmalla.

The lectures are in Finnish, but most material in English. The course gives introduction to the Bayesian approach to statistical inference. For several other courses utilizing Bayesian methods, this is assumed as background knowledge. Essentially we will study how posterior distributions are formed from the prior and likelihood. These posteriors will be examined with conjugate models but also in more general cases leading to computational methods. Preliminary contents
 include (1) history of Bayesian theorem as an introduction to the course, (2) joint probability, conditional probability and Bayes formula, (3) examples with conjugate models, (4) interpreting and using the posterior and posterior predictive distribution, (5) non-conjugate models and principles of MCMC integration, (6) examples with OpenBUGS, (7) other examples. The goal is to learn the mathematics and basic ideas of the theory and applications: how to interpret probability, formulating the model and posterior, the roles of prior and data, computing results in applications both analytically and approximately by Monte Carlo, dealing with simple models in OpenBUGS.

Luennoitsija

Jukka Ranta

Laajuus

5 op.

Tyyppi

Aineopintoja

Esitietovaatimukset

Johdatus todennäköisyyslaskentaan tai vastaavat tiedot todennäköisyyslaskennan peruskäsitteistä, kuten
 satunnaismuuttujista ja niiden jakaumista on hyvä olla jossain määrin tuttua sillä Bayes-päättely nojautuu todennäköisyyksien laskentaan. Myös johdatus tilastolliseen päättelyyn ja kiinnostus empiiristen aineistojen tilastolliseen mallintamiseen on hyödyksi.

Requirements: introductory course of probability, or equivalent knowledge of basic concepts such as random variables and their common distributions. Also introduction to classical statistics can be useful but not necessary.

Luentoajat

Viikot 3-8 ti 16-18, to 16-18 CK112, lisäksi laskuharjoituksia 2 viikkotuntia.

Kokeet:

Solutions: exam solutions.
 Solutions2: exam2 solutions.

Some tips for possible questions: tips .

Materiaalia luennoista ja harjoituksista etc. Course materials

Basic Ideas in 10 slides: here.

Historiaa: theory that....
 luentomemo, lecture notes: osa1 . osa2 . Tähän asti menetelmien esimerkeissä binomimalleja, mutta jatkossa muitakin. Methods here illustrated with binomial models, other models later...
 Joissakin esimerkeissä on lyhyitä R-koodeja, niitä kannattaa kokeilla, R on helppo asentaa netistä.
 Some examples include short R-codes, R is quite easy to install from the net and worth trying.

Posterior prediction etc. osa3 .
osa4 . osa5 .
 Monte Carlo method and BUGS: osa6 .

All parts put together, plus some editing: notes .

You can find the basic distribution functions and their parameters from an introductiory course of probability or any similar text book. In case you need a reference, here's one list . You don't need to
 remember all parametrizations of all distributions, but you should be able to look up from the list what they are, and use them for making simple calculations of means, variances, parameters,
 integrations of the probability densities, etc. NOTE also that some distributions may have alternative parametrizations, for example NegativeBinomial can be written in different forms in different text books.

Harjoitukset, exercises: harj1 , harj2 , harj3 . harj4 . harj5 .

Seuraavat harjoitukset tietokoneluokassa C128
Next exercises in computer class C128

Ratkaisuja, solutions: ratk1 , ratk2 , ratk3 , ratk4 .

Harjoituksissa merkitään kiertävään listaan mitkä tehtävistä on tehnyt, tai joista on valmis esittämään ratkaisuyrityksen. Nimi (selvästi) ja rasti, kiitos.
 Harjoituksista kertyy pisteitä jotka lasketaan tenttipisteiden päälle: 40% = 1 lisäpiste, 55% = 2, 70% = 3, 85% = 4 lisäpistettä.

In the exercise sessions, please mark which exercise problems you have honestly attempted to solve, by marking your name (clearly) and
 a tick in a list circulated in the session, thank you. By doing more exercises you can compensate the exam: with 40% of problems done you get 1 extra point,
 55% = 2, 70% = 3, and 85% = 4 extra points, added on top of exam points.

Kirjallisuus

Luentomoniste rakentuu luentojen mukaan, muuta kirjallisuutta esim: Christensen, Johnson, Branscum, Hanson: Bayesian Ideas and Data Analysis. CRC Press 2011.

Tähän asti käsiteltyä, topics covered so far

-interpretation of probability.
 -interpretation of prior (uninformative and informative priors, elicitation from expert knowledge, combining expert knowledge).
 -interpretation of conditional probability of data.
 -Bayes formula, resulting from probability laws, computation of posterior probabilities.
 -Binomial model and bayesian inference of its parameter(s), conjugate prior, alternative uninformative priors.
 -Summaries of posterior distributions, means, modes, medians, relation to loss functions, quantiles, credible intervals.
 -predictive distributions (prior and posterior predictive), exchangeability and conditional independence.
 -Posterior probability of a hypothesis, Bayes factors.
 -Poisson model and bayesian inference of its parameter, conjugate prior.
 -Exponential model, survival models, conjugate prior.
 -Normal distribution, bayesian inference of mean, variance, both parameters.
 -Monte Carlo methods, Gibbs sampling, WinBUGS.
 -Comparison of two populations, identifiability, linear model and prediction.

Please, send or ask questions if these are puzzling.

Ilmoittaudu

Unohditko ilmoittautua? Mitä tehdä.

Laskuharjoitukset (huom: paikka! Note: classroom changed!)