21 Vorhersagen bei der multiple linearen Regression
21.1 Multiple Regression und Polynome
21.2 Vorhersage versus Inferenz
21.2.1 Bias-Variance Trade-off
21.2.2 Test error versus training error
- The test error is the average error that results from using a statistical learning method to predict the response on a new observation, one that was not used in training the method.
- The training error is the average error that results from applying the statistical learning method to the observations used in its training.
The training error rate often is quite different from the test error rate, and in particular the former can dramatically underestimate the latter.
21.2.3 Training- versus Test-Set Performance
21.3 Validation-set approach
- Randomly divide the available set of samples into two parts: a training set and a validation or hold-out set.
- The model is fit on the training set, and the fitted model is used to predict the responses for the observations in the validation set.
- The resulting validation-set error provides an estimate of the test error. This is typically assessed using MSE in the case of a quantitative response and misclassification rate in the case of a qualitative (discrete) response.
21.3.1 K-fold Cross-validation
- Estimates can be used to select best model, and to give an idea of the test error of the final chosen model.
- Randomly divide the data into K equal-sized parts. We leave out part \(k\), fit the model to the other \(K-1\) parts (combined), and then obtain predictions for the left-out \(k\)th part.
- This is done in turn for each part \(k = 1, 2, \ldots K\), and then the results are combined.
21.3.2 Implementierungs details
- Let the \(K\) parts be \(C_1, C_2, \ldots, C_K\) with \(n_k = n/K\) observations each
- Compute \[ CV_{(K)} = \sum_{i=1}^K \frac{n_k}{n}MSE_k \]
- Setting \(K = n\) yields leave-one out cross-validation (LOOCV)
21.4 Bootstrap
In vielen Fällen ist die Annahme einer bestimmten Verteilung für eine Statistik nur sehr schwer zu begründen. Da aber die gesamte Maschinerie der Inferenz darauf beruht Aussagen über die Stichprobenverteilung zu machen hat man sich auf die Suche nach alternativen Möglichkeiten gemacht. Eine Lösung für dieses Problem ist der Bootstrap. Der Bootstrap ist dabei eine flexibles statistisches Tool um eine Aussage über die Unsicherheit auf Basis einer Stichprobe zu machen ohne zu restriktive Annahme über die Verteilung der Population zu machen. Hauptziel des Bootstraps ist es einen Schätzer für den Standardfehler zu erhalten. Das Prinzip das beim Bootstrap zur Anwendung kommt, ist das sogenannte plug-in principle.
Definition 21.1 (Plug-in principle) To estimate a parameter, a quantity that describes the population, use the statistic that is the corresponding quantity for the sample.
Die Effiziente Anwendung des Bootstrap ist dabei erst mit allgemeinen Verfügbarkeit von schneller Rechenleistung möglich gemacht worden. Beim Bootstrap wird eine wiederholte Stichprobenziehung der Daten aus der vorliegenden Stichprobe durchgeführt. Diese Stichprobe wird als Bootstrap-Stichprobe bezeichnet. Die Bootstrap-Stichprobe hat die gleiche Größe \(N\) wie die ursprüngliche Verteilung. Damit nicht die genau gleiche Strichprobe entsteht, wird die Bootstrap-Stichprobe durch Ziehen mit Zulegen generiert. D.h. jeder Datenpunkt in der Originalstichprobe kann mehrmals in der Bootstrap-Stichprobe landen. Die Annahme beim Bootstrapverfahren, ohne geht es auch hier nicht, ist, das die beobachtete Stichprobe die Population repräsentiert. In diesem Fall, ist kann die Stichprobe als drop-in replacement für die eigentliche Population verwendet werden. D.h. aber auch das nicht wirklich neue Daten durch den Bootstrap generiert werden. Die Bootstrap-Stichprobe wird lediglich dazu verwendet Informationen über die Varianz der gewünschten Statistik zu erhalten, ähnlich wie dies auch beim Standardfehler \(s_{e} = \frac{s}{\sqrt{n}}\) des Mittelwerts \(\bar{x}\) gemacht wird.
In Abbildung 21.1 sind die Unterschied zwischen diesen beiden Prozessen noch einmal verdeutlicht.
Bootstrap t-Interval (compare Hesterberg (2015))
- Calculate a bootstrap t-statistics \[ t^* = \frac{\hat{\theta}- \hat{\theta}}{SE^{*}} \]
- Calculate Confidence interval (attention reversed quantiles) \[ (\hat{\theta}-q_{1-\alpha/2}SE,\hat{\theta}-q_{\alpha/2}SE) \]