26.1 Kleinste Quadrate, Residuen und das Schätzkriterium

Ein Problem ist natürlich die korrekte Spezifikation des Modells, d.h. die Frage ob das Wahre Modell wirklich linear ist. In dieser Graphik können Sie frei einen funktionalen Zusammenhang wählen. Als Voreinstellung habe ich einen Quadratischen Zusammenhang eingestellt. Es werden dann die Daten generiert und Sie können mit den Buttons „KQ-Schätzung anzeigen“ und „wahres Modell anzeigen“ die Schätzung und wahres Modell einblenden (Doppelklick). Was fällt Ihnen bei den Residuen auf?

Die unten stehende Tabelle zeigt Ihnen den wahren Wert der Parameter, die über die Kleinste-Quadrate-Regression geschätzen Werte und die von Ihnen eingestellten Werte an.

Außerdem geben wir noch ein paar Werte zu den Residuen an: Den Durchschnitt der Residuen $\frac{1}{n}{\sum <!--\; FUNCTION\; APPLICATION\; -->}_i=1^n{r}_i$, den Durchschnitt der Absolutbeträge der Residuen $\frac{1}{n}{\sum <!--\; FUNCTION\; APPLICATION\; -->}_i=1^n\left|r_i\right|$ und den Durchschnitt der Quadrate der Residuen $\frac{1}{n}{\sum <!--\; FUNCTION\; APPLICATION\; -->}_i=1^n{r}_i^2$. Es fällt auf, dass der Durchschnitt der Residuen immer sehr klein ist. Das liegt daran, dass sich die positiven und negativen Fehler gegenseitig aufheben, wenn man einfach alle addiert. Bei den Absolutbeträgen und den Quadraten ist das nicht so. Außerdem werden Sie feststellen, dass Sie mit etwas Mühe den Wert der Absolutbeträge unterbieten können, den der Quadrate jedoch nie.

Warum ist das so? Das liegt an der Festlegung, was "möglichst gut passen" bedeuten soll. Bislang haben wir das noch gar nicht festgelegt und wie Sie an diesem Beispiel sehen, gibt es mehrere Möglichkeiten eine solche Festlegung zu treffen. Eine ist die Kleinste-Quadrate-Regression. Hier wird unser Modell so geschätzt, dass die Summe der Residuenquadrate (das ist äquivalent zum Durchschnitt) minimiert werden soll. Da die KQ-Regression also diesen Wert minimiert, gibt es keine anderen $\alpha$ und $\beta$ die eine kleinere Residuenquadratsumme ergeben, nicht einmal die wahren Parameter! Nimmt man ein anderes Kriterium wie zum Beispiel die Summe der Absolutbeträge, so ergeben sich eben andere optimale Schätzwerte für $\alpha$ und $\beta$. Zu erläutern, welche Vor- und Nachteile die einzelnen Kriterien haben, würde den Rahmen hier sprengen. Das erfahren Sie in Ihrer Statistikvorlesung oder einem guten Buch.

Hinweis 1: Aus dem eindimensionalen kennen Sie diese Kriterien bereits. Wollen Sie den "mittleren" Wert einer Zahlenmenge finden, so minimiert der Durchschnitt die Summe der quadratischen Abweichungen und der Median die Summe der absoluten Abweichungen.

Hinweis 2 (für Interessierte): Das Kriterium der Quadrate nennt sich L2 Norm, dass der Absolutbeträge L1 Norm, nach der Größe des Exponenten. Man kann also auch eine $L^3$, $L^4$, $L^X$ Norm als Kriterium heranziehen, indem man die Summe der $|r{\text{|}}^3$, $r^4$ oder $|r{\text{|}}^X$ minimiert. Man kann sogar die $L^{\infty }$ Norm definieren, bei der dann $\alpha$ und $\beta$ so gewählt werden, dass das größte Residuum minimiert wird.