314212 BI - Projekt Multivariate Verfahren (BI-Pjs) (SoSe 2005)

In diesem Projekt beschäftigen wir uns mit der Regressionsanalyse, über die wir in der Vorlesung Ökonometrie schon sehr viel gelernt haben. Wir wollen dieses Wissen auffrischen, vertiefen und erweitern.

Das Projekt besteht aus sieben Teilprojekten. Die Aufgaben der Teilprojekte sind weiter unten zu finden. Jedes Teilprojekt wird von drei Studierenden bearbeitet. Bei allen Teilprojekten sollen die Verfahren so dargestellt werden, dass sie von einem interessierten Leser mit Vorkenntnissen in der Regressionsanalyse verstanden werden können. Somit sollte das Ziel des Verfahrens, die Vorgehensweise und natürlich auch das Ergebnis berücksichtigt werden. Beweise sind nicht nötig. Formeln werden aber sicher auftauchen. Außerdem soll an Hand von Datenbeispielen illustriert werden, wie man die Verfahren mit R anwenden kann. Ist ein Verfahren nicht in R implementiert, so sollte eine Funktion in R erstellt werden. Die Projektarbeit wird in LATEX erstellt.

Wir werden uns zu Beginn des Projektes mit R und LATEX beschäftigen.

Die Gemeinschaftaufgabe

Wie bei jedem Projekt gibt es eine Gemeinschaftsaufgabe, die von jeder Gruppe bearbeitet wird. Diese Gemeinschaftsaufgabe ist eine Art Lockerungsübung, mit der man zeigen soll, dass man mit R und LATEX umgehen kann. Für die Gemeinschaftsaufgabe wird auch ein Papier erstellt. Dieses muss Mitte Juni abgegeben werden. Hier ist die Aufgabenstellung.

Jeder hat im Grundstudium die Vorlesung Ökonometrie gehört und mit dem Lehrbuch von Herrn Frohn gearbeitet. In der Gemeinschaftsaufgabe soll dieses Wissen aufgefrischt werden und gezeigt werden, wie man ausgewählte Verfahren aus dem Buch in R rechnet. Dabei soll der Datensatz auf Seite 36 im Lehrbuch von Herrn Frohn verwendet werden. Folgende Punkte aus dem Buch von Herrn Frohn sollen in R bearbeitet werden:

Schätzung der Parameter gemäß Gleichung (2.30) auf Seite 34
Erstellen der Abbildung 5 auf Seite 38
Bestimmung der Schätzer der Varianz-Kovarianz-Matrix der Parameterschätzer gemäß Gleichung (2.70) auf Seite 48
Berechnung des Bestimmtheitsmaß gemäß Gleichung (2.75) auf Seite 50
Durchführen der Tests auf den Seiten 86, 89 und 93
Aufstellen der Konfidenzintervalle gemäß Gleichung (2.184) auf Seite 99
Zeichnen der Konfidenzellipse in Abbildung 8 auf Seite 103
Durchführen des Durbin-Watson-Tests gemäß Gleichung (2.196) auf Seite 108

Teilprojekt 1: Robuste Regression 1
Der K-Q-Schätzer minimiert die Summe quadrierten Abweichungen. Deshalb ist er nicht robust. Der L1-Schätzer hingegen, der die Summe der Abweichungen minimiert, ist nicht ausreißerempfindlich. Im vierten Kapitel von Birkes, Dodges (1993) wird ein Algorithmus zur Bestimmung des L1-Schätzers beschrieben. Dieser soll in R umgesetzt werden und auf Datensätze angewendet werden. Außerdem die in Kapitel 4 beschriebenen Tests in R implementiert werden.
Literatur:
Birkes, D., Y. Dodges (1993): Alternative methods of regression, Wiley, New York. S. 57-84

Teilprojekt 2: Robuste Regression 2
Neben dem in Teilprojekt 1 behandelten L1-Schätzer existieren noch eine Vielzahl von robusten Schätzern des Parametervektors. Von diesen sollen der LMS-Schätzer und die M-Schätzer in diesem Teilprojekt betrachtet werden. In R gibt es im Paket MASS die Funktion lqs für den LMS-Schätzer und die Funktion rlm für den M-Schätzer.
Literatur:
Birkes, D., Y. Dodges (1993): Alternative methods of regression, Wiley, New York. S. 85-110
Draper, N., H. Smith (1998): Applied regression analysis, Wiley, New York. 3. Auflage. S. 567-584
Faraway, J.J. (2004): Linear models with R, Chapman & Hall, Boca Raton. S. 96-106
Montgomery, D.C., Peck, E.A. (2001): Introduction to linear regression analysis, Wiley, New York. 3. Auflage. S. 382-404
Myers, R.H.: Classical and Modern Regression with Applications, Duxbury Press, Belmont. 2. Auflage S. 349-357
Venables, D.M., B. D. Ripley (2003) : Modern applied statistics with S, Springer, New York. 4. Auflage

Teilprojekt 3: Diagnostika bei linearer Regression
Der K-Q-Schätzer ist ausreißerempfindlich. Somit haben extreme Beobachtungen einen großen Einfluss auf ihn. Dieses Teilprojekt beschäftigt sich mit Verfahren zur Identifikation von Ausreißern und einflussreichen Beobachtungen in der linearen Regression. Außerdem werden Grafiken betrachtet, mit denen man erkennen man, ob Variablen transformiert werden müssen. Hierzu gehören partielle Residuenplots, Residuenplots, Added-variable-plots und CERES-Plots kann man. Diese sind in R in der Bibliothek car zu finden.Für die diagnostika gibt es in R die Funktionen influence.measures und lm.influence.
Literatur:
Atkinson, A. C. (1985): Plots, transformations and regression: an introduction to graphical methods of diagnostic regression analysis, Clarendon Press, Oxford. S. 22-29, 62-79, 220-226
Cook, R. D. (1993): Exploring partial residual plots. Technometrics, 35, 351-362.
Cook, D.R., S. Weisberg (1994): An Introduction to Regression Graphics, Wiley, New York.
Faraway, J.J. (2004): Linear models with R, Chapman & Hall, Boca Raton. S. 53-74
Fox, J. (2002) An R and S-Plus Companion to Applied Regression, Sage, Thousand Oaks. S.146-152, 192-201, 210-214
Kockelkorn, U. (2000): Lineare statistische Methoden, Oldenbourg, München. S. 390-394, 415-432
Mansfield, Edward R. , M. D. Conerly (1987): Diagnostic value of residual and partial residual plots. The American Statistician, S.107-116
Montgomery, D.C., Peck, E.A. (2001): Introduction to linear regression analysis, Wiley, New York. 3. Auflage. S. 146-152, 207-218
Myers, R.H.: Classical and Modern Regression with Applications, Duxbury Press, Belmont. 2. Auflage S. 233-241, 250-273
Venables, D.M., B. D. Ripley (2003) : Modern applied statistics with S, Springer, New York. 4. Auflage

Teilprojekt 4: Transformationen
Box und Cox (1964) haben eine Klasse von Transformationen der abhängigen Variablen und Box und Tidwell (1962) eine Klasse von Transformationen der erklärenden Variablen in der Regressionsanalyse vorgeschlagen. In R gibt es die Funktionen box.cox und box.tidwell in der Bibliothek car.
Literatur:
Berk, K.N., Booth, D.E. (1995): Seeing a Curve in multiple regression. Technometrics. S.385-397
Box, G. E. P. and Cox, D. R. (1964): An analysis of transformations. JRSS B 26. S. 211?246.
Box, G. E. P. and Tidwell, P. W. (1962) Transformation of the independent variables. Technometrics 4, 531-550.
Draper, N., H. Smith (1998): Applied regression analysis, Wiley, New York. 3. Auflage. S. 277-290
Faraway, J.J. (2004): Linear models with R, Chapman & Hall, Boca Raton. S. 107-118
Fox, J. (2002) An R and S-Plus Companion to Applied Regression, Sage, Thousand Oaks. S. 201-206, 214-216
Kockelkorn, U. (2000): Lineare statistische Methoden, Oldenbourg, München. S. 469-482
Montgomery, D.C., Peck, E.A. (2001): Introduction to linear regression analysis, Wiley, New York. 3. Auflage. S. 173-192
Myers, R.H.: Classical and Modern Regression with Applications, Duxbury Press, Belmont. 2. Auflage S. 293-315

Teilprojekt 5: Multikollinearität
Multikollinearität liegt vor, wenn erklärende Variablen miteinander korreliert sind. In diesem Fall ist der K-Q-Schätzer instabil. In diesem Teilprojekt sollen Diagnostika beschrieben werden, mit denen man Multikollinearität entdecken kann. Die Ridge Regression ist ein Verfahren, das man bei Multikollinearität verwenden sollte. In R gibt es die Funktion lm.ridge in der Bibliothek MASS für die Ridge Regression. Diagnostika für Multikollinearität sind in der Funktion vif in der Bibliothek car zu finden.
Literatur:
Birkes, D., Y. Dodges (1993): Alternative methods of regression, Wiley, New York. S. 173-186
Draper, N., H. Smith (1998): Applied regression analysis, Wiley, New York. 3. Auflage. S. 369-400
Faraway, J.J. (2004): Linear models with R, Chapman & Hall, Boca Raton. S. 141-144
Fox, J. (2002) An R and S-Plus Companion to Applied Regression, Sage, Thousand Oaks. S. 216-220
Kockelkorn, U. (2000): Lineare statistische Methoden, Oldenbourg, München. S. 395-403
Montgomery, D.C., Peck, E.A. (2001): Introduction to linear regression analysis, Wiley, New York. 3. Auflage. S. 325-378
Myers, R.H.: Classical and Modern Regression with Applications, Duxbury Press, Belmont. 2. Auflage S. 368-422

Teilprojekt 6: Variablenselektion
Oft liegen sehr viele erklärende Variablen vor, von denen man eine geeignete Teilmenge auswählen will. In R gibt es die Funktion regsubsets in der Bibliothek leaps. Außerdem enthält die Bibliothek wle Funktionen zur Modellselektion.
Literatur:
Draper, N., H. Smith (1998): Applied regression analysis, Wiley, New York. 3. Auflage. S. 327-368
Faraway, J.J. (2004): Linear models with R, Chapman & Hall, Boca Raton. S. 119-128
Fox, J. (2002) An R and S-Plus Companion to Applied Regression, Sage, Thousand Oaks. S. 220-225
Kockelkorn, U. (2000): Lineare statistische Methoden, Oldenbourg, München. S. 445-464
Miller, A.J. (1990): Subset Selection in regression, Chapman and Hall, London.
Montgomery, D.C., Peck, E.A. (2001): Introduction to linear regression analysis, Wiley, New York. 3. Auflage. S. 291-318
Myers, R.H.: Classical and Modern Regression with Applications, Duxbury Press, Belmont. 2. Auflage S. 164-199

Teilprojekt 7: Nichtlineare Regression
Bei der nichtlinearen Regression betrachten wir einen nichtlinearen Zusammenhang zwischen einer abhängigen und einer oder mehreren erklärenden Variablen. Ein Beispiel ist die Cobb-Douglas-Produktionsfunktion. In R gibt es die Funktion nls im Paket nls.
Literatur:
Draper, N., H. Smith (1998): Applied regression analysis, Wiley, New York. 3. Auflage. S. 505-567
Huet, S. (1996): Statistical tools for nonlinear regression, Springer, New York.
Montgomery, D.C., Peck, E.A. (2001): Introduction to linear regression analysis, Wiley, New York. 3. Auflage. S. 414-438
Myers, R.H.: Classical and Modern Regression with Applications, Duxbury Press, Belmont. 2. Auflage S. 425-449
Ratkowsky, D.A. (1983): Nonlinear regression modeling, Dekker, New York.
Venables, D.M., B. D. Ripley (2003) : Modern applied statistics with S, Springer, New York. 4. Auflage

Requirements for participation, required level

Multivariate Verfahren