<P>Applied Robust Statistics<BR>David J. Olive<BR>Southern Illinois University<BR>Department of Mathematics<BR>Mailcode 4408<BR>Carbondale, IL 62901-4408<BR><a href="mailto:dolive@math.siu.edu" target="_blank" >dolive@math.siu.edu</A><BR>July 6, 2005</P>
<P><BR>Contents</P>
<P>Preface v<BR>1 Introduction 1<BR>1.1 Outlier....s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4<BR>1.2 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<BR>1.3 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 18<BR>1.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19<BR>2 The Location Model 25<BR>2.1 Four Essential Location Estimators . . . . . . . . . . . . 25<BR>2.2 A Note on Notation . . . . . . . . . . . . . . . . . . . . . 29<BR>2.3 The Population Median and MAD . . . . . . . . . . . . . 30<BR>2.4 Robust Confidence Intervals . . . . . . . . . . . . . . . . . 38<BR>2.5 Large Sample CIs and Tests . . . . . . . . . . . . . . . . . 41<BR>2.6 Some Two Stage Trimmed Means . . . . . . . . . . . . . 44<BR>2.7 Asymptotics for Two Stage Trimmed Means . . . . . . 48<BR>2.8 L, R, and M Estimators . . . . . . . . . . . . . . . . . . . 53<BR>2.9 Asymptotic Theory for the MAD . . . . . . . . . . . . . 56<BR>2.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59<BR>2.11 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 62<BR>2.12 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65<BR>3 Some Useful Distributions 72<BR>3.1 The Binomial Distribution . . . . . . . . . . . . . . . . . . 73<BR>3.2 The Burr Distribution . . . . . . . . . . . . . . . . . . . . 74<BR>3.3 The Cauchy Distribution . . . . . . . . . . . . . . . . . . . 74<BR>3.4 The Chi Distribution . . . . . . . . . . . . . . . . . . . . . 75<BR>3.5 The Chi–square Distribution . . . . . . . . . . . . . . . . 75<BR>3.6 The Double Exponential Distribution . . . . . . . . . . . 77<BR>3.7 The Exponential Distribution . . . . . . . . . . . . . . . . 78<BR>3.8 The Two Parameter Exponential Distribution . . . . . 79<BR>3.9 The Extreme Value Distribution . . . . . . . . . . . . . . 80<BR>3.10 The Gamma Distribution . . . . . . . . . . . . . . . . . . 81<BR>3.11 The Half Normal Distribution . . . . . . . . . . . . . . . 83<BR>3.12 The Logistic Distribution . . . . . . . . . . . . . . . . . . 84<BR>3.13 The Lognormal Distribution . . . . . . . . . . . . . . . . . 84<BR>3.14 The Normal Distribution . . . . . . . . . . . . . . . . . . . 85<BR>3.15 The Pareto Distribution . . . . . . . . . . . . . . . . . . . 87<BR>3.16 The Poisson Distribution . . . . . . . . . . . . . . . . . . . 88<BR>3.17 The Power Distribution . . . . . . . . . . . . . . . . . . . . 88<BR>3.18 The Rayleigh Distribution . . . . . . . . . . . . . . . . . . 89<BR>3.19 The Student’s t Distribution . . . . . . . . . . . . . . . . 89<BR>3.20 The Truncated Extreme Value Distribution . . . . . . . 90<BR>3.21 The Uniform Distribution . . . . . . . . . . . . . . . . . . 91<BR>3.22 The Weibull Distribution . . . . . . . . . . . . . . . . . . . 91<BR>3.23 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 92<BR>3.24 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93<BR>4 Truncated Distributions 100<BR>4.1 The Truncated Exponential Distribution . . . . . . . . . 103<BR>4.2 The Truncated Double Exponential Distribution . . . . 105<BR>4.3 The Truncated Normal Distribution . . . . . . . . . . . . 105<BR>4.4 The Truncated Cauchy Distribution . . . . . . . . . . . . 108<BR>4.5 Asymptotic Variances for Trimmed Means . . . . . . . . 109<BR>4.6 Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113<BR>4.7 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 121<BR>4.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123<BR>5 Multiple Linear Regression 126<BR>5.1 A Graphical Method for Response Transformations . . 128<BR>5.2 Assessing Variable Selection . . . . . . . . . . . . . . . . . 138<BR>5.3 A Review of MLR . . . . . . . . . . . . . . . . . . . . . . . 153<BR>5.4 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 166<BR>5.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167<BR>6 Regression Diagnostics 185<BR>6.1 Numerical Diagnostics . . . . . . . . . . . . . . . . . . . . 185<BR>6.2 Graphical Diagnostics . . . . . . . . . . . . . . . . . . . . . 188<BR>6.3 Outlier Detection . . . . . . . . . . . . . . . . . . . . . . . 192<BR>6.4 A Simple Plot for Model Assessment . . . . . . . . . . . 195<BR>6.5 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 202<BR>6.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203<BR>7 Robust and Resistant Regression 211<BR>7.1 High Breakdown Estimators . . . . . . . . . . . . . . . . . 211<BR>7.2 Two Stage Estimators . . . . . . . . . . . . . . . . . . . . . 213<BR>7.3 Estimators with Adaptive Coverage . . . . . . . . . . . . 215<BR>7.4 Theoretical Properties . . . . . . . . . . . . . . . . . . . . 216<BR>7.5 Computation and Simulations . . . . . . . . . . . . . . . . 223<BR>7.6 Resistant Estimators . . . . . . . . . . . . . . . . . . . . . 228<BR>7.7 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 231<BR>7.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233<BR>8 Robust Regression Algorithms 236<BR>8.1 Inconsistency of Resampling Algorithms . . . . . . . . . 239<BR>8.2 Theory for Concentration Algorithms . . . . . . . . . . . 244<BR>8.3 Elemental Sets Fit All Planes . . . . . . . . . . . . . . . . 253<BR>8.4 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 263<BR>8.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265<BR>9 Resistance and Equivariance 267<BR>9.1 Resistance of Algorithm Estimators . . . . . . . . . . . . 267<BR>9.2 Advice for the Practitioner . . . . . . . . . . . . . . . . . 271<BR>9.3 Desirable Properties of a Regression Estimator . . . . . 272<BR>9.4 The Breakdown of Breakdown . . . . . . . . . . . . . . . 275<BR>9.5 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 283<BR>9.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283<BR>10 Multivariate Models 284<BR>10.1 The Multivariate Normal Distribution . . . . . . . . . . 285<BR>10.2 Elliptically Contoured Distributions . . . . . . . . . . . . 289<BR>10.3 Sample Mahalanobis Distances . . . . . . . . . . . . . . . 292<BR>10.4 Affine Equivariance . . . . . . . . . . . . . . . . . . . . . . 294<BR>10.5 Breakdown . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295<BR>10.6 Algorithms for the MCD Estimator . . . . . . . . . . . . 296<BR>10.7 Theory for CMCD Estimators . . . . . . . . . . . . . . . 298<BR>10.8 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 310<BR>10.9 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312<BR>11 CMCD Applications 317<BR>11.1 DD Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317<BR>11.2 Robust Prediction Regions . . . . . . . . . . . . . . . . . . 325<BR>11.3 Resistant Regression . . . . . . . . . . . . . . . . . . . . . 328<BR>11.4 Robustifying Robust Estimators . . . . . . . . . . . . . . 332<BR>11.5 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 333<BR>11.6 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334<BR>12 1D Regression 337<BR>12.1 Estimating the Sufficient Predictor . . . . . . . . . . . . 340<BR>12.2 Visualizing 1D Regression . . . . . . . . . . . . . . . . . . 346<BR>12.3 Predictor Transformations . . . . . . . . . . . . . . . . . . 358<BR>12.4 Variable Selection . . . . . . . . . . . . . . . . . . . . . . . 359<BR>12.5 Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369<BR>12.6 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 372<BR>12.7 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375<BR>13 Generalized Linear Models 383<BR>13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 383<BR>13.2 Multiple Linear Regression . . . . . . . . . . . . . . . . . 385<BR>13.3 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . 389<BR>13.4 Loglinear Regression . . . . . . . . . . . . . . . . . . . . . 398<BR>13.5 Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405<BR>13.6 Variable Selection . . . . . . . . . . . . . . . . . . . . . . . 412<BR>13.7 Complements . . . . . . . . . . . . . . . . . . . . . . . . . . 417<BR>13.8 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418<BR>14 Stuff for Students 437<BR>14.1 Tips for Doing Research . . . . . . . . . . . . . . . . . . . 437<BR>14.2 R/Splus and Arc . . . . . . . . . . . . . . . . . . . . . . . . 440<BR>14.3 Projects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448<BR>14.4 Hints for Selected Problems . . . . . . . . . . . . . . . . . 457<BR></P>