User:Muhali/sandbox

Eigen's paradox

In der Statistik ist die multinomiale logistische Regression, auch multinomiale Logit-Regression (MNL), polytome logistische Regression, polychotome logistische Regression, Softmax-Regression oder Maximum-Entropie-Klassifikator genannt, ein regressionsanalytisches Verfahren. Sie „dient zur Schätzung von Gruppenzugehörigkeiten bzw. einer entsprechenden Wahrscheinlichkeit hierfür.“ Die Antwortvariable (auch abhängige Variable, AV) ist dabei eine nominalskalierte Variable (Unterform der kategorialen Variable, bei der die Kategorien nicht in eine sinnvolle Reihenfolge zu bringen sind). Im Falle einer ordinalskalierten AV (ebenfalls kategorial, aber in Reihenfolge mit gleichmäßigen Abständen zwischen den Kategorien zu bringen) spricht man von einer geordneten (bzw. ordinalen) logistischen Regression. Bei gegebener verhältnis- oder intervallskalierter AV kann dagegen eine (Multiple) Lineare Regression gerechnet werden.

Beschreibung des Verfahrens
Es handelt sich um eine spezielle Form der logistischen Regression, bei der die Antwortvariable $$Y_{i}$$ ein nominales Skalenniveau mit mehr als zwei Ausprägungen haben darf $$Y_{i} \in \{1,\ldots,c+1\}$$. Zusätzlich ist der Vektor der Regressoren $$\mathbf x_{i}^{\top} = (1, x_{i1},\ldots, x_{ik})$$ gegeben. Dabei wird für jede der Ausprägungen der abhängigen Variablen (bis auf eine Referenzkategorie) ein eigenes Regressionsmodell ausgegeben. Die Eintrittswahrscheinlichkeit für jede Kategorie $$r$$ ist wie folgt spezifiziert:


 * $$\pi_{ir} = \Pr(Y_i = r) = \frac{\exp\left(\mathbf{x}^{\top}_i \boldsymbol{\beta}_{r}\right)}{1 + \sum_{s=1}^{c} \exp\left(\mathbf{x}^{\top}_i \boldsymbol{\beta}_{s}\right)}\quad, r=1,\ldots,c$$,

mit den linearen Prädiktoren $$\eta_{ir} = \beta_{r0} + \beta_{r1} x_{i1} + \beta_{r2} x_{i2} + \ldots + \beta_{rk} x_{ik} = \mathbf{x}^{\top}_i \boldsymbol{\beta}_{r}$$ bzw. $$\eta_{is} = \beta_{s0} + \beta_{s1} x_{i1} + \beta_{s2} x_{i2} + \ldots + \beta_{sk} x_{ik} = \mathbf{x}^{\top}_i \boldsymbol{\beta}_{s}$$ und $$\pi_{ir} = h_{r}(\eta_{ir}, \ldots, \eta_{ic}) \quad, r=1,\ldots,c$$ der Antwortfunktion, d. h. der Umkehrfunktion der Kopplungsfunktion. Für die Referenzkategorie gilt somit:


 * $$\pi_{i,c+1} =1 -\pi_{i1}-\ldots-\pi_{ic} = \frac{1}{1 + \sum_{s=1}^{c} \exp\left(\mathbf{x}^{\top}_i \boldsymbol{\beta}_{s}\right)}$$.

Fallbeispiel
Das Beispiel behandelt die Wahlabsicht einer Person in Abhängigkeit personenspezifischer Faktoren. Aus Umfragedaten sei die Wahlabsicht einer Person nach verschiedenen Parteien bekannt (abhängige kategoriale Variable). Diese soll erklärt werden durch verschiedene Faktoren (deren Skalenniveau unerheblich ist), beispielsweise Alter, Geschlecht und Bildung.

Weblinks

 * Multinomial and Ordinal Logistic Regression ME104: Linear Regression Analysis Kenneth Benoit (PDF; 466 kB)
 * Chapter 6 Multinomial Response Models