Fourier-Motzkin-Elimination

Die Fourier-Motzkin-Elimination ist ein Verfahren, um einen durch ein lineares Ungleichungssystem gegebenen konvexen Polyeder ${\displaystyle P(A,b):=\{x\;|\;Ax\leq b\}}$ auf eine Hyperebene der Form ${\displaystyle H:=\{x\;|\;x_{j}=0\}}$ zu projizieren. Dabei ist ${\displaystyle A\in \mathbb {R} ^{m\times n}}$ eine Matrix und ${\displaystyle b\in \mathbb {R} ^{m}}$ eine passende rechte Seite.

Das Verfahren wurde von Joseph Fourier im Jahr 1827 erstmals beschrieben,^[1] geriet jedoch in Vergessenheit und wurde schließlich 1936 in der Doktorarbeit von Theodore Motzkin erneut entdeckt.^[2]

Der Algorithmus kombiniert die Zeilen ${\displaystyle A_{i\cdot }\ i\in M:=\{1\ldots m\}}$ der Matrix ${\displaystyle A}$ und die Einträge der rechten Seite ${\displaystyle b}$ konisch zu neuen Ungleichungen. Dies geschieht in einer Weise, die sicherstellt, dass die resultierenden neuen Ungleichungen die Variable ${\displaystyle x_{j}}$ nicht länger beinhalten.

Der Algorithmus wird durch folgenden Pseudocode beschrieben:

 function FourierMotzkin(A, b, j) is
     Eingabe: eine Matrix ${\displaystyle A}$ der Dimension ${\displaystyle (m,n)}$, ein Vektor ${\displaystyle b}$ der Dimension ${\displaystyle m}$
              und ein Index j ${\displaystyle \in \{1,\ldots ,n\}}$
     Ausgabe: eine Matrix ${\displaystyle D}$ der Dimension ${\displaystyle (r,n)}$, sodass ${\displaystyle D_{ij}=0}$ für alle ${\displaystyle i=1,\ldots ,r}$
              und ein Vektor ${\displaystyle d}$ mit ${\displaystyle r}$ Einträgen

     ${\displaystyle Z\leftarrow \{i\in M\;|\;a_{ij}=0\}}$
     ${\displaystyle N\leftarrow \{i\in M\;|\;a_{ij}<0\}}$
     ${\displaystyle P\leftarrow \{i\in M\;|\;a_{ij}>0\}}$
     ${\displaystyle R\leftarrow Z\cup (N\times P)}$
     ${\displaystyle r\leftarrow |R|}$
     ${\displaystyle p\leftarrow }$ eine Indizierung der Elemente in ${\displaystyle R}$, also eine Bijektion ${\displaystyle p:\{1,\ldots ,r\}\rightarrow R}$

     for ${\displaystyle i=1}$ to ${\displaystyle r}$ do
         if ${\displaystyle p(i)\in Z}$ then
             ${\displaystyle D_{i\cdot }\leftarrow A_{p(i)\cdot }}$
             ${\displaystyle d_{i}\ \leftarrow b_{p(i)}}$
         else if ${\displaystyle p(i)=(s,t)\in N\times P}$ then
             ${\displaystyle D_{i\cdot }\leftarrow a_{tj}A_{s\cdot }-a_{sj}A_{t\cdot }}$
             ${\displaystyle d_{i}\ \leftarrow a_{tj}b_{s}-a_{sj}b_{t}}$
         endif
     endfor
     return ${\displaystyle (D,d)}$

Der resultierende Polyeder ${\displaystyle P(D,d)}$ beschreibt anschließend die gewünschte Projektion^{[A. 1]}.

Als Beispiel wählen wir den Polyeder ${\displaystyle P(A,b)}$, der durch das folgende Ungleichungssystem gegeben ist:

${\displaystyle P(A,b)=\{(x,y)\in \mathbb {R} ^{2}\ |\ x\geq 1,\ 2x+4y\leq 14,\ x-2y\leq -1\}}$

Die entsprechende Matrix und rechte Seite sind folglich

${\displaystyle A=\left({\begin{array}{rr}-1&0\\2&4\\1&-2\\\end{array}}\right),\ b=\left({\begin{array}{r}-1\\14\\-1\\\end{array}}\right)}$

Für die Projektion auf die Hyperebene ${\displaystyle x=0}$, also für ${\displaystyle j=1}$, erhalten wir die folgenden Mengen:

${\displaystyle Z=\emptyset }$, ${\displaystyle N=\{1\}}$ und ${\displaystyle P=\{2,3\}}$.

Damit ist ${\displaystyle r=2}$ und ${\displaystyle R=\{(1,2),\ (1,3)\}}$. Wir setzen ${\displaystyle p(1)=(1,2),\ p(2)=(1,3)}$.

Für ${\displaystyle i=1}$ kombinieren wir die erste und zweite Ungleichung:

${\displaystyle 2\cdot (-x)-(-1)\cdot (2x+4y)\leq 2\cdot (-1)-(-1)\cdot (14)\;\Longrightarrow \;4y\leq 12}$

Für ${\displaystyle i=2}$ erhalten wir durch die Kombination der ersten und dritten Ungleichung die folgende neue Ungleichung:

${\displaystyle 1\cdot (-x)-(-1)\cdot (x-2y)\leq 1\cdot (-1)-(-1)\cdot (-1)\;\Longrightarrow \;-2y\leq -2}$

Das Bild der Projektion ist also gegeben durch ${\displaystyle \{(0,y)\in \mathbb {R} ^{2}\ |\ 1\leq y\leq 3\}}$, während die resultierende Matrix ${\displaystyle D}$ bzw. die rechte Seite ${\displaystyle d}$ die folgende Gestalt haben:

${\displaystyle D=\left({\begin{array}{rr}0&4\\0&-2\\\end{array}}\right),\ d=\left({\begin{array}{r}12\\-2\\\end{array}}\right)}$

Die im Algorithmus angewandten Zeilenoperationen lassen sich durch die Multiplikation der Matrix ${\displaystyle A}$ bzw. der rechten Seite ${\displaystyle b}$ mit einer Matrix ${\displaystyle U\in \mathbb {R} _{+}^{r\times m}}$ darstellen, deren ${\displaystyle i}$-te Zeile gegeben ist durch

${\displaystyle U_{i\cdot }={\begin{cases}e_{k}&{\text{falls }}p(i)=k\in Z\\a_{tj}e_{s}-a_{sj}e_{t}&{\text{falls }}p(i)=(s,t)\in N\times P\\\end{cases}}}$

Da die Matrix ${\displaystyle U}$ eine konische Kombination der Zeilen von ${\displaystyle A}$ beschreibt, sind alle Einträge von ${\displaystyle U}$ nicht negativ. Im obigen Beispiel ist

${\displaystyle U=\left({\begin{array}{rrr}2&1&0\\1&0&1\\\end{array}}\right)}$

Die Fourier-Motzkin-Elimination hat als Projektionsverfahren die Eigenschaft, dass das System ${\displaystyle Ax\leq b}$ eine Lösung besitzt genau dann wenn dies auch auf das System ${\displaystyle Dx\leq d}$ zutrifft.

Während es im Allgemeinen schwierig ist, zu entscheiden, ob ein konvexer Polyeder eine zulässige Lösung besitzt, lässt sich dies in einigen Spezialfällen recht leicht bewerkstelligen:

• Verbleibt keine Variable in dem resultierenden System ${\displaystyle Dx\leq d}$, ist also ${\displaystyle D}$ die Nullmatrix, so ist das System dann und nur dann lösbar, wenn die rechte Seite ${\displaystyle d}$ nicht negativ ist
• Enthält nur eine einzige zu einer Variable ${\displaystyle x_{k}}$ gehörige Spalte der Matrix ${\displaystyle D}$ von Null verschiedene Einträge, so entspricht die Projektion einem Intervall ${\displaystyle I}$. Ist dieses nicht leer, so ist auch das System ${\displaystyle Ax\leq b}$ lösbar. Weiterhin sind die möglichen Werte der Variablen ${\displaystyle x_{k}}$ in dem Polyeder ${\displaystyle P(A,b)}$ gerade durch das Intervall ${\displaystyle I}$ gegeben

Diese Erkenntnis lässt sich nutzen, um zu überprüfen, ob ein beliebiges Polyeder ${\displaystyle P(A,b)}$ eine zulässige Lösung hat oder nicht: Zunächst werden sämtliche Variablen nacheinander herausprojiziert:

${\displaystyle P(A,b)\ {\xrightarrow {{\text{FourierMotzkin}}(A,b,1)}}\ P(D^{(1)},d^{(1)})\ {\xrightarrow {{\text{FourierMotzkin}}(D^{(1)},d^{(1)},2)}}\ P(D^{(2)},d^{(2)})\ \cdots \ P(D^{(n-1)},d^{(n-1)})\ {\xrightarrow {{\text{FourierMotzkin}}(D^{(n-1)},d^{(n-1)},n)}}\ P(D^{(n)},d^{(n)})}$

Die resultierende Matrix ${\displaystyle D^{(n)}}$ ist dann die Nullmatrix und man kann entscheiden, ob ${\displaystyle P(A,b)=\emptyset }$, denn ${\displaystyle P(A,b)=\emptyset }$ gdw. ${\displaystyle P(D^{(n)},d^{(n)})=\emptyset }$ .

Insbesondere gilt ${\displaystyle P(A,b)\neq \emptyset }$ gdw. ${\displaystyle d^{(n)}\geq 0}$ .

Da sich der ${\displaystyle j}$-te Projektionsschritt durch eine Multiplikation mit einer nichtnegativen Matrix ${\displaystyle U^{(j)}}$ ausführen lässt, gilt außerdem:

${\displaystyle D^{(n)}=U\cdot A,\ d^{(n)}=U\cdot b,\;{\text{wobei}}\;U:=U^{(n)}\cdot U^{(n-1)}\ldots U^{(1)}}$.

Wenn der ${\displaystyle k}$-te Eintrag von ${\displaystyle d^{(n)}}$ negativ ist, so ist ${\displaystyle u\cdot A=0}$ und ${\displaystyle u\cdot b<0}$, wobei ${\displaystyle u:=e_{k}\cdot U}$. Diese Aussage entspricht dem Farkas’ Lemma. Da sich die Matrizen ${\displaystyle U^{(j)}}$ während der Ausführung des Algorithmus aufstellen lassen, bietet die Fourier-Motzkin-Elimination damit die Möglichkeit, das Zertifikat für ${\displaystyle P(A,b)=\emptyset }$ explizit zu berechnen.

Zusätzlich impliziert die Fourier-Motzkin-Elimination, dass die Projektion eines Polyeders wieder ein Polyeder ist. Dieses Resultat kann benutzt werden, um die Äquivalenz der ${\displaystyle {\mathcal {V}}}$- und ${\displaystyle {\mathcal {H}}}$-Darstellung von Polyedern zu zeigen.

Wir wollen entscheiden, ob der folgende konvexe Polyeder eine zulässige Lösung hat:

${\displaystyle P(A,b)=\{x\in \mathbb {R} ^{2}\ |\ x_{1}+x_{2}\geq 4,\ x_{1}\leq 1,\ x_{2}\leq 1\}}$

Dies entspricht in der Form ${\displaystyle Ax\leq b}$ dem System

${\displaystyle \left[{\begin{array}{rrr}-x_{1}&-x_{2}&\leq -4\\x_{1}&&\leq 1\\&x_{2}&\leq 1\\\end{array}}\right]\;\;}$

Nach den einzelnen Projektionsschritten ergeben sich folgenden Systeme:

${\displaystyle \left[{\begin{array}{rr}-x_{2}&\leq -3\\x_{2}&\leq 1\\\end{array}}\right]\;\;\left[{\begin{aligned}0&\leq -2\\\end{aligned}}\right]}$

Es offenbart sich also ein Widerspruch, der Polyeder ${\displaystyle P(A,b)}$ entspricht der leeren Menge. Die resultierenden Matrizen sind gegeben durch

${\displaystyle U^{(1)}=\left({\begin{array}{rrr}1&1&0\\0&0&1\\\end{array}}\right),\;\;U^{(2)}=\left({\begin{array}{rr}1&1\\\end{array}}\right)}$

Ein Zertifikat für die Nichtzulässigkeit ist also der Vektor ${\displaystyle e_{1}U^{(2)}U^{(1)}=(1,1,1)}$.

Durch Ausnutzen der Dualität der linearen Optimierung lässt sich jedes lineare Programm auf ein Zulässigkeitsproblem reduzieren, welches sich dann durch die Anwendung der Fourier-Motzkin-Elimination lösen lässt. In diesem Fall benötigt man jedoch recht viele neue Variablen und Ungleichungen, was die Anwendung des Verfahrens verlangsamt. Alternativ kann man den folgenden Ansatz wählen: Um das Problem ${\displaystyle \max\{c^{T}x\;|\;Ax\leq b\}}$ zu lösen, führt man eine zusätzliche Variable ${\displaystyle y\in \mathbb {R} }$ ein, und fordert zusätzlich, dass ${\displaystyle y\leq c^{T}x}$. Der Wert der Variablen ${\displaystyle y}$ ist also durch die Optimallösung des Problems beschränkt. Man erhält dadurch einen Polyeder ${\displaystyle P({\tilde {A}},{\tilde {b}})}$ mit

${\displaystyle {\tilde {A}}=\left({\begin{array}{rr}A&0\\-c^{T}&1\\\end{array}}\right)\in \mathbb {R} ^{m+1\times n+1},\ {\tilde {b}}=\left({\begin{array}{r}b\\0\\\end{array}}\right)\in \mathbb {R} ^{m+1}}$

Man projiziert anschließend die ersten ${\displaystyle n}$ Einträge heraus, sodass man schließlich ein System der Form

${\displaystyle {\begin{aligned}D_{1,n+1}^{(n)}y&\leq d_{1}^{(n)}\\\vdots &\\D_{l,n+1}^{(n)}y&\leq d_{l}^{(n)}\\\end{aligned}}}$

erhält. Das resultierende Intervall ${\displaystyle I}$ beschreibt die Menge der möglichen Werte für die Variable ${\displaystyle y}$. Es treten folgende Fälle auf:

1. Das Intervall ist leer. In diesem Fall besitzt das Optimierungsproblem keine zulässige Lösung.
2. Das Intervall ist nicht nach oben beschränkt. Damit ist auch das Optimierungsproblem unbeschränkt.
3. Das Intervall ist nicht leer und besitzt ein maximales Element ${\displaystyle \gamma }$. Damit ist der Zielfunktionswert der Optimallösung des Problems genau ${\displaystyle \gamma }$.

Um eine Lösung ${\displaystyle x^{*}}$ mit einem gegebenen Zielfunktionswert ${\displaystyle y^{*}:=\gamma }$ zu erhalten, geht man wie folgt vor: Zunächst betrachtet man das System nach der ${\displaystyle n-1}$-ten Iteration: Es treten nur noch die Variablen ${\displaystyle y}$ und ${\displaystyle x_{n}}$ auf, wobei der Wert von ${\displaystyle y}$ schon auf ${\displaystyle y^{*}}$ festgelegt ist:

${\displaystyle {\begin{aligned}D_{1,n}^{n-1}x_{n}+D_{1,n+1}^{n-1}y&\leq d_{1}^{n-1}\\\vdots &\\D_{l,n}^{n-1}x_{n}+D_{l,n+1}^{n-1}y&\leq d_{l}^{n-1}\\\end{aligned}}}$

Man erhält somit ein (nicht leeres) Intervall von möglichen Lösungen für ${\displaystyle x_{n}}$, von denen man eine beliebige auswählt. Diesen Prozess iteriert man für ${\displaystyle x_{n-1},\ldots ,x_{1}}$ ^{[A. 2]}.

Zur Illustration des Verfahrens wählen wir das Programm

${\displaystyle {\begin{aligned}\max ~&x_{1}\\{\text{so dass }}&x_{1}+x_{2}\leq 4\\&x_{1}\geq 0\\&x_{2}\geq 0\\\end{aligned}}}$

Um das Problem zu lösen, fügen wir die Variable ${\displaystyle y}$ zusammen mit der Ungleichung ${\displaystyle y\leq x_{1}}$ zu dem Problem hinzu. Die folgenden Systeme zeigen den Polyeder ${\displaystyle P({\tilde {A}},{\tilde {b}})}$, sowie die veränderten Systeme nach der Projektion auf ${\displaystyle \{x_{1}=0\}}$ und ${\displaystyle \{x_{2}=0\}}$:

${\displaystyle \left[{\begin{array}{rrrr}x_{1}&+x_{2}&&\leq 4\\-x_{1}&&&\leq 0\\&-x_{2}&&\leq 0\\-x_{1}&&+y&\leq 0\\\end{array}}\right]\;\;\left[{\begin{array}{rr}-x_{2}&\leq 0\\x_{2}&\leq 4\\x_{2}+y&\leq 4\\\end{array}}\right]\;\;\left[{\begin{aligned}0&\leq 4\\y&\leq 4\\\end{aligned}}\right]}$

Damit steht fest, dass die Optimallösung des Problems den Zielfunktionswert 4 hat. Um eine entsprechende Lösung zu erhalten, setzen wir ${\displaystyle y^{*}=4}$ und kehren zum vorletzten Schritt zurück. Es ergibt sich das System

${\displaystyle {\begin{aligned}-x_{2}&\leq 0\\x_{2}&\leq 4\\x_{2}&\leq 0\\\end{aligned}}}$

Es bleibt also nichts anderes übrig, als ${\displaystyle x_{2}^{*}=0}$ zu setzen. Der Wert von ${\displaystyle x_{1}^{*}}$ ergibt sich schlussendlich aus dem System

${\displaystyle {\begin{aligned}x_{1}&\leq 4\\-x_{1}&\leq 0\\-x_{1}&\leq -4\\\end{aligned}}}$

Damit ist die Optimallösung ${\displaystyle (x_{1}^{*},x_{2}^{*})=(4,0)}$. Diese hat natürlich auch den erwarteten Zielfunktionswert von ${\displaystyle y^{*}=4}$.

Obwohl die Fourier-Motzkin-Elimination zur Lösung von linearen Programmen verwendet werden kann, gibt man in der Praxis anderen Algorithmen den Vorzug. Das Problem der Fourier-Motzkin-Elimination ist, dass im ungünstigsten Fall die Anzahl der Ungleichungen bzw. die Größe der Matrizen ${\displaystyle D^{(j)}}$ in jeden Projektionsschritt von vorher ${\displaystyle m}$ auf ${\displaystyle \left({\frac {m}{2}}\right)^{2}}$ anwächst. In diesem Fall ist die Laufzeit des Algorithmus nicht mehr polynomiell. Im Allgemeinen sind außerdem die meisten der erzeugten Ungleichungen redundant. Da dies in der Regel allerdings nicht effizient erkannt werden kann, wird für die Fourier-Motzkin-Elimination weit mehr Speicher gebraucht als nötig wäre, um die Polyeder ${\displaystyle P(D^{(j)},d^{(j)})}$ zu beschreiben.

1. ↑ Da die Menge ${\displaystyle R}$ im Allgemeinen sehr groß werden kann, ist es ratsam, die Ungleichungen zunächst so zu skalieren, dass ${\displaystyle a_{ij}\in \{\pm 1,0\}}$ für alle ${\displaystyle i\in \{1,\ldots m\}}$. Zur Bestimmung von ${\displaystyle D}$ und ${\displaystyle d}$ müssen die Spalten dann nur noch voneinander subtrahiert werden.
2. ↑ Das hier vorgestellte Verfahren des Rückwärtseinsetzens lässt sich stets anwenden, um eine zulässige Lösung des Polyeders zu erhalten.

1. ↑ J.B.J. Fourier aus dem Journal: Analyse des travaux de l'Académie Royale des Sciences pendant l'année 1824, Partie mathématique, 1827.
2. ↑ T.S. Motzkin: Beiträge zur Theorie der Linearen Ungleichungen.

• Alexander Schrijver: Theory of Linear and Integer Programming. John Wiley & sons, 1998, ISBN 0-471-98232-6, S. 155–156. 
• H. P. Williams: Fourier's Method of Linear Programming and its Dual. In: American Mathematical Monthly. 93. Jahrgang, 1986, S. 681–695. 
• Unger, Thomas; Dempe, Stefan: Lineare Optimierung, S. 19–23, Vieweg+Teubner 2010, ISBN 978-3-8351-0139-5

• Ein Vorlesungsskript zur linearen Optimierung (PDF; 3,5 MB)