Organisation

rdanis@ethz.ch
- https://www.polybox.ethz.ch/index.php/s/9HQMjWhLg7BHlQ8 (polybox)
Jede Woche ein Moodle Quiz für 0.25 Binus, bei $\geq$ 70% Punkte
Quiz Freitagmorgen freigeschaltet, bis nächsten Donnerstagabend lösen

LGS

Rang und Loesungsdiskussion

Rang $\vec{=}$ Anzahl Element ungleich 0 in der Diagonalen

$n_{R} \hat{=}$ Rang
$n_{v} \hat{=}$ Anzahl Variablen

$n_{R} = n_{V}$

Verträglichkeit (KB) erfüllt -> genau eine Lösung
nicht erfüllt -> keine Lösung
$n_{R} < n_{V}$
Verträglichkeit (KB) erfüllt -> unendlich viele Lösungen
nicht erfüllt -> keine Lösung

Tricks beim Eliminationsverfahren

Zeilen vertauschen
Spalten vertauschen (aufpassen! -> Reihenfolge der Variablen wird vertauscht; ist aber nützlich zur Rangbestimmung)

Matrizen

Matrizen haben 2 Dimensionen
- $m \hat{=}$ Anzahl Zeilen
- $n \hat{=}$ Anzahl Spalten/Variablen
Notation: $A \in R^{m x n}$
Bei Vektoren lässt man die zweite Dimension weg

Matrizen addieren:

geht nur wenn Matrizen gleiche Dimension haben
Einträge individuell miteinander addieren

Matrixmultiplikation:

1. Form: Zeilen mal Spalten
Wir können 2 Matrizen $A \in R^{m_{1} x n_{1}}$ , $B \in R^{m_{2} x n_{2}}$ miteinander multiplizieren, d.h. $A B$ existiert nur, wenn $n_{1} \overset{!}{=} m_{2}$
- $A B \in R^{m_{1} * n_{2}}$
- nur, wenn anzahl variablen $A$ = anzahl zeilen $B$
nicht kommutativ

Matrix-Vektor-Multiplikation:

Matrix in Spalten "aufspalten", jede Spalte mit einem Vektoreintrag multiplizieren, dann Zeilen der Matrixspalten (lineare Kombination) addieren -> Vektor

[\begin{matrix} 1 & 4 & 7 \\ 2 & 5 & 8 \\ 3 & 6 & 9 \end{matrix}] * [\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}] = [\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}] * 1 + [\begin{matrix} 4 \\ 5 \\ 6 \end{matrix}] * 2 + [\begin{matrix} 7 \\ 8 \\ 9 \end{matrix}] * 3 = \dots = [\begin{matrix} 30 \\ 36 \\ 42 \end{matrix}]

LGS als Matrixmultiplikation

allgemein in der form $A x = B$ , wobei $x$ Unbekannte und $b$ rechte Seite

[\begin{matrix} 1 & 3 \\ 4 & 2 \end{matrix}] * [\begin{matrix} x_{1} \\ x * 2 \end{matrix}] = [\begin{matrix} 4 \\ 5 \end{matrix}]

LGS $A x = b$ kann nur gelöst werden, wenn rechte Seite als lineare Kombination der Spalten von $A$ ausgeführt werden kann

[\begin{matrix} 1 & 0 \\ 0 & 0 \end{matrix}] \to x_{1} * [\begin{matrix} 1 \\ 0 \end{matrix}] + x_{2} * [\begin{matrix} 0 \\ 0 \end{matrix}] = [\begin{matrix} x_{1} \\ 0 \end{matrix}]

Tipp: Überprüfen, ob Ergebnis Vielfaches von einer Spalte ist

Generell lässt sich ein LGS für jede rechte Seite $b$ nur dann lösen, wenn $r = n = m$ .

Transponierte

Die Transponierte $A^{⊤}$ ergibt sich durch Spiegelung von $A$ an der Hauptdiagonalen

A = [\begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{matrix}], A^{⊤} = [\begin{matrix} 1 & 4 \\ 2 & 5 \\ 3 & 6 \end{matrix}]

A = [\begin{matrix} 1 & 3 & 3 \end{matrix}], A^{⊤} = [\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}]

Wenn gilt $A^{⊤} = A$ , dann heisst $A$ symmetrisch. ( $n = m$ )

a \in R^{m \times n} ⟹ A^{⊤} \in R^{n \times m}

-> Dimensionen werden vertauscht
-> $(A^{⊤})^{⊤} = A$

Inverse

Eine Matrix $A \in R^{n \times n}$ besitzt eine Inverse $A^{- 1} \in R^{n \times n}$ , wenn gilt:

A A^{- 1} = A^{- 1} A = \underset{Einheitsmatrix}{\underset{⏟}{I}}

Einheitsmatrix $I \hat{=} 1$ auf Diagonalen sonst $0$

A_{2 \times 2} = [\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}]

$I A = A I = A$
Berechnung in der Serie 2 $mit Gauss$
Inverse existiert nur wenn $r = n$
- voller Rang
Berechnung $2 \times 2$ Matrizen

A^{- 1} = \frac{1}{a d - b c} [\begin{matrix} d & - b \\ - c & a \end{matrix}]

-> existiert nur wenn Nenner $a d - b c \neq 0$ (Determinante)
-> immer überprüfen ( $A A^{⊤} = I$ )

\begin{aligned} I_{3 \times 3} = [\begin{array}{c} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array}] \\ I_{3 \times 3}^{- 1} = I_{3 \times 3} \end{aligned}

für Permutationsmatrizen gilt auch $A^{- 1} = A$

Rechenregeln

\begin{aligned} i) & (A B)^{⊤} = B^{⊤} A^{⊤} \\ (A B C)^{⊤} = \underset{wegen i)}{\underset{⏟}{C^{⊤} (A B)^{⊤}}} = \underset{nochmals i)}{\underset{⏟}{C^{⊤} B^{⊤} A^{⊤}}} \\ ii) & (A B)^{- 1} = B^{- 1} A^{- 1} & falls A^{- 1}, B^{- 1} existieren \\ A,B müssen quadratisch sein \\ iii) & (A^{- 1})^{⊤} = (A^{⊤})^{- 1} \end{aligned}

Beweis iii):

\begin{aligned} A^{⊤} (A^{- 1})^{⊤} \\ = (A^{- 1} A)^{⊤} & Rechenregel i) \\ = (I^{⊤})^{⊤} & I^{- 1} = I, I^{⊤} = I \\ = I ◻ \end{aligned}

LU-Zerlegung

Zerlegen matrix in Produkt aus unterer und oberer Dreiecksmatrix

\begin{aligned} P A = L U & P : Permutationsmatrixx für vertauschen von Zeilen \\ L : Protokollmatrix, untere Dreiecksmatrix \\ U : Dreiecksmatrix, Resultat aus Gaussverfahren \end{aligned}

L protokolliert Gauss-Schritte mit negativen Vorzeichen
Zeilenvertauschung in Permutationsmatrix (dort auch entsprechende Zeilen vertauschen)
Zeilenvertauschung darf nur am Anfang stattfinden
am Ende $L U$ Matrix überprüfen! -> gibt es $A$ ?

\begin{aligned} P A = L U \\ A \in R^{m \times n} \\ L \in R^{m \times m} \\ U \in R^{m \times n} \\ P \in R^{m \times m} \end{aligned}

Achtung!

LU-Zerlegung von

[\begin{matrix} 2 & 3 \\ 3 & 4 \end{matrix}]

$2 I I - 3 I$ -> $I I - \frac{3}{2 I}$ immer normalisieren!

L = [\begin{matrix} 1 & 0 \\ \frac{3}{2} & 1 \end{matrix}], U = [\begin{matrix} 2 & 3 \\ 0 & - \frac{1}{2} \end{matrix}]

Euklidische Norm

Länge eines Vektors

| | x | | = \sqrt{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}

Wichtig für Normalisierung auf Länge 1:

\hat{x} = \frac{x}{| | x | |}

Note

$\begin{aligned} | | a \vec{x} | | = | a | | | \vec{x} | | & F ü r a \in R, \vec{x} \in R^{n} \end{aligned}$

Nützliche Interpretation

| | x | | = \sqrt{\underset{x^{⊤} x}{\underset{⏟}{x_{1}^{2} + \dots + x_{n}^{2}}}}

Skalarprodukt

Multiplikation zweier Vektoren:

< x, y \geq x^{⊤} y = x_{1} * y_{1} + x_{2} * y_{2} + \dots + x_{n} * y_{n}

Zweite Interpretation:

\begin{aligned} < x . y >= & | | x | | * | | y | | * \cos (α) \\ α \hat{=} & Winkel zwischen x und y \\ \cos (α) = & \frac{x^{⊤} y}{| | x | | * | | y | |} \end{aligned}

Winkel to pi:

$Winkel in π = \frac{π}{w i n k e l}$
z.B. bei 0.64 $\frac{π}{0.64} \approx \frac{π}{5}$

	$α$	$\cos α$	$\sin α$
0°	0	1	0
30°	$\frac{π}{6}$	$\frac{\sqrt{3}}{2}$	$\frac{1}{2}$
45°	$\frac{π}{4}$	$\frac{\sqrt{2}}{2}$	$\frac{\sqrt{2}}{2}$
60°	$\frac{π}{3}$	$\frac{1}{2}$	$\frac{\sqrt{3}}{2}$
90°	$\frac{π}{2}$	0	1

Orthogonalität

Zwei Vektoren $x, y$ sind orthogonal, wenn gilt

x^{⊤} y = 0

orthogonale Vektoren finden

Finde $\vec{y} \neq \vec{0}$ , sodass ${\vec{x}}^{⊤} \vec{y} = 0$
-> $\infty$ viele Möglichkeiten

Kreuzprodukt (in 3D)

\begin{array}{r} [\begin{array}{c} 1 \\ 2 \\ 1 \end{array}] \times [\begin{array}{c} 1 \\ 0 \\ - 1 \end{array}] = [\begin{array}{c} x_{2} y_{3} - x_{3} y_{2} \\ x_{3} y_{1} - x_{1} y_{3} \\ x_{1} y_{2} - x_{2} y_{1} \end{array}] \end{array}

Orthogonale Matrizen

$A \in R^{n \times n}$ ist orthogonal, wenn gilt

A^{⊤} A = I

alle Spalten von $A$ sind orthogonal zueinander und haben Länge/Norm 1.
$A^{- 1} = A^{⊤}$
orthogonale Matrizen haben immer vollen Rang
orthogonale Matrizen verändern den Betrag von Vektoren nicht

\begin{aligned} | | Q x | | & = \sqrt{(Q x)^{⊤} Q x} \\ = \sqrt{x^{⊤} \underset{I}{\underset{⏟}{Q^{⊤} Q}} x} \\ = \sqrt{x^{⊤} x} \\ = | | x | | ◻ \end{aligned}

Rotationsmatrizen

Sepzielle orthogonale Matrizen die Vektoren rotieren
in 2D:

R (α) = [\begin{matrix} \cos α & - \sin α \\ \sin α & \cos α \end{matrix}]

Immer, Drehung gegen Uhrzeigersinn
Die Drehungsmatrix ist die Identitätsmatrix, mit der 2D-matrix in der zu drehenden Reihe
- In 3D können wir in der x-y, x-z und y-z Ebene drehen, z.B.

R_{x - y} (α) = [\begin{matrix} \cos α & - \sin α & 0 \\ \sin α & \cos α & 0 \\ 0 & 0 & 1 \end{matrix}]

$R$ ist auch orthogonal
Wenn wir mehrere Rotationen in derselben Ebene hintereinander ausführen, dann können wir die Winkel addieren:
- $R_{x - y} (α) * R_{x - y} (β) = R_{x, y} (α + β)$

Householder-Matrozen

Spiegelung von Vektoren an einer Hyperebene

Brauchen den Normalvektor $\vec{n}$ der Ebene

H = I - 2 \vec{n} {\vec{n}}^{⊤}

QR-Zerlegung

A wird in eine Multiplikation aus orthogonale Matrix $B$

#todo fertigschreiben

QR-Zerlegung mit householder Matrizen

A = [\begin{matrix} 2 & * & * \\ 2 & * & * \\ 1 & * & * \end{matrix}]

-> wollen durch Spiegelung zwei Nullen in der ersten Spalte erzeugen

\begin{array}{r} [\begin{array}{c} 2 \\ 2 \\ 1 \end{array}] z u [\begin{array}{c} a \\ 0 \\ 0 \end{array}] transformieren \end{array}

-> beide Vektoren haben gleiche Länge, 3 (ausrechnen!)
-> $a = 3$ , $[\begin{matrix} 3 \\ 0 \\ 0 \end{matrix}]$ , spiegeln auf $[\begin{matrix} - 3 \\ 0 \\ 0 \end{matrix}]$ auch möglich

Vektor zwischen x und gespiegelter Vektor:

\begin{aligned} x - [\begin{array}{c} 3 \\ 0 \\ 0 \end{array}] & = [\begin{array}{c} 2 \\ 2 \\ 1 \end{array}] - [\begin{array}{c} 3 \\ 0 \\ 0 \end{array}] = [\begin{array}{c} - 1 \\ 2 \\ 1 \end{array}] \\ \vec{n} & = \frac{[\begin{array}{c} - 1 \\ 2 \\ 1 \end{array}]}{| | [\begin{array}{c} - 1 \\ 2 \\ 1 \end{array}] | |} = \frac{1}{\sqrt{6}} [\begin{array}{c} - 1 \\ 2 \\ 1 \end{array}] \\ H_{1} & = I - 2 \vec{n} {\vec{n}}^{⊤} \\ = [\begin{array}{c} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array}] - \frac{1}{3} [\begin{array}{c} 1 & - 2 & - 1 \\ - 2 & 4 & 2 \\ - 1 & 2 & 1 \end{array}] \\ = [\begin{array}{c} \frac{2}{3} & \frac{2}{3} & \frac{1}{3} \\ - \frac{2}{3} & - \frac{1}{3} & - \frac{2}{3} \\ \frac{1}{3} & - \frac{2}{3} & \frac{2}{3} \end{array}] \\ = \frac{1}{3} [\begin{array}{c} 2 & 2 & 1 \\ 2 & - 1 & - 2 \\ 1 & - 2 & 2 \end{array}] \end{aligned}

-> am Schluss überprüfen, ob Matrix stimmen kann

H_{1} A = [\begin{matrix} 3 & * & * \\ 0 & * & * \\ 0 & \underset{2. Schritt: hier 0 erzeugen}{\underset{⏟}{*}} & * \end{matrix}]

-> noch $H_{2}$ Berechnen

hier können wir die erste Spalte und Zeile unberührt lassen

H_{2} = [\begin{matrix} 1 & 0 & 0 \\ 0 & * & * \\ 0 & * & * \end{matrix}]

AM Ende:

\begin{aligned} A & = Q R \\ R & = H_{2} H_{1} A \\ Q & = H_{1}^{⊤} H_{2}^{⊤} \\ Q R & = H_{1}^{⊤} H_{2}^{⊤} H_{2} H_{1} A = A \end{aligned}

Q berechen

Für Q muss man transponieren

Prüfungsaufgabe:

A = [\begin{matrix} 1 & 1 & 1 \\ - 1 & 1 & 1 \\ 0 & 02 & 1 \end{matrix}]

A = Q R

\begin{aligned} | | a_{1} | | & = \sqrt{3} \\ | | a_{2} | | & = \sqrt{6} \\ | | a_{3} | | & = \sqrt{3} \end{aligned}

\to Q = [\begin{matrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} \\ - \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} \\ 0 & - \frac{2}{\sqrt{6}} & \frac{1}{\sqrt{3}} \end{matrix}]

R = [\begin{matrix} \sqrt{2} & 0 & 0 \\ 0 & \sqrt{6} & 0 \\ 0 & 0 & \sqrt{3} \end{matrix}]

Vektorräume

Menge $V$ , abgeschlossen unter Addition und Multiplikation
1. $a, b \in V ⟹ a + b \in V$
2. $α \in R, a \in V ⟹ α a \in V$

Tip

Entweder beweisen, oder Gegenbeispiel finden (einfacher)

z.B. Ist $V = [- 1, 2]$ ein Vektorraum?
$x = 1 \in V, y = 2 \in V, x + y = 3 \notin V$

Vektorräme erfüllen 7 zusätzliche Eigenschaften

\begin{aligned} i) & a + b = b + a & a, b \in V & kommutativ \\ i i) & (a + b) + c = a + (b + c) & a, b, c \in V & assoziativ \\ \to einfach zu überprüfen \\ i i i) & a + 0 = a & 0, a \in V & Vektorraum enthält Nullelement \\ i v) & \forall a \in V \exists - a : a + (- a) = 0 & enthält negatives Element \\ v) & α (β \vec{x}) = (α β) \vec{x} \\ v i) & (α + β) \vec{x} = α \vec{x} + β \vec{x} \\ v i i) & 1 * \vec{x} = \vec{x} \end{aligned}

Geraden, Ebenen sind Vektorräume wenn sie den Ursprung enthalten

Bsp:

V = {[\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}] + x [\begin{matrix} 7 \\ 2 \\ 1 \end{matrix}] | x \in R}

-> Enthält kein Nullvektor, V ist kein Vektorraum

Bsp: Menge aller symmetrischen $2 \times 2$ Matrizen ( $A^{⊤} = A$ )

V = {[\begin{matrix} a & b \\ b & c \end{matrix}] | a, b, c \in R}

Ist $V$ ein Vektorraum?

Addition angeschlossen? $[\begin{matrix} * & b_{1} + b_{2} \\ b_{1} + b_{2} & * \end{matrix}]$ -> ✔
Multiplikation abgeschlossen? ✔
Nullelement? Nullmatrix ist symmetrisch ✔
Negatives Element? ✔

-> $V$ ist ein Vektorraum

5,6,7 müssen normalerweise nicht gezeigt werden, falls

Bem: Wenn $A$ und $B$ Vektorräume sind und $B \subseteq A$ , dann nennt man $B$ einen Unterraum von $A$

V = {t * [\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}] | t \in R}

ist ein Unterraum von $R^{3}$ .

Bsp: Vektorraume mit Funktionen als "Vektoren":

P_{2} = {a x^{2} + b x + c | a, b, c \in R^{2}}

(alle Polynome mit Grad 2 oder kleiner)
-> Betrachtung von Funktionen als Vektoren erlaubt Verallgemeinerung von Konzepten wie Orthogonalität, Winkeln, $\dots$

Lineare Kombination

Summe von mit Skalaren multiplizierten Vektoren:

\sum_{i = 1}^{k} a_{i} x_{i} a_{i} \in R, x_{i} \in R^{n}

z.b. Matrix-Vektor-Multiplikation

Dimension Vektorraum

Minimale Anzahl Vektoren mittels der sich der gesamte Vektorraum via Linearkombinationen abbilden lässt

Bsp $R^{3}$

v_{1} = {\vec{e}}_{1}, v_{2} = {\vec{e}}_{2}, v_{3} = {\vec{e}}_{3}

Bsp $v_{1}, v_{2}, v_{3}$ nicht eindeutig

v_{1} = [\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}], v_{2} = [\begin{matrix} 1 \\ 1 \\ 0 \end{matrix}], v_{3} = [\begin{matrix} 1 \\ 0 \\ 0 \end{matrix}]

-> eine solche Ansammlung an Vektoren wird auch Erzeugendensystem genannt

Bild einer Matrix

Raum, der durch die Spalten aufgespannt wird

A = [\begin{matrix} a_{1} & a_{2} & \dots & a_{n} \end{matrix}] \in R^{m \times n}

$Im (A) = s p a n (a_{1}, \dots, a_{n})$

= {\sum_{i = 1}^{n} α_{i} a_{i} | α_{i} \in R, a_{i} \in R^{m}}

Kern einer Matrix

Der Kern einer Matrix $A \in R^{m \times n}$ ist die Lösungsmenge der Gleichung $A x = 0$

\ker (A) = {x \in R^{n} | A x = 0}

Immer mindestens eine Lösung, den Nullvektor
die Elemente des Kerns sind orhogonal zu den Zeilen von $A$

Bsp:

[\begin{matrix} 1 & 0 \\ 0 & 2 \end{matrix}]

-> da Rang Matrix $= 2$ und $A$ quadratisch => $A x = b$ lässt sich eindeutig lösen => $\ker (A) = {0}$

Bsp

A = [\begin{matrix} 1 & 0 & 2 \\ 0 & 0 & 0 \\ 1 & 0 & 0 \end{matrix}]

-> Rang 2, $\ker (A) = {a * [\begin{matrix} 0 \\ 1 \\ 0 \end{matrix}] | a \in R}$

Warning

Wenn $A \in R^{m \times n}$ , dann haben Elemente des Bilds Dimension $R^{m}$ und Elemente des Kerns $R^{n}$

#timestamp 2024-10-24
Serie 5 letzte Aufgabe:

eure Lösung im Moodle hochladen

mathematisch korrekt und ordentlich arbeiten

Problemstellung

Was muss gezeigt werden

Schritt für schritt logisch argumentieren

Serie 4, Aufgabe 11

Fixiere $z \notin \ker (M)$ , fixiere $x$
-> $v \in \ker (M)$
$x = v + c z$
Was sind $v$ und c?

Trick: nutzen, dass Vektor $(M)$ $(M v = \vec{0})$
-> $x$ von links mit $M$ muliplizieren

\begin{aligned} M x & = M (v + c z) \\ = \underset{\vec{0}}{\underset{⏟}{M v}} + M c z & (wobei c ist Skalar) \\ = c M z \\ c & = \frac{M x}{M z} \end{aligned}

$M \in R^{1 \times m}, z \in R^{M \times 1}$
$M z$ ein Skalar, $M x$ auch

-> setzen

x = v + \frac{M x}{M z} z

$M = [\underset{m}{\underset{⏟}{\dots}}]$
da $M x = 0$
$\dim (\ker (M)) \geq m - 1$
$M = [0 0 \dots 0] \to \ker (M) = R^{m}$
-> $x = v + \underset{⏟}{{\frac{M x}{M z}}_{c}} z$ eindeutig

Lineare Unabhängigkeit

$v_{1}, v_{2}, \dots, v_{n} \in V$ sind linear unabhängig, wenn gilt

\begin{array}{r} a_{1} v_{1} + a_{2} v_{2} + \dots + a_{n} v_{n} = \vec{0} \\ ⟹ a_{1} = a_{2} = \dots = a_{n} = 0 \end{array}

Lineare unabhängigkeit lässt isch durch das Lösen eines homogenen LGS überprüfen:

[\begin{matrix} v_{1} & v_{2} & \dots & v_{n} \end{matrix}] [\begin{matrix} a_{1} \\ a_{2} \\ \dots \\ a_{n} \end{matrix}] = [\begin{matrix} 0 \\ 0 \\ \dots \\ 0 \end{matrix}]

nur wenn $\vec{a} = [\begin{matrix} 0 \\ 0 \\ \dots \\ 0 \end{matrix}]$ eindeutig, dann sind $v_{1}, \dots, v_{n}$ linear unabhängig

Dimensionen

Es kann nicht mehr linear unabhängige Vektoren als die Dimension des Raumes geben

Wann sind 2 Vektoren linear abhängig?

-> wenn sie dieselbe "Richtung haben"

Bsp: $x = [\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}], y = [\begin{matrix} - 10 \\ - 20 \\ - 30 \end{matrix}]$
-> $x + y = [\begin{matrix} 0 \\ 0 \\ 0 \end{matrix}]$

$A \in R^{m \times n}$

Spalten, Zeilen, Rang

Anzahl linear unabhägiger Spalten $A$
- = $R a n g A = r$
- = Anzahl linear unabhängiger Zeilen A

Bsp

[\begin{matrix} 1 & 2 & 3 \\ 4 & 4 & 4 \end{matrix}]

-> Rang =2, da 2 Zeilen unabhängig

Basis

Erzeugendensystem aus linear unabhängigen Elementen $v \in V$ heisst Basis
Dimension von $V \hat{=}$ Anzahl Elemente in basis

Bsp

x = [\begin{matrix} 1 \\ 0 \\ 1 \end{matrix}], y = [\begin{matrix} 1 \\ 0 \\ 0 \end{matrix}]

-> z muss in zweiten Eintrag 1 enthalten, um linear unabhängig zu sein und Basis mit $x, y$ zu bilden, z.B. $z = [\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}]$ .

Fundamentalsatz der linearen Algebra

Recap ( $A \in R^{m \times n}$ )

\begin{aligned} B i l d A & = s p a n (a_{1}, \dots, a_{n}) = {\sum_{i = 1}^{n} x_{i} a_{i} | x_{i} \in R, a_{i} \in R^{m}} \\ K e r n A & = {x \in R^{n} | A x = \vec{0}} \end{aligned}

daher:

\begin{array}{r} d i m (B i l d A) \leq m \\ d i m (K e r n A) \leq n \end{array}

$A \in R^{M \times k}$ mit $R a n g A$ , dann:

$d i m (B i l d A) = r$ , $d i m (K e r n A) = k - r$
- $k - r$ freie Variablen für LGS mit $r a n g r$
- $d i m (B i l d A^{⊤}) = r$ , $d i m (K e r n A^{⊤}) = n - r$
$d i m (K e r n A) + d i m (B i l d A^{⊤}) = k$
- $d i m (K e r n A^{⊤}) + d i m (B i l d A) = n$
$K e r n A ⊥ B i l d A^{⊤}$
- $B i l d A ⊥ K e r n A^{⊤}$

-> Orthogonalität impliziert lineare Unabhängigkeit
-> daraus folgt

$K e r n A \cup B i l d A^{⊤} = R^{k}$
$K e r n (A^{⊤}) \cup B i l d (A) = R^{n}$

-> $\underset{d i m k - r}{\underset{⏟}{K e r n (A)}} \cup \underset{d i m r}{\underset{⏟}{B i l d (A)}} \neq R^{k}$
unterschiedliche Dimensionen der Vektorelemente

Bsp:

[\begin{matrix} 1 & 1 & 0 \\ 0 & 1 & 1 \\ 1 & 1 & 0 \\ 0 & 0 & 0 \end{matrix}]

rang=2
$d i m (B i l d A) = 2$
$d i m (K e r n A) = k - r = 3 - 2 = 1$

Welche Dimensionan haben die Elemente von $B i l d (A)$ ?
-> Spalten haben 4 Komponenten
-> Dimension 4
-> Spaltenraum spannt 2D Ebene in $R^{4}$ auf

Welche Dimensionen haben die Elemente von $K e r n (A)$ ?
-> $A x = 0$
-> $λ \in R^{3}$ -> 3 Dimensionen

#timestamp 2024-10-31

Koordinaten

Elemente von Vetorräumen können mit unterschiedlichen Basen dargestellt werden

Basiswechsel

Übergang von Koordinaten in Basis $B$ zu Koordinaten in Basis $\tilde{B}$ mit Matrix $T$ :

k_{\tilde{B}} (v) = T k_{B} (v)

Matrix T ist gegeben durch:

T = [\begin{matrix} k_{\tilde{B}} (b_{1}) & \dots & k_{\tilde{B}} (b_{n}) \end{matrix}]

-> wir repräsentieren die Basisvektoren von $B$ in $\tilde{B}$ um die Spalten zu berechnen

Bsp:

\begin{array}{r} B = {[\begin{array}{c} 1 \\ 1 \end{array}], [\begin{array}{c} 1 \\ 0 \end{array}]} \\ \tilde{B} = {[\begin{array}{c} 1 \\ 2 \end{array}], [\begin{array}{c} 2 \\ 1 \end{array}]} \end{array}

Wir wandeln wie Koordinaten von B nach $\tilde{B}$ >
-> T spaltenweise berechen

b_{1} = a [\begin{matrix} 1 \\ 2 \end{matrix}] + b [\begin{matrix} 2 \\ 1 \end{matrix}]

-> $a = \frac{1}{3}, b = \frac{1}{3}$

k_{\tilde{B}} (b_{1}) = [\begin{matrix} \frac{1}{3} \\ \frac{1}{3} \end{matrix}]

genau gleich:
-> $a = - \frac{1}{3}, b = \frac{2}{3}$

k_{\tilde{B}} (b_{2}) = [\begin{matrix} - \frac{1}{3} \\ \frac{2}{3} \end{matrix}]

die Übergangsmatrix:

T = \frac{1}{3} [\begin{matrix} 1 & - 1 \\ 1 & 2 \end{matrix}]

-> am Ende: Sanity check

Basiswechsel einer Matrix

Gegeben Matrix $A$ mit Basis $B$ , wie sieht die Matrix in der Basis $\tilde{B}$ aus?

(Annahme, $V, W$ gleiche Basis)

Pasted image 20241031105217.png|400

-> Pfad enthält 3 Matrixen, die miteinander multiplizieren

\tilde{A} = ⊤ A ⊤^{- 1}

Die Matrix, die zuerst angewendet wird, ist ganz rechts!

Lineare Abbildungen

Abbildung zwischen zwei Vektorrämen $v, w$ :

F : V \mapsto W, x \to F (x)

erfüllen:
1. $\forall x, y \in R$ : $F (x + y) = F (x) + F (y)$
2. $\forall x \in R, a \in R$ : $F (a x) = a F (x)$

Bsp:

$v = P_{2} = {a x^{2} + b x + c | a, b, c \in R}$

$p \in V : F (p (x)) = \frac{δ}{δ x} p (x)$
F linear?

-> überprüfen, ob addition, multiplikation von skalar stimmt
-> Ableitung ist eine lineare Abbildung

jede lineare Abbildung lässt sich durch eine matrix $A$ beschreiben
$F : V \mapsto W$ , wenn $d i m (V) = n$ und $\dim (W) = m$ , dann $A \in R^{m \times n}$

$v = P_{2}$ , $F (p (x)) = \frac{δ}{δ x} p (x)$

FInde Matrix, die $F$ beschreibt!

$B_{V} = {1, x, x^{2}}$

Wie wirkt $F$ auf Basisvektoren?

\begin{array}{r} 1 ⟺ [\begin{array}{c} 1 \\ 0 \\ 0 \end{array}] \\ x ⟺ [\begin{array}{c} 0 \\ 1 \\ 0 \end{array}] \\ x^{2} = [\begin{array}{c} 0 \\ 0 \\ 1 \end{array}] \end{array}

-> F(1) = $\frac{δ}{δ x} 1 = 0$
-> F(x) = ...= 1
-> $F (x^{2}) = \frac{δ}{δ x} x^{2} = 2 X$

$A \in R^{m \times n}$

$\dim (V) = n = 3$
$\dim (W) = m = 2$

\begin{array}{r} A [\begin{array}{c} 1 \\ 0 \\ 0 \end{array}] = [\begin{array}{c} 0 \\ 0 \end{array}] \\ A [\begin{array}{c} 0 \\ 1 \\ 0 \end{array}] = [\begin{array}{c} 1 \\ 0 \end{array}] \\ A [\begin{array}{c} 0 \\ 0 \\ 1 \end{array}] = [\begin{array}{c} 0 \\ 2 \end{array}] \end{array}

\to A = [\begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 2 \end{matrix}]

Vorgehen:

Wie wirkt $F$ auf jeden Basisvektor?
Spaltenweise $A$ aufstellen

da wir $F$ als Matrix beschreiben können, können wir auch Bild und Kern für lineare Abbildungen definieren

$p (x) \in P_{2} : F (p (x)) = \frac{δ}{δ x} p (x)$

$\ker (F) = {a | a \in R}$

-> Ableitung von Konstanten ist 0

$\dim (\ker (F)) = 1$

A = [\begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 2 \end{matrix}] \in R^{2 \times 3}

$3 = d i m (\ker (F)) + \dim (i m (F))$

-> $d i m (i m (F)) = 2$

Prüfung HS 2024 Aufgabe

a)...
b)...
c) Gegeben seien im Urbildraum die Basis $1 - x, 2 x, 4 x^{2}$ und im Bildraum die Basis $2, \frac{x}{4}, \frac{x^{2}}{3}$ . Welches ist die neue Matrix $B$ , die $F$ nach dem Basiswechsel beschreibt:

Aus b):

A = [\begin{matrix} 1 & 0 & 0 \\ 0 & \frac{3}{2} & 0 \\ 0 & 0 & \frac{7}{3} \end{matrix}]

\tilde{A} = K A T^{- 1}

Einheitsbasis:

B = {[\begin{matrix} 1 \\ - 1 \\ 0 \end{matrix}], [\begin{matrix} 0 \\ 2 \\ 0 \end{matrix}], [\begin{matrix} 0 \\ 0 \\ 4 \end{matrix}]}

Wie stellen wir die Basisvektoren von $B$ in der EInheitsbasis dar?

T^{- 1} = [\begin{matrix} 1 & 0 & 0 \\ - 1 & 2 & 0 \\ 0 & 0 & 4 \end{matrix}]

$k$ ist Übergang von EInheitsbasis zu $\tilde{B}$

\tilde{B} = {[\begin{matrix} 2 \\ 0 \\ 0 \end{matrix}], [\begin{matrix} 0 \\ \frac{1}{4} \\ 0 \end{matrix}], [\begin{matrix} 0 \\ 0 \\ \frac{1}{3} \end{matrix}]}

-> Vektoren der Einheitsbasis in $\tilde{B}$ darstellen:

[\begin{matrix} 1 \\ 0 \\ 0 \end{matrix}] = \frac{1}{2} [\begin{matrix} 2 \\ 0 \\ 0 \end{matrix}] + 0 [\begin{matrix} 0 \\ \frac{1}{4} \\ 0 \end{matrix}] + 0 [\begin{matrix} 0 \\ 0 \\ \frac{1}{3} \end{matrix}]

[\begin{matrix} 0 \\ 1 \\ 0 \end{matrix}] = \dots

[\begin{matrix} 0 \\ 0 \\ 1 \end{matrix}] = \dots

K = [\begin{matrix} \frac{1}{2} & 0 & 0 \\ 0 & 4 & 0 \\ 0 & 0 & 3 \end{matrix}] aus skalaren der lin. Komb.

\tilde{A} = K A T^{- 1} = \dots = [\begin{matrix} \frac{1}{2} & 0 & 0 \\ - 6 & 12 & 0 \\ 0 & 0 & 28 \end{matrix}]

#timestamp 2024-11-07

Norm und Skalarprodukt in linearen Räumen

Norm

Funktionen $| | \cdot | | : v \to [0, \infty [$ :

$| | v | | = 0 ⟹ v = \vec{0}$
$\forall a \in R, \forall v i n V : | | a v | | = | a | | | v | |$
$| | v + w | | \leq | | v | | + | | w | |$
( $| | v | | \geq_{0}$ !!)

Bsp: p-Normen

| | x | |_{p} = (| x_{1}^{p} + \dots + | x_{n} |^{p})^{1 / p}

$p = 2$ : euklidische Norm
$p = \infty$ : Maximumsnorm

| | x | |_{\infty} = lim_{p \to \infty} {\underset{⏟}{(| x_{1}^{p} + \dots + | x_{n} |^{p})}}_{\approx max_{i \in {1, \dots, n}} | x_{n} |^{p}}^{1 / p} = max_{i \in {1, \dots, n}} | x_{i} |

$p = 1$ :

| | x | |_{1} = | x_{1} | + \dots + | x_{n} |

Äquivalenz der Normen

Wenn $| | \cdot | |$ und $| | \cdot | |^{'}$ zwei Normen sind und $x \in R^{n}$ , dann gilt:

\frac{1}{C} | | x | | \leq | | x | |^{'} \leq C | | x | |

-> $C$ ist eine Konstante

Bsp:
Was ist $C$ für $| | x | |_{2}$ und $| | x | |_{\infty}$

\frac{1}{C} | | x | |_{2} \leq | | x | |_{\infty} \leq C | | x | |_{2}

\begin{aligned} | | x | |_{2} & = \sqrt{x_{1}^{2} + \dots + x_{n}^{2}} & Summe unter Wurzel \geq | | x | |_{\infty}^{2} \\ | | x | |_{\infty} & = max_{i \in {1, \dots, n}} | x_{i} | \\ \to | | x | |_{\infty} \leq | | x | |_{2} \end{aligned}

-> aber $C = 1$ taugt nicht, weil $| | x | |_{2} > | | x | |_{\infty}$ möglich ist
-> Brauchen Extremfall, wieviel $| | x | |_{2}$ maximal grösser als $| | x | |_{\infty}$ sein kann

tritt ein wenn alle Einträge von $x$ gleich sind:

x = [\begin{matrix} x_{1} \\ ⋮ \\ x_{1} \end{matrix}] \to | | x | |_{2} = \sqrt{\underset{n}{\underset{⏟}{x_{1}^{2} + \dots + x_{1}^{2}}}} = \sqrt{n x_{1}^{2}} = \sqrt{n} | x_{1} |

$| | x | |_{\infty} = | x_{1} |$
$\frac{\sqrt{n}}{c} | x_{1} | \leq | x_{1} |$
$⟹ c = \sqrt{n} \geq 1$

\frac{1}{\sqrt{n}} | | x | |_{2} \leq | | x | |_{\infty} \leq \sqrt{n} | | x | |_{2}

Bsp Ist $| | x | | = | \sum x_{i} |$ eine Norm?
-> mehrere Elemente können $0$ sein, z.B. jedes $| | [\begin{matrix} - n \\ n \end{matrix}] | | \forall n \in N = 0$

Bsp $| | x | | = \sum | x_{i} |$ eine Norm?
i) $| | x | | = 0 ⟹ x = \vec{0}$
ii) $| | a x | | = \sum_{i} | a x_{i} = | a | | | x | |$
iii) $| | x + y | | = \sum_{i} | x_{i} + y_{i} | \leq \sum_{i} | x_{i} | + | y_{i} | = | | x | | + | | y | |$

Skalarprodukt

Funktion $< ., . >: V \times V \to R$ mit 3 Eigenschaften:

$< x, a y + b z >= a < x, y > + b < x, z >$
$< x, y >=< y, x >$
$< x . x >\geq 0$
- $< x, x >= 0 ⟹ x = \vec{0}$

Norm kann aus Skalarprodukt induziert werden:

| | x | | = \sqrt{< x, x >}

Bsp euklidische Norm

| | \vec{x} | |_{2} = \sqrt{x_{1}^{2} + \dots + x_{n}^{2}} = \sqrt{{\vec{x}}^{⊤} x} = \sqrt{< \vec{x}, \vec{x} >}

Bsp Skalarprodukt über Matrix $A$
(A positiv-definit $\to x^{⊤} A x \geq 0$ )

< x, y >_{A} = x^{⊤} A y

Bsp zu Skalarprodukten ( $x \in R^{3}$ )
Ist $< x, y \geq x_{1} y_{1} + 2 x_{2} y_{2} - 3 x_{3} y_{3}$ ein Skalarprodukt?

$< x, y >=< y, x > ✓$
$< x, a y + b z >= x_{1} < a y_{1} + b z_{1} >= \dots = a < x, y > + b < x, z > ✓$
Positiv definit?

$< x, x >\geq 0$

< [\begin{matrix} 0 \\ 0 \\ 1 \end{matrix}], [\begin{matrix} 0 \\ 0 \\ 1 \end{matrix}] >= 0 * 0 + 2 * 0 * 0 - 3 * 1 * 1 = - 3 < 2

-> kein Skalarprodukt

Note

zuerst überlegen, ob es ein gegenbeispiel gibt
mit kompliziertester eigenschaft anfangen, um Zeit zu sparen

Summen von Skalarprodukten mit Koeffizienten

\geq 0

sind Skalarprodukte

Orthogonale Projektionen

orthogonale Projektion von $x$ auf $y$ :

P_{x} x = \frac{< y, x >}{< x, x >} y

-> "Punkt auf y am nächsten zu x" -> Projektion auf y zum Punkt

Bsp abstand von funktionen

F, g \in {a x^{2} + b x + c | a, b, c \in R}

< F, g >= \int_{0}^{1} F (x) g (x) d x

let

$F (x) = x^{2} + 2$
$g (x) = - x^{2} + 2 x$

P_{g} F = \frac{< F, g >}{< g, g >} g = \frac{\int_{0}^{1} F (x) g (x) d x}{\int_{0}^{1} g (x) g (x) d x} g (x) = \dots = \frac{49}{16} (- x^{2} + 2 x)

Winkelberechnung über allgemeines Skalarprodukt:

\alpha=\arccos \frac{|<x,y>|}{||x||||y||} $$- Orthogonal wenn $<x,y>=0$ Wenn 2 Vektoren orthogonal sind, dann ergibt $P_{y}x=P_{x}y=\vec{0}$ >#timestamp2024-11-14 ### Gram-Schmidt Orthogonalisierungsverfahren - Methode zur Erzeugung einer orthonormalen Basis aus einer gewöhnlichen Basis

\begin{align}
B & = { b_{1},b_{2},b_{3} } & (\text{reihenfolge nicht eindeutig;}\
& & \text{Vektor auswählen, der am einfachsten ist})\
q_{1} & = \frac{b_{1}}{||b_{1}||} & (||q_{1}||=1) \
\
c_{2} & =b_{2} -b \left< b_{2},q_{1} \right> q_{1} \
q_{2} & =\frac{c_{2}}{||c_{2}||} & (\text{Komponente in Richtung q1 abgezogen}\to q_{1}\bot q_{2}) \
\
\dots \
\
c_{n} & = b_{n}-\sum_{i=1}^{n-1}\left< b_{n},q_{1} \right>q_{i} & \to q_{n}\bot q_{n-1},\dots,q_{1} \
q_{n}&=\frac{c_{n}}{||c_{n}||} \
\
\tilde{B}&={ q_{1},q_{2},\dots,q_{n} } & \text{(ist eine orthonrmale Basis)}
\end

* * B s p : Q R - Z e r l e g u n g m i t G r a m - S c h m i d t * *

\begin{align}
A & = \begin{bmatrix}
1 & 1 \ 2 & 0 \ 0 & 2
\end{bmatrix} & A=QR
\end

1. G r a m - S c h m i d t a u f S p a l t e n v e k t o r e n

\begin{align}
q_{1}&=\frac{1}{\sqrt{ 5 }}\begin{bmatrix}1\2\0\end{bmatrix} \
c_{2}&=a_{2}-\left< a_{2},q_{1} \right>q_{1} \
& = \begin{bmatrix}
1\0\2
\end{bmatrix} - \left< \begin{bmatrix}
1\0\2
\end{bmatrix}, \frac{1}{\sqrt{ 5 }}\begin{bmatrix}
1\2\0
\end{bmatrix} \right>\frac{1}{\sqrt{ 5 }}\begin{bmatrix}
1\2\0
\end{bmatrix} \
& = \begin{bmatrix}
1\0\2
\end{bmatrix} - \frac{1}{5}\cdot 1 \cdot \begin{bmatrix}
1\2\0
\end{bmatrix} \
& = \frac{1}{5} \begin{bmatrix}
4\-2\10
\end{bmatrix} \
||c_{2}|| & =\frac{1}{5}\sqrt{ 4^2+2^2+10^2 } = \frac{1}{5}\sqrt{ 120 } \
& = \frac{1}{5}\sqrt{ 4\cdot 30 } = \frac{2}{5} \sqrt{ 30 } \
q_{2}&=\frac{c_{2}}{||c_{2}||} = \frac{1}{2\sqrt{ 30 }} \begin{bmatrix}
4\-2\10
\end{bmatrix} \
& = \frac{1}{\sqrt{ 30 }}\begin{bmatrix}
2\-1\5
\end{bmatrix} \
\
Q & = \begin{bmatrix}
q_{1} & q_{2}
\end{bmatrix} = \begin{bmatrix}
\frac{1}{\sqrt{ 5 }} & \frac{2}{\sqrt{ 30 }} \
\frac{2}{\sqrt{ 5 }} & -\frac{1}{\sqrt{ 30 }} \
0 & \frac{5}{\sqrt{ 30 }}
\end{bmatrix}
\end

2. B e r e c h n u n g $ R $ ($ A = Q R $) $ R = [\begin{matrix} q_{1}^{⊤} a_{1} & q_{1}^{⊤} a_{2} \\ 0 & q_{2}^{⊤} a_{2} \end{matrix}] $ $ = [\begin{matrix} \sqrt{5} & \frac{1}{\sqrt{5}} \\ 0 & \frac{12}{\sqrt{30}} \end{matrix}] $ 3. Ü b e r p r ü f e n

\begin{bmatrix}
1 & 1\2 & 0\0 & 2
\end{bmatrix} = \begin{bmatrix}
\frac{1}{\sqrt{ 5 }} & \frac{2}{\sqrt{ 30 }} \
\frac{2}{\sqrt{ 5 }} & -\frac{1}{\sqrt{ 30 }} \
0 & \frac{5}{\sqrt{ 30 }}
\end{bmatrix} \begin{bmatrix} \sqrt{ 5 } & \frac{1}{\sqrt{ 5 }}\0 & \frac{12}{\sqrt{ 30 }} \end

-> hier ist $Q$ streng genommen keine orthogonale Matrix ### Projektoren - lineare Abbildung $P:V\to V$, für die gilt:

P^2=P

[b i l d] - o r t h o g o n a l e r P r o j e k t o r

P=P^\top\quad (\text{Matrix muss symmetrisch sein})

(d a n n g i l t $ x - P x ⊥ Bild P $) * * B s p * * $ [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \end{matrix}] $ - > $ P^{2} = P $ P r o j e k t i o n ? - > $ P^{2} $ e x i s t i e r t n u r w e n n $ P $ q u a d r a t i s c h - > n i c h t P r o j e k t o r * * B s p * *

\begin{bmatrix}
0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1
\end{bmatrix}\quad \text

P^2 = \begin{bmatrix}
0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1
\end{bmatrix}\begin{bmatrix}
0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1
\end{bmatrix} = \begin{bmatrix}
0 & 0 & 1 \ 0 & 1 & 0 \ 0 & 0 & 1
\end{bmatrix} = P ~\checkmark

P Projektion orthogonal? $P=P^\top$ -> stimmt nicht ($1$ oben rechts verschiebt sich) -> nicht orthogonal #### Berechnung orthogonaler Projektoren#todo--- - Wenn $U.V$ zwei Matrizen mit $\underbrace{ V^\top U = I }_{ \text{spalten U orthonormal} }$, dann:

P=UV^\top\quad (\text{ist schiefe Projektion auf Spaltenraum von U})

* * B s p * * (v o r h e r i g e s B e i s p i e l)

U=\begin{bmatrix}
\frac{1}{\sqrt{ 2 }} & 0 \ 0 & 1 \ \frac{1}{\sqrt{ 2 }} & 0
\end

S u c h e n $ V $ m i t $ V^{⊤} U = I $ - m e h r e r e M ö g l i c h k e i t e n

V=\begin{bmatrix}
0 & 0 & \sqrt{ 2 } \
0 & 1 & 0
\end

V^\top U = \begin{bmatrix}
1 & 0 \ 0 & 1
\end

P=UV^\top = \dots=\begin{bmatrix}
0 & 0 & 1 \
0 & 1 & 0 \
0 & 0 & 1
\end

$P^2=P~\checkmark$ $P^\top=P~\times$ -> schiefe Projektion ---#todo### Riesz Theorem Sei $F:V\to \mathbb{R}$ ein lineares FUnktional und $V$ Vektorraum - Funktional $\hat{=}$ von Vektorraum auf $\mathbb{R}$ 1. $\exists$ eindeutiges $w \in V$: $F(v)=\left< w,v \right>~~~\forall v \in V$ 2. Sei $b_{1}, b_{2},\dots,b_{n}$ ONB in $V$, dann $w=\overline{F(b_{1})}b_{1}+\dots$ **Bsp** $L(x.y)=2x+3y$ $L(x,y)=\left< \begin{bmatrix}x\\y\end{bmatrix},\begin{bmatrix}2\\3\end{bmatrix} \right>$ -> $w=\begin{bmatrix} 2 \\ 3\end{bmatrix}$ beschreibt $L$ eindeutig >#timestamp2024-11-21 ## Ausgleichsrechung (Linear Regression) - Finde Funktion die Fehlersumme minimiert

F^*(t)=\arg\min_{F} \sum_{i=1}^n (F(t_{i})-y_{i})^2

- F ü r u n s e r e Z w e c k e i s t $ F (t) $ m e i s t l i n e a r i n $ t $

F(t)=x_{0}+x_{1}t~(+x_{2}t^2+x_{3}t^3+\dots)

- > $ x_{0}, x_{1} $ s i n d g e s u c h t e P a r a m e t e r - P r o b l e m e i n M a t r i x - V e k t o r f o r m b r i n g e n :

\vec{x}=\begin{bmatrix}
x_{0}\x_{1}
\end{bmatrix}, A=\begin{bmatrix}
1 & t_{1}\1 & t_{2}\\dots\1 & t_{n}
\end{bmatrix}, b = \begin{bmatrix}
y_{1}\y_{2}\\dots\setminus y_{n}
\end

A\vec{x}=\begin{bmatrix}
x_{0}+x_{1}t_{1} \
\dots \
x_{0}+x_{1}t_{n}
\end{bmatrix} = \begin{bmatrix}
F(t_{1})\\dots\F(t_{n})
\end

- N u n k ö n n e n w i r d i e F e h l e r s u m m e u m s c h r e i b e n :

\sum_{i=1}^n (F(t_{i})-y_{i})^2 = ||Ax-b||^2

- Z i e l f i n d e o p r i m a l e s $ \hat{x} $

\hat{x} = \arg\min_{x \in \mathbb{R}^n} ||Ax-b||^2

- o p t i m a l e $ \hat{x} $ e r f ü l l e n N o r m a l e n g l e i c h u n g (H e r l e i t u n g i m S k r i p t)

A^\top A \hat{x} = A^\top b

- e i n d e u t i g e L ö s u n g w e n n $ A $ v o l l e n S p a l t e n r a n g h a t => $ A^{⊤} A $ i n v e r t i e r b a r :

\hat{x} = (A^\top A)^{-1} A^\top b

> [!warning] Ansonsten gibt es $\infty$ Lösungen > Normalengleichung hat niemals keine Lösung # Determinanten - Zahl, welche die Invertierbarkeit von quadratischen Matrizen charakterisiert: - $A \in ^{n\times n}$, $A^{-1}$ existiert genau dann wenn $\det(A)\neq0$ - Konsequenz: Für alle quadratischen Matrizen, die nicht vollen Rang haben, gilt $\det(A)=0$ **Bsp** 1. Determinante für $2\times2$ Matrizen

A=\begin{bmatrix}
a & b\c & d
\end{bmatrix}, \det(A)=ad-bc

- > $ A^{- 1} $ e x i s t i e r t 2. $ 2 \times 2 $ o h n e v o l l e n R a n g

B=\begin{bmatrix}
1 & -2\-3 & 6
\end

-> $\det(B)=0$ -> $A^{-1}$ existiert nicht ## Regel von Sarrus für $3\times3$ Matrizen

C = \begin{bmatrix}
a & d & g\b & e & h\c & f & i
\end{bmatrix}, \det(C) = aei+bfg+cdh-gec-hfa-idb

-> genauso aufwendig wie Regel 11 (entwicklung nach Spalte/Reihe), aber im gegensatz zu 11 nicht nützlich zur Berechnung vom charakteristischen Polynom ### Laplacescher Entwicklungssatz - Methode zur Berechnung der Determinante in beliebigen Dimensionen Für $n \times m$ Matrix, Entwicklung nach z.b. Spalte $m$:

\det(A) = \sum_{i = 1}^n (-1)^{i+m} \cdot a_{im} \cdot \det(A_{im})

## rechenregeln Determinante 1. $A \in \mathbb{R}^{n\times n}, B \in \mathbb{R}^{n\times n}: \det(AB)=\det(A)\det(B)$ 2. $\det(A^{-1})=\frac{1}{\det(A)}$ 3. $A \in \mathbb{R}^{n\times n}, \alpha \in \mathbb{R}: \det(\alpha A)=\alpha^n\det(A)$ 4. $\det(A^\top)=\det(A)$ 1 -> orthogonale Matrix $Q^{-1}=Q^\top$ $\det(I)=1$ $\det(Q^\top Q)=\det(I)=1$ 1-> $\det(Q^\top)\det(Q)=1$ 4-> $\det(Q)\det(Q)=1$ $\det(Q)^2=1$ $\det(Q)=1$ oder $\det(Q)=-1$ >#timestamp2024-11-28 # Eigenwerte und Eigenvektoren $A \in R^{n\times n}, x \in \mathbb{R}^n$ (quadratische Matrix): x ist Eigenvektor von $A$ mit Eigenwert $\lambda \in \mathbb{R}$, wenn gilt:

Ax=\lambda x

- $ \vec{0} $ i s t k e i n E i g e n v e k t o r - > t r i v i a l e L ö s u n g - e i n E i g e n v e k t o r h a t n u r e i n e n E i g e n w e r t / e i n E i g e n w e r t k a n n m e h r e r e E i g e n v e k t o r e n h a b e n B e r e c h n u n g :

\begin{align}
& Ax-\lambda x = \vec{0} \
& (A-\lambda I)x = \vec{0} \
\iff~ & \det(A-\lambda I) = 0
\end

- $\det(A-\lambda I)$ gibt uns ein Polynom (in $\lambda$) von Grad $n$ und wird **charakteristisches Polynom** genannt ## Eigenräume Zu jedem Eigenwert $\lambda i$ gibt es einen zugehörigen Eigenraum $E_{\lambda i}$, der durch seine Eigenvektoren aufgespannt wird. **Bsp:** eigenwert $-6$ eigenvektor $\begin{bmatrix}24\\-3\\7\end{bmatrix}$ -> $E_{-6}=span(\begin{bmatrix}24\\-3\\7\end{bmatrix})$ -> Dimensionalität 1 ### Algebreische Vielfachheit eines Eigenwertes "wie oft der Eigenwert als Nullstelle des charakteristischen Polynoms vorkommt" - bei einer $A\in \mathbb{R}^{n\times n}$ maximal $n$ EW, ein Eigenwert hat algebraische Vielfachheit max $n$ **Bsp**

A = \begin{bmatrix}
2 & 1\0 & 2
\end

$\det(A-\lambda I) = (2-\lambda)(2-\lambda)$ -> EW 2 hat algebraische Vielfachheit $2$ ### Geometrische Vielfachheit eines Eigenwertes = dimension des zugehörigen Eigenraums

1\leq \text{geometrische V.} \leq \text

-> zu jedem $EW$ gibt es mindestens ein Eigenvektor ## Diagonalisierbarkeit $A \in \mathbb{R}^{n\times n}$ und sei $D \in \mathbb{R}^{n\times n}$

D = \begin{bmatrix}
\lambda_{1} & & 0 \
& \dots & \
0 & & \lambda_{n}
\end

- M a n n e n n t A d i a g o n a l i s i e r b a r, w e n n g i l t

A = SDS^

w o b e i d i e S p a l t e n v o n S d u r c h d i e (g e o r d n e t e n) E i g e n v e k t o r e n g e g e b e n s i n d :

S = \begin{bmatrix}
v_{1} & v_{2} & \dots & v_{n}
\end

- " g e o r d n e t " : R e i h e n f o l g e E i g e n w e r t e i n D $ \hat{=} $ R e i h e n f o l g e E V i n S - S k a n n n u r a u f g e s t e l l t w e r d e n, w e n n $ n $ E i g e n v e k t o r e n - E V m ü s s e n n i c h t n o r m a l i s i e r t s e i n - - - A i s t g e n a u d a n n d i a g o n a l i s i e r b a r, w e n n f ü r j e d e n E i g e n w e r t d i e a l g e b r a i s c h e V i e l f a c h h e i t g l e i c h d e r g e o m e t r i s c h e n V i e l f a c h h e i t

A = \begin{bmatrix}
2 & 1\0 & 1
\end{bmatrix}, \lambda_{\frac{1}{2}}=2

- > $ \dim (E_{λ_{\frac{1}{2}}}) = 1 $ - > A V = 2, G V = 1 - > n i c h t d i a g o n a l i s i e r b a r > [! n o t e] > H ä u f i g e r F e h l s c h l u s s : I n v e r t i e r b a r k e i t u n d D i a g o n a l i s i e r b a r k e i t h ä n g e n m i t e i n a n d e r z u s a m m e n > $ $ [\begin{matrix} 1 & 0 \\ 0 & 0 \end{matrix}]

-> diagonalisierbar, aber nicht invertierbar
$[\begin{matrix} 1 & 1 \\ 0 & 1 \end{matrix}]$
-> invertierbar, aber nicht diagonalisierbar
Diaogonalisierbarkeit von $A$ lässt keinen Schluss auf die Invertierbarkeit zu, umgekehrt genauso

Charakteristisches Polynom lösen

Für Polynom mit Grad $\geq 3$ können wir praktisch nicht die Nullstellen mit einer Formel berechnen
-> wir müssen die ersten Nullstellen raten

Bsp

det (A - λ I) = λ^{3} + 4 λ^{2} + λ - 6

-> oftmals ist eine Nullstelle gegeben durch 0,1 oder -1
-> einsetzen: (1) $1 + 4 + 1 - 6 = 0 ✓$

$λ_{1} = 1$
Grad des Polynoms durch Polynomdivision reduzieren

(x^{3} + 4 x^{2} + x - 6) : (x - 1) = x^{2} + 5 x + 6

-> $det (A - x I) = (x - 1) (x^{2} + 5 + 6)$

quadratische Funktion:
-> Nullstellen $- 2, - 3$

det (A - x I) = (x - 1) (x + 3) (x + 2)

Nützliches zu Eigenwerten

Eigenvektoren von unterschiedlichen Eigenwerte sind linear unabhängig
die Determinante ist das Produkt der Eigenwerte

det (A) = \prod_{i = 1}^{n} λ_{i}

=> $det (A) = 0$ wenn $0$ ein Eigenwert ist

für Dreiecksmatrizen (egal ob untere oder obere) sind die Einträge auf der Hauptdiagonalen gleich den Eigenwerten

[\begin{matrix} 1 & 2 & 3 & 4 \\ 0 & 5 & 6 & 7 \\ 0 & 0 & 8 & 9 \\ 0 & 0 & 0 & 10 \end{matrix}] \to λ_{1} = 1, λ_{2} = 5, λ_{3} = 8, λ_{4} = 10

Die Summe der Einträge auf der Hauptdiagonalen ist gleich der Summe der Eigenwerte

A = [\begin{matrix} 1 & 4 \\ 2 & 3 \end{matrix}]

\begin{aligned} det (A_{λ I}) & = (1 - λ) (3 - λ) - 8 \\ = λ^{2} - 4 λ - 5 \\ = (λ - 1) (λ - 4) \end{aligned}

$λ_{1} = 5, λ_{2} = 1$
$λ_{1} \cdot λ_{2} = - 5$
$det (A) = 3 - 8 = - 5 ✓$

$λ_{1} + λ_{2} = 4$
$A = [\begin{matrix} 1 & 4 \\ 2 & 3 \end{matrix}] \to 1 + 3 = 4$

#timestamp 2024-10-05

Serie 10: Letzte Aufgabe

Normale Matrizen ( $A^{⊤} A = A A^{⊤}$ ) haben orthogonale Eigenvektoren
Bedeutet:

\begin{array}{r} A v_{1} = λ_{1} v_{1} \\ A v_{2} = λ_{2} v_{2} \\ λ_{1} \neq λ_{2} ⟹ v_{1}^{⊤} v_{2} = 0 \end{array}

Beweisidee: Zeigen, das $A$ und $A^{⊤}$ gleiche $E W$ mit gleichen $E V$ haben.
-> dann gilt:

\begin{aligned} (A v_{1})^{⊤} v_{2} & = λ_{1} v_{1}^{⊤} v_{2} \\ (A v_{1})^{⊤} v_{2} & = v_{1}^{⊤} A^{⊤} v_{2} = v_{1} λ_{2} v_{2} \\ λ_{1} v_{1}^{⊤} v_{2} & = λ_{2} v_{1}^{⊤} v_{2} ⟹ v_{1}^{⊤} v_{2} = 0 ◻ \end{aligned}

Wie zeigen, dass $A$ und $A^{⊤}$ gleiche EW und EV haben?
-> Für EW einfach:

\begin{aligned} det (A - λ I) & = det ((A - λ I)^{⊤}) \\ = det (A^{⊤} - λ I) \end{aligned}

-> Für gleiche EV:

\underset{B}{\underset{⏟}{(A - λ I)}} v = \vec{0} und \underset{B^{⊤}}{\underset{⏟}{(A^{⊤} - λ I)}} v = \vec{0}

Beide LGS müssen gleiche Lösung haben!
B ist normal:

B B^{⊤} = B^{⊤} B selbst überprüfen

-> Hinweis: für normale Matrizen haben $B$ , $B^{⊤}$ den gleichen Kern
(Beweis in der Musterlösung)

also haben $B v = \vec{0}$ und $B^{⊤} v = \vec{0}$ gleiche Lösung -> $A$ und $A^{⊤}$ haben gleiche EV

Spektralsatz

Symmetrische Matrizen (können immer diag.) haben orthogonale Eigenvektoren und lassen sich durch orthogonale Matrizen diagonalisieren:

A = U D U^{⊤}

Die Spalten von $U$ sind normierte Eigenvektoren, D ist eine Diagonalmatrix mit Eigenvektoren

U = [\begin{matrix} u_{1}, u_{2}, \dots, u_{n} \end{matrix}], D = [\begin{matrix} λ_{1} & 0 \\ ⋱ \\ 0 & λ_{n} \end{matrix}]

Wenn $A$ symmetrisch, dann können wir es als Summe von orthogonalen Projektionen schreiben

A = \sum_{i = 1}^{n} λ_{i} u_{i} u_{i}^{⊤}

Bsp
Orthogonalität ausnutzen

A = [\begin{matrix} 1 & 4 \\ 4 & 1 \end{matrix}] \to relativ einfach: v_{1} = [\begin{matrix} 1 \\ 1 \end{matrix}] EV mit EW λ_{1} = 5

$v_{2} = [\begin{matrix} 1 \\ - 1 \end{matrix}]$ -> weil $A$ symmetrisch $v_{1} ⊥ v_{2}$

$A v_{2} = [\begin{matrix} - 3 \\ 3 \end{matrix}]$ -> $λ_{2} = - 3$

Für Diagonalisieren: $E V$ normieren

\begin{aligned} A & = \frac{1}{\sqrt{2}} [\begin{array}{c} 1 & 1 \\ 1 & - 1 \end{array}] [\begin{array}{c} 5 & 0 \\ 0 & - 3 \end{array}] \frac{1}{\sqrt{_{2}}} [\begin{array}{c} 1 & 1 \\ 1 & - 1 \end{array}] \\ = 5 u_{1} u_{1}^{⊤} - 3 u_{2} u_{2}^{⊤} \\ = \frac{5}{2} [\begin{array}{c} 1 \\ 1 \end{array}] [\begin{array}{c} 1 & 1 \end{array}] - \frac{3}{2} [\begin{array}{c} 1 \\ - 1 \end{array}] [\begin{array}{c} 1 & - 1 \end{array}] = [\begin{array}{c} 1 & 4 \\ 4 & 1 \end{array}] ✓ \end{aligned}

Definitheit

Eine symmetrische Matrix $A \in R^{n \times n}$ ist positiv definit, wenn gilt:

$x^{⊤} A x \geq 0$ , $\forall x \in R^{n}$
$x^{⊤} A x = 0 ⟹ x = \vec{0}$

Falls nur $1$ erfüllt, dann ist $A$ positiv semi-definit
Positiv definit: $E W > 0$
- Positive-semi-definit: $E W \geq 0$
nützlicher Trick -> gilt nicht nur für symm. M.

\begin{array}{r} x^{⊤} A x = \sum_{i = 1}^{n} \sum_{j = 1}^{n} x_{i} A_{i j} x_{j} \\ auch möglich: \\ y^{⊤} A x = \sum_{i = 1}^{n} \sum_{j = 1}^{n} y_{i} A_{i j} x_{j} \end{array}

Proof
Für symmetrische Matrizen bilden die Eigenvektoren eine orthonormale Basis

A = \sum_{k = 1}^{n} λ_{k} v_{k} v_{k}^{⊤}

-> jede $x \in R^{n}$ kann als lin.komb. von $v_{1}, \dots, v_{n}$ gebildet werden

\begin{aligned} x & = \sum_{i = 1}^{n} a_{i} v_{i} \\ A x & = \sum_{i = 1}^{n} a_{i} A \vec{v_{i}} = \sum_{i = 1}^{n} a_{i} λ_{i} \vec{v_{i}} \\ x^{⊤} A x & = {(\sum_{j = 1}^{n} a_{i} \vec{v_{i}})}^{⊤} (\sum_{i = 1}^{n} a_{i} λ_{i} \vec{v_{i}}) \\ = \sum_{j = 1}^{n} \sum_{i = 1}^{n} a_{j} a_{i} λ_{i} {\vec{v_{j}}}^{⊤} \vec{v_{i}} \\ \to EV sind orthogonal \\ = \sum_{i = 1}^{n} a_{i}^{2} λ_{i} \end{aligned}

-> $\forall x : x^{⊤} A x \geq 0 ⟺ λ_{i} \leq 0 \forall i$

Bsp

[\begin{matrix} 3 & 3 \\ 3 & 3 \end{matrix}]

positiv definit?

nicht invertierbar -> mind. 1x eigenwert u
-> A hat Rang $1$ -> also $det (A) = 1$
-> $λ_{1} = 0$

v_{1} = [\begin{matrix} 1 \\ - 1 \end{matrix}] \to v_{2} ⊥ v_{1} \to v_{2} = [\begin{matrix} 1 \\ 1 \end{matrix}]

$A v_{2} = [\begin{matrix} 6 \\ 6 \end{matrix}] \to λ_{2} = 6$
-> A positiv semi-definit

Prüfungsaufgabe HS 18

[\begin{matrix} 2 & 1 & 1 \\ 1 & 1 & 2 \\ 1 & 2 & 1 \end{matrix}]

-> symmetrisch -> EW orthogonal

Zeilensumme $4$ überall $\to$ $λ_{1} = 4$

Musterlösung:

\begin{aligned} det (A - λ I) = det [\begin{array}{c} 2 - λ & 1 & 1 \\ 1 & 1 - λ & 2 \\ 1 & 2 & 1 - λ \end{array}] \\ = (2 - λ) (1 - λ)^{2} + 2 + 2 - (1 - λ) - 4 (2 - λ) - (1 - λ) \\ = (2 - λ) (1 - λ)^{2} + 6 λ - 6 \\ = (2 - λ) (1 - Λ)^{2} - 6 (1 - λ) \\ = (1 - λ) ((2 - λ) (1 - λ) - 6) \\ \to λ_{1} = 1 \\ = (1 - λ) (λ^{2} - 3 λ + 2 - 6) \\ = (1 - λ) (λ^{2} - 3 λ - 4) \\ \to Trick: λ_{2} + λ_{3} = - (- 3) \\ λ_{2} λ_{3} = - 4 \end{aligned}

-> $λ_{2} = - 1$ , $λ_{3} = 4$ (indefinit)

EV berechnen:

$λ_{1} = 1$

[\begin{matrix} 2 - 1 & 1 & 1 \\ 1 & 1 - 1 & 2 \\ 1 & 2 & 1 - 1 \end{matrix}]

- Matrix muss Rang $2$ haben, weil nur eine freie Variable möglich
- $x_{3}$ ist frei

II $x_{1} = - 2 x_{3}$
II in I: $x_{2} = x_{3}$
$v_{1} = [\begin{matrix} - 2 \\ 1 \\ 1 \end{matrix}]$

$λ_{2} = - 1$ -> $v_{2} = [\begin{matrix} 0 \\ 1 \\ - 1 \end{matrix}]$
$λ_{3} = 4$ -> $v_{3} = [\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}]$
evtl: $v_{1}, v_{2} \to v_{3}$ über kreuzprodukt

b) Bestimme eine orthonormale Basis aus den EV
-> Eigenvektoren normieren
$b_{1} = \frac{1}{\sqrt{6}} [\begin{matrix} - 2 \\ 1 \\ 1 \end{matrix}], b_{2} = \frac{1}{\sqrt{2}} [\begin{matrix} 0 \\ 1 \\ - 1 \end{matrix}], b_{3} = \frac{1}{\sqrt{3}} [\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}]$

c) berechne

e^{A} = lim_{n \to \infty} \sum_{n = 0}^{N} \frac{1}{n!} A^{n}

-> A symm., daher:

\begin{aligned} A & = U D U^{⊤} \\ A^{2} & = U D U^{⊤} U D U^{⊤} = U D^{2} U^{⊤} \\ A^{n} & = U D^{n} U^{⊤} \end{aligned}

⟹ D = [\begin{matrix} 1 & 0 & 0 \\ 0 & - 1 & 0 \\ 0 & 0 & 4 \end{matrix}], D^{n} = [\begin{matrix} 1^{n} & 0 & 0 \\ 0 & (- 1)^{n} & 0 \\ 0 & 0 & 4^{n} \end{matrix}]

\begin{aligned} e^{A} & = lim_{N \to \infty} \sum_{n = 0}^{N} \frac{1}{n!} A^{n} \\ = lim_{N \to \infty} \sum_{n = 1}^{N} \frac{1}{n!} U D^{n} U^{⊤} \\ = U (lim_{N \to \infty} \sum_{n = 0}^{N} \frac{D^{n}}{n!}) U^{⊤} \\ = U (lim_{N \to \infty} [\begin{array}{c} \sum_{n = 0}^{N} \frac{1^{n}}{n!} & 0 & 0 \\ 0 & \sum_{n = 0}^{N} \frac{(- 1)^{n}}{n!} & 0 \\ 0 & 0 & \sum_{n = 0}^{N} \frac{4^{n}}{n!} \end{array}]) U^{⊤} \end{aligned}

da: $e^{x} = lim_{N \to \infty} \sum_{n = 0}^{N} \frac{x^{n}}{n!}$

= U ([\begin{matrix} e^{1} & 0 & 0 \\ 0 & e^{- 1} & 0 \\ 0 & 0 & e^{4} \end{matrix}]) U^{⊤}

#timestamp 2024-12-12

Singulärwertszerlegung (SVD)

$A \in R^{m \times n}$ beliebig, dann gibt es zwei orthogonale Matrizen $U \in R^{m \times m}, V \in R^{m \times m}$ sodass:

A = U Σ V^{⊤}

wobei $Σ = d i a g (σ_{1}, σ_{2}, \dots, σ_{p}) \in R^{m \times n}$

$σ_{1}, \dots, σ_{p}$ sind SIngulärwerte von A
$σ_{1} \geq \dots \geq σ_{p} \geq_{0}$ der Grösse nach geordnet

Bsp

[\begin{matrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{matrix}] = \frac{1}{\sqrt{6}} [\begin{matrix} \sqrt{2} & - \sqrt{3} & 0 \\ \sqrt{2} & \sqrt{3} & 1 \\ \sqrt{2} & 0 & - 2 \end{matrix}] [\begin{matrix} \sqrt{6} & 0 \\ 0 & 0 \\ 0 & 0 \end{matrix}] \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}]

wobei $σ_{1} = \sqrt{6}, σ_{2} = 0$

U,V haben normierte, orthogonale Spalten

Berechnung SVD

Singulärwerte sind Wurzeln der EW von $A^{⊤} A$ und $A A^{⊤}$
- immer Matrix auswählen, die kleiner ist

Bsp

[\begin{matrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{matrix}]

-> $A^{⊤} A \in R^{2 \times 2}$ , $A A^{⊤} \in R^{3 \times 3}$
-> EW von $A^{⊤} A$ sind einfacher zu berechnen

A^{⊤} A = [\begin{matrix} 3 & 3 \\ 3 & 3 \end{matrix}]

-> da symmetrisch, sind eingenvektoren orthogonal (?)

det (A^{⊤} A - λ I) = (3 - λ)^{2} - 9 = λ (λ - 6)

$λ_{1} = 0, λ_{2} = 6$
$σ_{1} = \sqrt{6}, σ_{2} = 0$ -> nach Grösse ordnen!

Σ = [\begin{matrix} \sqrt{6} & . \\ . & 0 \\ . & . \end{matrix}]

-> hat immer gleiche Dimensionen wie $A$ !

Spalten von $U$ sind EV von $A A^{⊤}$ , Spalten von $V$ sind $E V$ von $A^{⊤} A$
- Nützlich:

\begin{aligned} u_{i}^{⊤} A v_{i} & = σ_{i} \\ u_{i} & = \frac{A v_{i}}{σ_{i}} \\ v_{i} & = \frac{A^{⊤} u_{i}}{σ_{i}} \end{aligned}

Strategie:
1. EV von kleineren Matrix (U oder V) berechnen
2. Über obrige Formel Spalten der anderen matri berechnen

A^{⊤} A = [\begin{matrix} 3 & 3 \\ 3 & 3 \end{matrix}]

-> Spalten von $V$ (=EV von $A^{⊤} A$ ) sind einfacher zu berechnen, weil $V \in R^{2 \times 2}$ , und $U \in R^{3 \times 3}$

Vorsicht:

λ_{i} = σ_{i}^{2}

Berechnung $V$

$(A^{⊤} A - λ_{1} I) x = \vec{0}$
-> Rang 1 -> $x_{1} = x_{2}$
-> Normierter EV: $v_{1} = \frac{1}{\sqrt{2}} [\begin{matrix} 1 \\ 1 \end{matrix}]$

-> da $A^{⊤} A$ symmetrisch: $v_{2} ⊥ v_{1}$

$v_{2} = \frac{1}{\sqrt{2}} [\begin{matrix} 1 \\ - 1 \end{matrix}]$

V = \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}]

-> muss noch transponiert werden, in unserem Beispiel schon symmetrisch

Berechnung $U$

1. Singulärwert is $0$ -> kann nicht über Formel berechnet werden, aber Spalten müssen orthogonal sein -> kann aus $u_{1}$ berechnet werden)
Aber brauchen $u_{2} ⊥ u_{1}$ und $u_{3} ⊥ u_{1}, u_{2}$
für $u_{3}$ kann man das Gram-Schmidt-Verfahren oder (in 3D) das Kreuzprodukt verwenden

\begin{aligned} u_{1} & = \frac{A v_{1}}{σ_{1}} = \frac{1}{\sqrt{6}} [\begin{array}{c} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{array}] \frac{1}{\sqrt{2}} [\begin{array}{c} 1 \\ 1 \end{array}] = \dots = \frac{1}{\sqrt{6}} [\begin{array}{c} \sqrt{2} \\ \sqrt{2} \\ \sqrt{2} \end{array}] \\ u_{2} & = \frac{1}{\sqrt{2}} [\begin{array}{c} 1 \\ - 1 \\ 0 \end{array}] = \frac{1}{\sqrt{6}} [\begin{array}{c} \sqrt{3} \\ - \sqrt{3} \\ 0 \end{array}] \\ u_{3} & = \frac{1}{\sqrt{6}} [\begin{array}{c} 1 \\ 1 \\ - 2 \end{array}] \end{aligned}

-> $v_{3}$ hier von der Norm her geraten
#todo: üben, orthogonale Vektoren von Hand erkennen

U = \frac{1}{\sqrt{6}} [\begin{matrix} \sqrt{2} & \sqrt{3} & 1 \\ \sqrt{2} & - \sqrt{3} & 1 \\ \sqrt{2} & 0 & - 2 \end{matrix}]

Ergebnis:

[\begin{matrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{matrix}] = \frac{1}{\sqrt{6}} [\begin{matrix} \sqrt{2} & - \sqrt{3} & 0 \\ \sqrt{2} & \sqrt{3} & 1 \\ \sqrt{2} & 0 & - 2 \end{matrix}] [\begin{matrix} \sqrt{6} & 0 \\ 0 & 0 \\ 0 & 0 \end{matrix}] \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}]

wir können $A$ immer als Summe von Rang 1 Matrizen schreiben:

A = \sum_{i = 1}^{n} σ_{i} u_{i} v_{i}^{⊤}

"Anzahl SIngulärwerte > 0" = Rang $r$

\begin{aligned} A & = \sqrt{6} v_{1} v_{1}^{⊤} \\ = \sqrt{6} \frac{1}{\sqrt{6}} [\begin{array}{c} \sqrt{2} \\ \sqrt{2} \\ \sqrt{2} \end{array}] \frac{1}{\sqrt{2}} [\begin{array}{c} 1 & 1 \end{array}] \\ = [\begin{array}{c} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{array}] \end{aligned}

Bsp 2: SVD von $A = [\begin{matrix} 1 & 2 & 3 \end{matrix}] \in R^{1 \times 3}$

$U \in R^{1 \times 1}$ , $V \in R^{3 \times 3}$

Singulärwerte berechnen von $A A^{⊤} \in R^{1 \times 1}$ einfacher ( $A^{⊤} A \in R^{3 \times 3}$ )

$det (A A^{⊤} - λ I) = 14 - λ \to σ_{1} = \sqrt{14}$

Σ = [\begin{matrix} \sqrt{14} & 0 & 0 \end{matrix}]

$U$ trivial: $U = 1$ ( oder $- 1$ )

Berechnung $V$ :

wir müssen wieder $v_{2} ⊥ v_{1}$ , da nur ein EW
$v_{3}$ mit Kreuzprodukt, Gram-Schmidt, oder Überlegung: $v_{3} ⊥ v_{2}, v_{1}$

\begin{aligned} v_{1} & = \frac{A^{⊤} u_{1}}{σ_{1}} = \frac{1}{\sqrt{14}} [\begin{array}{c} 1 \\ 2 \\ 3 \end{array}] \\ v_{2} & = \frac{1}{\sqrt{5}} [\begin{array}{c} - 2 \\ 1 \\ 0 \end{array}] \\ v_{3} & = [\begin{array}{c} 1 \\ 2 \\ - \frac{5}{3} \end{array}] = \frac{1}{\sqrt{70}} [\begin{array}{c} 3 \\ 6 \\ - 5 \end{array}] & 1, 2 um orthogonal zu v_{2}, - \frac{5}{3} für v_{1} \\ (v_{3}^{'} = \frac{1}{3} \cdot normiert [\begin{array}{c} 3 \\ 6 \\ - 5 \end{array}]) \end{aligned}

für $v_{3}$ : erste zwei Einträge, um orthogonal zu $v_{2}$ . Für 3. kreuzprodukt:
$1 * 1 + 2 * 2 + z * 3 = 0$ -> $z = - \frac{5}{3}$

V = [\begin{matrix} \frac{1}{\sqrt{14}} & - \frac{2}{\sqrt{5}} & \frac{3}{\sqrt{70}} \\ \frac{2}{\sqrt{14}} & \frac{1}{\sqrt{5}} & \frac{6}{\sqrt{70}} \\ \frac{3}{\sqrt{14}} & 0 & - \frac{5}{\sqrt{70}} \end{matrix}]

nicht vergessen,

V

zu transponieren

\begin{array}{r} A = U Σ V^{⊤} \end{array}

Wenn

A

eine quadratische Matrix ist, dann sind die Singulärwerte von

A

gleich den Beträgen der Eigenwerten von

A

Ausgleichsrechnung mit SVD

Erinnerung: suchen $x \in R^{n}$ das folgenden Ausdruck minimiert:

| | A x - b | |_{2}

Lösung über Normalengleichung

A^{⊤} A x = A^{⊤} b

Lösung mit SVD:

\begin{aligned} | | A x - b | |_{2}^{2} & = | | U Σ V^{⊤} x - U U^{⊤} b | |_{2}^{2} & | | U x | |_{2}^{2} = | | x | |_{2}^{2} für U orthogonal \\ = | | Σ V^{⊤} x - U^{⊤} b | |_{2}^{2} \end{aligned}

Zerlegung in Untermatrizen!

\begin{aligned} = | | [\begin{array}{c} Σ_{r} & 0 \\ 0 & 0 \end{array}] [\begin{array}{c} v_{1}^{⊤} \\ v_{2^{⊤}} \end{array}] x - [\begin{array}{c} U_{1}^{⊤} \\ U_{2}^{⊤} \end{array}] b | |_{2}^{2} \\ = | | Σ_{r} v_{1}^{⊤} x - U_{1}^{⊤} b | |_{2}^{2} + | | U_{2}^{⊤} b | |_{2}^{2} \end{aligned}

-> minimal für $Σ_{r} V_{1}^{⊤} x = U_{1}^{⊤} b$

x = V_{1} Σ_{r}^{- 1} U_{1}^{⊤} b

Bsp:

[\begin{matrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{matrix}] = \frac{1}{\sqrt{6}} [\begin{matrix} \sqrt{2} & - \sqrt{3} & 0 \\ \sqrt{2} & \sqrt{3} & 1 \\ \sqrt{2} & 0 & - 2 \end{matrix}] [\begin{matrix} \sqrt{6} & 0 \\ 0 & 0 \\ 0 & 0 \end{matrix}] \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}]

b = [\begin{matrix} 1 \\ 2 \\ 1 \end{matrix}]

Finde $x$ , sodass $| | A x - b | |_{2}$ minimal:

\begin{aligned} Σ_{r} & = \sqrt{6}, v_{1} = \frac{1}{\sqrt{2}} [\begin{array}{c} 1 \\ 1 \end{array}], u_{1}^{⊤} = \frac{1}{\sqrt{6}} [\begin{array}{c} \sqrt{2} & \sqrt{2} & \sqrt{2} \end{array}], Σ_{r}^{- 1} = \frac{1}{\sqrt{6}} \\ x & = v_{1} Σ_{r}^{- 1} U_{1}^{⊤} b = \dots = \frac{2}{3} [\begin{array}{c} 1 \\ 1 \end{array}] \end{aligned}

Note

Lösung $x = V_{1} Σ_{r}^{- 1} U_{1}^{⊤} b$ ist nicht unbedingt einzige Lösung, aber hat minimale euklidische Norm unter allen Lösungen $| | x | |_{2}$ minimal.

Vergleich mit Normalengleichung:

A^{⊤} A = [\begin{matrix} 3 & 3 \\ 3 & 3 \end{matrix}], A^{⊤} b = [\begin{matrix} 4 \\ 4 \end{matrix}]

Normalengleichung: $A^{⊤} A x = A^{⊤} b$

[\begin{matrix} 3 & 3 \\ 3 & 3 \end{matrix}] [\begin{matrix} x_{1} \\ x_{2} \end{matrix}] = [\begin{matrix} 4 \\ 4 \end{matrix}]

$3 x_{1} 3 x_{2} = 4 \to x_{1} = \frac{4}{3} - x_{2}$

x = [\begin{matrix} \frac{4}{3} - t \\ t \end{matrix}] = [\begin{matrix} \frac{4}{3} \\ 0 \end{matrix}] + t [\begin{matrix} - 1 \\ 1 \end{matrix}]

$| | x | |_{2} = {(\frac{4}{3} - t)}^{2} + t^{2} = 2 t^{2} + \frac{8}{3} t + \frac{16}{9}$

\frac{δ}{δ t} | | x | |_{2} = 4 t - \frac{8}{4} \overset{!}{=} 0

für minimale Form
=> $t = \frac{2}{3}$

$x = \frac{2}{3} [\begin{matrix} 1 \\ 1 \end{matrix}]$
-> liefert gleiche Lösung

Moore-Penrose Pseudoinverse

Pseudoinverse $A^{†}$ kann mit $S V D$ berechnet werden:

A = U Σ V^{⊤} \to A^{†} = V Σ^{†} U^{⊤}

wobei

Σ^{†} = [\begin{matrix} \frac{1}{σ_{1}} & 0 & 0 \\ 0 & \frac{1}{σ_{2}} & 0 \\ 0 & 0 & ⋱ \end{matrix}]

-> wenn $σ_{i} = 0$ , dann $\frac{1}{σ_{1}} = 0$ einfach bei $0$ lassen

Eigenschaften: $A \in R^{m \times n} ⟹ A^{⊤} \in R^{n \times n}$

$A A^{†} A = A$
$A^{†} A A^{†} = A^{†}$

A^{†} A = I

gilt aber nicht!

Falls $A^{- 1}$ existiert: $A^{†} = A^{- 1}$

Bsp

\begin{array}{r} [\begin{array}{c} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{array}] = \frac{1}{\sqrt{6}} [\begin{array}{c} \sqrt{2} & - \sqrt{3} & 0 \\ \sqrt{2} & \sqrt{3} & 1 \\ \sqrt{2} & 0 & - 2 \end{array}] [\begin{array}{c} \sqrt{6} & 0 \\ 0 & 0 \\ 0 & 0 \end{array}] \frac{1}{\sqrt{2}} [\begin{array}{c} 1 & 1 \\ 1 & - 1 \end{array}] \end{array}

A^{+} = V Σ^{+} U^{⊤} = \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}] [\begin{matrix} \frac{1}{\sqrt{6}} & 0 & 0 \\ 0 & 0 & 0 \end{matrix}] \frac{1}{\sqrt{6}} [\begin{matrix} \sqrt{2} & \sqrt{2} & \sqrt{2} \\ \sqrt{3} & - \sqrt{3} & 0 \\ 1 & 1 & - 2 \end{matrix}] = \dots = \frac{1}{6} [\begin{matrix} 1 & 1 & 1 \\ 1 & 1 & 1 \end{matrix}]

Lösung der Ausgleichsrechnung ist gegeben durch:

x = A^{†} b

-> Lösung hat minimale (euklidische) Norm unter allen Lösungen

Bsp (vorheriges:)

A^{†} = \frac{1}{6} [\begin{matrix} 1 & 1 & 1 \\ 1 & 1 & 1 \end{matrix}], b = [\begin{matrix} 1 \\ 2 \\ 1 \end{matrix}]

x = A^{†} b = \frac{2}{3} [\begin{matrix} 1 \\ 1 \end{matrix}] ✓

Matrixnormen mit SVD:

Spektralnorm:

| | A | |_{2} = max_{x \neq 0} \frac{| | A x | |}{| | x | |} = σ_{1}

-> grösster Singulärwert