Hjemmeopgave 1

Læs reglerne her: Hjemmeopgaver

Husk alle svar skal begrundes.

Opgave 1: Tangentvektor til en niveaumængde er ortogonal til gradienten

Betragt en differentiabel funktion

\[\begin{equation*} g: \mathbb{R}^n \to \mathbb{R}, \end{equation*}\]

og lad

\[\begin{equation*} \pmb{r}: [a,b] \,\to\, \mathbb{R}^n \end{equation*}\]

være en differentiabel vektorfunktion, hvis billedrum er en delmængde af niveaumængden:

\[\begin{equation*} \{(x_1, x_2, \ldots, x_n)\in\mathbb{R}^n : g(x_1,x_2,\ldots,x_n) = c\}, \end{equation*}\]

for en konstant \(c\). Det vil sige, at

\[\begin{equation*} g\bigl(\pmb{r}(t)\bigr) \;=\; c \quad \text{for alle } t \in [a,b]. \end{equation*}\]

Vi betragter \(\pmb{r}\) som en parametrisering af en kurve.

Spørgsmål a

Forklar, hvorfor

\[\begin{equation*} \frac{d}{dt}\,g\bigl(\pmb{r}(t)\bigr) \;=\; 0 \quad \text{for alle } t \in ]a,b[. \end{equation*}\]

Spørgsmål b

Vis ved hjælp af kædereglen, at

\[\begin{equation*} \langle \nabla g\bigl(\pmb{r}(t)\bigr), \pmb{r}'(t) \rangle = 0 \quad \text{for alle } t \in ]a,b[. \end{equation*}\]

Spørgsmål c

Forklar, hvorfor resultatet fra forrige spørgsmål indebærer, at gradienten \(\nabla g\) står vinkelret (ortogonalt) på niveaufladen

\[\begin{equation*} g(x_1,x_2,\ldots,x_n) = c \end{equation*}\]

i punktet \(\pmb{r}(t)\) for ethvert \(t \in ]a,b[\).

Opgave 2: Kædereglen med en funktion uden forskrift

Vi betragter to differentiable vektorfunktioner:

\[\begin{equation*} \pmb{f} : \mathbb{R}^4 \to \mathbb{R}^3 \quad \text{og} \quad \pmb{g} : \mathbb{R}^3 \to \mathbb{R}^2. \end{equation*}\]

Det oplyses at \(\pmb{f}\) har forskriften:

\[\begin{equation*} \pmb{f}(x_1,x_2,x_3,x_4)=\Bigl(x_1^2 - x_2,\; \sin(x_3) + x_4,\; x_1x_4 - x_2x_3\Bigr). \end{equation*}\]

Det oplyses yderligere at Jacobimatricen \(\pmb{J}_{\pmb{g}}(\pmb{y}) \in \mathbb{R}^{2 \times 3}\) for \(\pmb{g}\) er givet ved:

\[\begin{equation*} \pmb{J}_{\pmb{g}} (y_1,y_2,y_3)= \begin{bmatrix} 2y_1 - y_2y_3 & 3y_2 - y_1y_3 & -y_1y_2 + 4y_3 \\[1mm] 1+e^{y_1} & y_2^2-2 & \sin(y_3) \end{bmatrix} \end{equation*}\]

Vi ønsker at bestemme Jacobimatricen for den sammensatte funktion \(\pmb{g}\circ \pmb{f}\) i punktet

\[\begin{equation*} (x_1,x_2,x_3,x_4)=(1,-1,\tfrac{\pi}{2},0). \end{equation*}\]

Spørgsmål a

Bestem \(\pmb{f}(1,-1,\tfrac{\pi}{2},0)\).

Spørgsmål b

Bestem Jacobimatricen \(\pmb{J}_{\pmb{f}}(1,-1,\tfrac{\pi}{2},0)\) for funktionen \(\pmb{f}\) i punktet \((1,-1,\tfrac{\pi}{2},0)\).

Spørgsmål c

Argumenter for at den sammensatte funktion \(\pmb{g} \circ \pmb{f}\) er differentiable på \(\mathbb{R}^4\). Brug kædereglen til at bestemme Jacobimatricen for den sammensatte funktion \(\pmb{g} \circ \pmb{f}\) i punktet \((1,-1,\tfrac{\pi}{2},0)\).

Opgave 3: Differentiabilitet for et stykkevis polynomium og for Softplus

Betragt funktionerne \(f:\mathbb{R} \to \mathbb{R}\) og \(g:\mathbb{R} \to \mathbb{R}\) med forskrifter:

\[\begin{equation*} f(x)= \begin{cases} x & \text{for } x<0 \\ x^2 & \text{for } x \ge 0 \end{cases} \end{equation*}\]

og

\[\begin{equation*} g(x)=\ln(1+e^x) \end{equation*}\]

Funktionen \(g\) er den såkladte Softplus funktion, der er en approksimation til ReLU som fx kan bruges som aktiveringsfunktion i neurale netværk for at opnå differentiabilitet og dermed lette optimeringsprocessen.

Spørgsmål a

Gør rede for at \(f\) er differentiabel på \(\mathbb{R}\setminus \{0\}\). Angiv en forskrift for differentialkvotienten \(f'\).

Spørgsmål b

Gør rede for at \(f\) er kontinuert, men ikke differentiabel i punktet \(0\).

Spørgsmål c

Argumenter for at \(g\) er differentiabel på hele den reelle linje og find en forskrift for \(g'\).

Spørgsmål d

I maskinlæring anvendes ReLU og Softplus normalt på vektorer. Man definerer disse vektorfunktioner ved at anvende de givne skalarfunktioner koordinatvis. Fx er \(\pmb{g}: \mathbb{R}^n \to \mathbb{R}^n\) givet ved \(\pmb{g}(\pmb{x}) = [g(x_1), g(x_2), \dots, g(x_n)]\). Udregn Jacobimatricen \(\pmb{J}_{\pmb{g}}(\pmb{x})\) for softplus-vektorfunktionen.

Opgave 4: Et nyt indreprodukt

Betragt \(\mathbb{C}^n\) med det sædvanlige indreprodukt \(\langle \cdot, \cdot \rangle\). Lad

• \(U \in \mathbb{C}^{n \times n}\) være en unitær matrix (dvs. \(U^*U=I\)),

• \(\Lambda \in \mathbb{R}^{n \times n}\) være en diagonal matrix med strengt positive diagonalelementer, dvs. \(\lambda_i>0\) for \(i=1,\ldots,n\).

Definer

\[\begin{equation*} B = U\,\Lambda\,U^*. \end{equation*}\]

Definer videre

\[\begin{equation*} A = U\,D\,U^*, \end{equation*}\]

hvor \(D\) er en diagonal matrix med elementerne

\[\begin{equation*} d_i = \sqrt{\lambda_i}, \quad i=1,\ldots,n. \end{equation*}\]

Spørgsmål a

Vis, at

\[\begin{equation*} A^*A = B , \quad B^* = B \quad \text{og} \quad A^* = A. \end{equation*}\]

Spørgsmål b

Bestem den inverse matrix \(A^{-1}\).

Spørgsmål c

Definer for søjlevektorerne \(\pmb{x}, \pmb{y} \in \mathbb{C}^n\) indreproduktet

\[\begin{equation*} \langle \pmb{x}, \pmb{y} \rangle_B = \langle B\,\pmb{x}, \pmb{y} \rangle. \end{equation*}\]

Vis, at

\[\begin{equation*} \langle \pmb{x}, \pmb{y} \rangle_B = \langle A\,\pmb{x}, A\,\pmb{y} \rangle. \end{equation*}\]

Spørgsmål d

Vis, at \(\langle \pmb{x}, \pmb{y} \rangle_B\) faktisk er et indreprodukt på \(\mathbb{C}^n\). Du må gerne bruge uden bevis at det sædvanlige indreprodukt \(\langle \pmb{x}, \pmb{y} \rangle\) er et indreprodukt på \(\mathbb{C}^n\).

Spørgsmål e

Lad \(B = \operatorname{diag}(2,4)\). Angiv to vektorer \(\pmb{x}, \pmb{y} \in \mathbb{C}^2\) der er ortogonale på hinanden m.h.t. \(\langle \cdot, \cdot \rangle_B\). Vektorerne må ikke være nulvektoren i \(\mathbb{C}^2\).