Derivate e gradiente in più variabili

Dalla derivata alla linearizzazione

La differenziazione dà un'approssimazione lineare di una funzione vicino a un punto. Una funzione lineare è la più semplice da trattare, e per questo gli algoritmi di ottimizzazione partono da lì. In una variabile derivata e differenziabilità coincidono. In $\mathbb R^n$ l'equivalenza non vale.

Sia $f\colon\mathbb R\to\mathbb R$ e $x_0\in\mathbb R$. Il rapporto incrementale è definito per $x\neq x_0$, e $x_0$ è di accumulazione per questo insieme, quindi il suo limite ha senso. Se il limite esiste finito, è la derivata prima in $x_0$. Con $x=x_0+h$:

$$\begin{aligned} f'(x_0)&=\lim_{x\to x_0}\frac{f(x)-f(x_0)}{x-x_0}\\ &=\lim_{h\to0}\frac{f(x_0+h)-f(x_0)}{h} \end{aligned}$$

La funzione $f$ è differenziabile in $x_0$ se esiste una costante $a$ tale che

$$f(x)=f(x_0)+a\,(x-x_0)+o(x-x_0),\qquad x\to x_0$$

Per $x\to x_0$, $r=o(g)$ significa che $r$ e $g$ tendono a zero e $r$ ci va più in fretta:

$$r(x)\to0,\qquad g(x)\to0,\qquad \frac{r(x)}{g(x)}\to0$$

Il termine $o(x-x_0)$, detto resto, è dunque trascurabile rispetto all'incremento $x-x_0$. Vicino a $x_0$ si può allora sostituire $f$ con la funzione affine

$$\hat f(x)=f(x_0)+a\,(x-x_0)$$

che è lineare nell'incremento $x-x_0$, e per questo $f$ si dice linearizzabile.

In una variabile derivabile e differenziabile sono equivalenti, con $a=f'(x_0)$. Dividendo la formula per $x-x_0$ si vede che il resto, diviso per l'incremento, tende a zero se e solo se il rapporto incrementale tende ad $a$. Così $\hat f$ è la retta tangente.

La tangente come approssimazione di $f$

Intorno ampio di $x_0$

$x_0$$x$

• $f(x)=\sin x$
• $\hat{f}(x)$

Ingrandimento attorno a $x_0$

$x$

• $f(x)$
• $\hat{f}(x)$

Rette e semirette in $\mathbb R^n$

Il passaggio a più variabili passa per le direzioni. Dati un punto $\bar x\in\mathbb R^n$ e un vettore $d\in\mathbb R^n$ non nullo, la retta per $\bar x$ parallela a $d$ e la semiretta nel verso di $d$ sono

$$\begin{aligned} &\{x\in\mathbb R^n:\ x-\bar x=td,\ t\in\mathbb R\}\\ &\{x\in\mathbb R^n:\ x-\bar x=td,\ t\ge0\} \end{aligned}$$

Con $t\le0$ si ha la semiretta opposta. La retta è l'unione delle due, e tutte e tre contengono $\bar x$.

Retta e semirette per $\bar{x}$

$\bar{x}$$\bar{x}+d$$x_1$$x_2$

• semiretta nel verso di $d$
• vettore $d$
• semiretta opposta

Derivata direzionale

Per ora $f\colon\mathbb R^n\to\mathbb R$ è definita su tutto $\mathbb R^n$. Si fissano un punto $x$ e una direzione $d$ e si studia come varia $f$ lungo la semiretta che parte da $x$ nel verso di $d$, cioè nei punti $x+td$ con $t\ge0$. Se esiste finito il limite

$$Df(x,d)=\lim_{t\to0^+}\frac{f(x+td)-f(x)}{t}$$

si chiama derivata direzionale di $f$ in $x$ lungo $d$. Il limite è per $t\to0^+$ perché la semiretta ha $t\ge0$. Dipende dal punto e dalla direzione, e può non esistere. Con $\varphi(t)=f(x+td)$ è la pendenza di $\varphi$ in $t=0$, vista da destra.

La derivata direzionale come pendenza lungo la semiretta

Semiretta da $x=(1,2)$

$x$$x+td$$x_1$$x_2$

• semiretta nel verso di $d$
• rette dove $f$ è costante

$f=e^{x_1-x_2}$ lungo la semiretta

$t$

• $\phi (t)=f(x+td)$
• tangente in $t=0$, pendenza $Df(x,d)$

$t$

0,5

angolo di $d$

−0,8

Derivate parziali e gradiente

Si fissa la $j$-esima variabile e si lasciano ferme le altre. Se esiste finito il limite

$$\frac{\partial f(x)}{\partial x_j}=\lim_{t\to0}\frac{f(x_1,\dots,x_j+t,\dots,x_n)-f(x)}{t}$$

è la derivata parziale di $f$ rispetto a $x_j$ in $x$. Dipende anche dai valori delle variabili ferme. Si calcola con le regole di derivazione, trattando le altre variabili come costanti.

Se esistono le derivate parziali rispetto a tutte le variabili, si dispongono in colonna e si ottiene il gradiente:

$$\nabla f(x)=\begin{pmatrix}\dfrac{\partial f(x)}{\partial x_1}\\\vdots\\\dfrac{\partial f(x)}{\partial x_n}\end{pmatrix}\in\mathbb R^n$$

Il gradiente sta nello spazio delle variabili e ha tante componenti quante sono. Calcolarlo è solo derivazione.

Esempio in $\mathbb R^3$. Per $f(x)=x_1^3-3x_1x_2+x_1x_2x_3$:

$$\nabla f(x)=\begin{pmatrix}3x_1^2-3x_2+x_2x_3\\-3x_1+x_1x_3\\x_1x_2\end{pmatrix}$$

Nel punto $\bar x=(1,2,-1)$ si sostituiscono le coordinate:

$$\nabla f(\bar x)=\begin{pmatrix}3-6-2\\-3-1\\2\end{pmatrix}=\begin{pmatrix}-5\\-4\\2\end{pmatrix}$$

Esempio in $\mathbb R^2$. Per $f(x)=e^{x_1-x_2}$ il gradiente sta in $\mathbb R^2$. Nel punto $\bar x=(1,2)$:

$$\begin{gathered} \nabla f(x)=\begin{pmatrix}e^{x_1-x_2}\\-e^{x_1-x_2}\end{pmatrix}\\[0.6em] \nabla f(\bar x)=\begin{pmatrix}e^{-1}\\-e^{-1}\end{pmatrix} \end{gathered}$$

Esercizio. Trovare $f\colon\mathbb R^6\to\mathbb R$ il cui gradiente, in un punto assegnato, sia $c=(1,-1,2,3,1,6)^\top$. Invertire i calcoli punto per punto è inutile. Basta una funzione il cui gradiente non dipende dal punto, cioè una funzione lineare $f(x)=c^\top x$:

$$f(x)=x_1-x_2+2x_3+3x_4+x_5+6x_6$$

Ogni derivata parziale è il coefficiente della variabile, quindi $\nabla f(x)=c$ in ogni punto.

Derivate parziali e derivate direzionali

Il punto $(x_1,\dots,x_j+t,\dots,x_n)$ si ottiene da $x$ cambiando solo la componente $j$, quindi è $x+te_j$, dove $e_j$ è il versore del $j$-esimo asse coordinato, con $1$ al posto $j$ e $0$ altrove. Così

$$\frac{\partial f(x)}{\partial x_j}=\lim_{t\to0}\frac{f(x+te_j)-f(x)}{t}$$

È simile a $Df(x,e_j)$, ma il limite è per $t\to0$ da entrambi i lati, mentre la derivata direzionale lo è solo da destra. Servono perciò due direzioni, $e_j$ e $-e_j$.

Proposizione. La derivata parziale $\partial f(x)/\partial x_j$ esiste se e solo se esistono $Df(x,e_j)$ e $Df(x,-e_j)$ e

$$Df(x,e_j)=-Df(x,-e_j)$$

Dimostrazione. La derivata parziale esiste se e solo se esistono, e coincidono, il limite del rapporto incrementale per $t\to0^+$ e quello per $t\to0^-$. Il primo è per definizione $Df(x,e_j)$. Nel secondo si pone $t=-h$, con $h\to0^+$:

$$\begin{aligned} &\lim_{t\to0^-}\frac{f(x+te_j)-f(x)}{t}\\ &=\lim_{h\to0^+}\frac{f(x-he_j)-f(x)}{-h}\\ &=-Df(x,-e_j) \end{aligned}$$

Il limite da sinistra esiste se e solo se esiste $Df(x,-e_j)$, e vale il suo opposto. Dunque i due limiti esistono e coincidono se e solo se esistono le due derivate direzionali e $Df(x,e_j)=-Df(x,-e_j)$. In tal caso $\partial f(x)/\partial x_j=Df(x,e_j)$. $\square$

La funzione $t\mapsto f(x+t{e}_j)$ attorno a $t=0$

Funzione

LisciaCon spigolo

$t$

• $\phi (t)=f(x+t{e}_j)$
• pendenza a destra: $Df(x,e_j)$
• pendenza a sinistra: $-Df(x,-e_j)$

Le derivate parziali non bastano per la continuità

In una variabile la derivabilità implica la continuità. Da $f(x)-f(x_0)=a(x-x_0)+o(x-x_0)$ il secondo membro tende a zero, quindi $f(x)\to f(x_0)$. Non è necessaria: esistono funzioni continue e non derivabili.

In due variabili ci si aspetterebbe che l'esistenza delle due derivate parziali in un punto implichi la continuità. È falso. Esiste una funzione con $f(0,0)=0$, nulla sugli assi, e con limite $1$ lungo $A=\{(x_1,x_2):\ x_1\neq0,\ x_2\neq0\}$. Ad esempio

$$f(x_1,x_2)=\begin{cases}1&x_1\neq0,\ x_2\neq0\\0&\text{altrimenti}\end{cases}$$

Non è continua in $(0,0)$. L'origine è di accumulazione per $A$ e la restrizione $f_{|A}$ tende a $1$. Se $f$ fosse continua in $(0,0)$, $f_{|A}$ tenderebbe a $f(0,0)=0$.

Le derivate parziali esistono. Sugli assi $f$ è nulla, quindi $f(t,0)=f(0,t)=0$ per ogni $t$ e i rapporti incrementali sono nulli:

$$\begin{aligned} &\lim_{t\to0}\frac{f(t,0)-f(0,0)}{t}=0\\ &\lim_{t\to0}\frac{f(0,t)-f(0,0)}{t}=0 \end{aligned}$$

Entrambe le derivate parziali in $(0,0)$ esistono e valgono $0$.

Un controesempio nell'origine

$(0,0)$$f=1$$f=0$$x_1$$x_2$

• $A$, dove $f=1$
• assi, dove $f=0$

$\rho$

0,8