Formule de Taylor et Extrémums | Cours

Formule de Taylor d'ordre 2

La formule de Taylor permet d'approximer une fonction différentiable en plusieurs variables à l'aide d'un polynôme. Pour une fonction \(f : \mathbb{R}^n \to \mathbb{R}\) différentiable deux fois, l'approximation de Taylor d'ordre 2 autour d'un point \(x_0\) est donnée par :

\[ f(x) \approx f(x_0) + \nabla f(x_0)^\top (x - x_0) + \frac{1}{2} (x - x_0)^\top H_f(x_0) (x - x_0) \]

Voici ce que représentent les différents termes de cette expression :

• \(f(x_0)\) : La valeur de la fonction en \(x_0\).
• \(\nabla f(x_0)\) : Le gradient de \(f\) en \(x_0\), qui est un vecteur contenant les dérivées partielles de \(f\) par rapport à chaque variable :

\[ \nabla f(x_0) = \begin{bmatrix} \frac{\partial f}{\partial x_1}(x_0) \\ \frac{\partial f}{\partial x_2}(x_0) \\ \vdots \\ \frac{\partial f}{\partial x_n}(x_0) \end{bmatrix} \]

• \(H_f(x_0)\) : La matrice hessienne de \(f\) en \(x_0\), qui contient les dérivées secondes partielles :

\[ H_f(x_0) = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2}(x_0) & \frac{\partial^2 f}{\partial x_1 \partial x_2}(x_0) & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n}(x_0) \\ \frac{\partial^2 f}{\partial x_2 \partial x_1}(x_0) & \frac{\partial^2 f}{\partial x_2^2}(x_0) & \cdots & \frac{\partial^2 f}{\partial x_2 \partial x_n}(x_0) \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1}(x_0) & \frac{\partial^2 f}{\partial x_n \partial x_2}(x_0) & \cdots & \frac{\partial^2 f}{\partial x_n^2}(x_0) \end{bmatrix} \]

Interprétation géométrique

La formule de Taylor d'ordre 2 décrit comment la fonction \(f(x)\) varie localement autour du point \(x_0\). Les termes principaux sont :

• Le terme constant \(f(x_0)\) représente la hauteur de la fonction au point \(x_0\).
• Le terme linéaire \(\nabla f(x_0)^\top (x - x_0)\) donne une approximation plane de la fonction (tangente hyperplane).
• Le terme quadratique \(\frac{1}{2} (x - x_0)^\top H_f(x_0) (x - x_0)\) ajuste la forme locale en fonction de la courbure.

Exemple en dimension 2

Considérons la fonction \(f(x_1, x_2) = x_1^2 + x_2^2\). Nous allons calculer son développement de Taylor d'ordre 2 autour du point \(x_0 = (1, 1)\) :

\[ \nabla f(x_0) = \begin{bmatrix} 2x_1 \\ 2x_2 \end{bmatrix}_{x_0} = \begin{bmatrix} 2 \\ 2 \end{bmatrix} \]

\[ H_f(x_0) = \begin{bmatrix} 2 & 0 \\ 0 & 2 \end{bmatrix} \]

La formule de Taylor devient donc :

\[ f(x) \approx 2 + \begin{bmatrix} 2 & 2 \end{bmatrix} \begin{bmatrix} x_1 - 1 \\ x_2 - 1 \end{bmatrix} + \frac{1}{2} \begin{bmatrix} x_1 - 1 & x_2 - 1 \end{bmatrix} \begin{bmatrix} 2 & 0 \\ 0 & 2 \end{bmatrix} \begin{bmatrix} x_1 - 1 \\ x_2 - 1 \end{bmatrix} \]

Extrémums et Extrémums sous contraintes

Conditions pour des extrémums locaux sans contraintes

Pour qu'un point \(x_0 \in \mathbb{R}^n\) soit un extrémum local (minimum ou maximum) pour une fonction \(f : \mathbb{R}^n \to \mathbb{R}\), il doit satisfaire les conditions suivantes :

Points critiques

Un point \(x_0\) est dit critique si :

\[ \nabla f(x_0) = 0 \]

Critère de la matrice hessienne

Pour déterminer la nature de cet extrémum (minimum, maximum ou point selle), on analyse la matrice hessienne \(H_f(x_0)\) :

• \(H_f(x_0)\) définie positive : \(x_0\) est un **minimum local**.
• \(H_f(x_0)\) définie négative : \(x_0\) est un **maximum local**.
• \(H_f(x_0)\) ni définie positive ni définie négative : \(x_0\) est un **point selle**.

Extrémums sous contraintes : Méthode des multiplicateurs de Lagrange

Lorsqu'une fonction doit être optimisée sous des contraintes, par exemple pour une contrainte d'égalité \(g(x) = 0\), on utilise la méthode des multiplicateurs de Lagrange.

Problème de base

Soit une fonction \(f(x)\) à optimiser sous la contrainte \(g(x) = 0\). On introduit la fonction de Lagrangien :

\[ \mathcal{L}(x, \lambda) = f(x) + \lambda g(x) \]

où \(\lambda\) est le multiplicateur de Lagrange.

Conditions nécessaires

Pour trouver les extrémums, on résout le système suivant :

\[ \begin{cases} \nabla_x \mathcal{L}(x, \lambda) = \nabla f(x) + \lambda \nabla g(x) = 0 \\ g(x) = 0 \end{cases} \]

Exemple concret

Optimisons la fonction \(f(x_1, x_2) = x_1^2 + x_2^2\) sous la contrainte \(g(x_1, x_2) = x_1 + x_2 - 1 = 0\).

\[ \mathcal{L}(x_1, x_2, \lambda) = x_1^2 + x_2^2 + \lambda (x_1 + x_2 - 1) \]

Les conditions de Lagrange donnent :

\[ \begin{cases} \frac{\partial \mathcal{L}}{\partial x_1} = 2x_1 + \lambda = 0 \\ \frac{\partial \mathcal{L}}{\partial x_2} = 2x_2 + \lambda = 0 \\ \frac{\partial \mathcal{L}}{\partial \lambda} = x_1 + x_2 - 1 = 0 \end{cases} \]

Résolvons ce système :

Des deux premières équations, on obtient \(x_1 = x_2\).

En substituant dans la troisième équation : \(x_1 + x_1 - 1 = 0 \Rightarrow x_1 = x_2 = \frac{1}{2}\).

Donc, le point \((x_1, x_2) = \left(\frac{1}{2}, \frac{1}{2}\right)\) est une solution.

Cas de plusieurs contraintes

Pour optimiser \(f(x)\) sous plusieurs contraintes d'égalités \(g_1(x) = 0, g_2(x) = 0, \dots, g_m(x) = 0\), on généralise la fonction de Lagrangien :

\[ \mathcal{L}(x, \lambda_1, \lambda_2, \dots, \lambda_m) = f(x) + \sum_{i=1}^m \lambda_i g_i(x) \]

Les conditions nécessaires s'écrivent :

\[ \begin{cases} \nabla_x \mathcal{L}(x, \lambda_1, \dots, \lambda_m) = 0 \\ g_i(x) = 0 \quad \text{pour } i = 1, \dots, m \end{cases} \]

Théorème des fonctions implicites

Énoncé du théorème

Le théorème des fonctions implicites permet de déterminer si une équation donnée sous forme implicite définit localement une ou plusieurs variables en fonction des autres. Soit \(F : \mathbb{R}^n \times \mathbb{R}^m \to \mathbb{R}^m\), avec :

\[ F(x, y) = 0 \]

où \(x \in \mathbb{R}^n\) et \(y \in \mathbb{R}^m\). Supposons que :

• \(F(x_0, y_0) = 0\)
• La matrice jacobienne \(\frac{\partial F}{\partial y}(x_0, y_0)\) est inversible (c'est-à-dire que son déterminant est non nul).

Alors, il existe une fonction implicite \(y = g(x)\) définie localement autour de \(x_0\) telle que :

\[ F(x, g(x)) = 0 \]

Matrice jacobienne

La matrice jacobienne \(\frac{\partial F}{\partial y}(x, y)\) est la matrice des dérivées partielles de \(F\) par rapport à \(y\) :

\[ \frac{\partial F}{\partial y} = \begin{bmatrix} \frac{\partial F_1}{\partial y_1} & \frac{\partial F_1}{\partial y_2} & \cdots & \frac{\partial F_1}{\partial y_m} \\ \frac{\partial F_2}{\partial y_1} & \frac{\partial F_2}{\partial y_2} & \cdots & \frac{\partial F_2}{\partial y_m} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial F_m}{\partial y_1} & \frac{\partial F_m}{\partial y_2} & \cdots & \frac{\partial F_m}{\partial y_m} \end{bmatrix} \]

Interprétation géométrique

Le théorème des fonctions implicites garantit que l'équation \(F(x, y) = 0\) définit une "surface" ou "courbe" (selon les dimensions) sur laquelle \(y\) peut être exprimé en fonction de \(x\), au moins localement.

Exemple en dimension 2

Considérons l'équation implicite :

\[ F(x, y) = x^2 + y^2 - 1 = 0 \]

Elle représente un cercle de rayon 1. Supposons que nous cherchons à exprimer \(y\) comme une fonction de \(x\) autour du point \((x_0, y_0) = (0, 1)\).

La matrice jacobienne de \(F\) par rapport à \(y\) est :

\[ \frac{\partial F}{\partial y} = \begin{bmatrix} 2y \end{bmatrix} \]

En évaluant au point \((x_0, y_0) = (0, 1)\) :

\[ \frac{\partial F}{\partial y}(0, 1) = 2 \neq 0 \]

Donc, par le théorème des fonctions implicites, il existe une fonction \(y = g(x)\) définie localement telle que \(x^2 + g(x)^2 = 1\).

Exemple général (système non-linéaire)

Considérons le système :

\[ \begin{cases} F_1(x, y) = x_1 + y_1^2 + y_2 - 3 = 0 \\ F_2(x, y) = x_2 + y_1 + y_2^2 - 2 = 0 \end{cases} \]

Ici, \(x = (x_1, x_2)\) et \(y = (y_1, y_2)\). Calculons la matrice jacobienne par rapport à \(y\) :

\[ \frac{\partial F}{\partial y} = \begin{bmatrix} 2y_1 & 1 \\ 1 & 2y_2 \end{bmatrix} \]

En évaluant en un point \((x_0, y_0)\), si le déterminant de cette matrice est non nul, alors \(y\) peut être exprimé localement en fonction de \(x\).

Théorème d'inversion locale

Énoncé du théorème

Le théorème d'inversion locale permet de déterminer si une fonction \(F : \mathbb{R}^n \to \mathbb{R}^n\) est localement inversible autour d'un point donné. Plus précisément, soit \(F\) une fonction de classe \(\mathcal{C}^1\) définie sur un ouvert de \(\mathbb{R}^n\). Si :

• \(F\) est différentiable sur un voisinage de \(x_0\).
• La matrice jacobienne de \(F\) en \(x_0\), notée \(J_F(x_0)\), est inversible (c'est-à-dire que \(\det(J_F(x_0)) \neq 0\)).

Alors, il existe un voisinage \(U\) de \(x_0\) dans \(\mathbb{R}^n\) et un voisinage \(V\) de \(F(x_0)\) dans \(\mathbb{R}^n\) tels que \(F : U \to V\) est une bijection, et sa fonction inverse \(F^{-1} : V \to U\) est de classe \(\mathcal{C}^1\).

Matrice jacobienne et inversibilité

La matrice jacobienne de \(F\), notée \(J_F(x)\), est donnée par :

\[ J_F(x) = \begin{bmatrix} \frac{\partial F_1}{\partial x_1} & \frac{\partial F_1}{\partial x_2} & \cdots & \frac{\partial F_1}{\partial x_n} \\ \frac{\partial F_2}{\partial x_1} & \frac{\partial F_2}{\partial x_2} & \cdots & \frac{\partial F_2}{\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial F_n}{\partial x_1} & \frac{\partial F_n}{\partial x_2} & \cdots & \frac{\partial F_n}{\partial x_n} \end{bmatrix} \]

Le critère clé est l'inversibilité de \(J_F(x_0)\), ce qui nécessite que :

\[ \det(J_F(x_0)) \neq 0 \]

Interprétation géométrique

Le théorème garantit que, localement, l'application \(F\) agit comme un changement de coordonnées. Cela signifie que, près de \(x_0\), on peut "inverser" \(F\) pour trouver \(x\) en fonction de \(y = F(x)\).

Exemple en dimension 2

Considérons la fonction \(F : \mathbb{R}^2 \to \mathbb{R}^2\) définie par :

\[ F(x_1, x_2) = \begin{bmatrix} x_1^2 + x_2 \\ x_1 + x_2^2 \end{bmatrix} \]

La matrice jacobienne est :

\[ J_F(x_1, x_2) = \begin{bmatrix} 2x_1 & 1 \\ 1 & 2x_2 \end{bmatrix} \]

Évaluons la jacobienne en \((x_1, x_2) = (1, 1)\) :

\[ J_F(1, 1) = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \]

Son déterminant est :

\[ \det(J_F(1, 1)) = 2 \times 2 - 1 \times 1 = 3 \neq 0 \]

Donc, \(F\) est localement inversible autour de \((1, 1)\).

Application de l'inverse

Si \(F(x_1, x_2) = (y_1, y_2)\), alors près du point \((1, 1)\), on peut résoudre \((x_1, x_2)\) en fonction de \((y_1, y_2)\) par inversion locale.