Kısıtsız optimizasyonda amaç, $f(x,y)$ fonksiyonunun tüm $\mathbb{R}^2$ düzlemi üzerindeki ekstremum noktalarını bulmaktır. Bu durumda $\nabla f = 0$ koşulu yeterlidir.
Kısıtlı optimizasyonda ise $g(x,y)=0$ eğrisi (veya yüzeyi) üzerinde kalmak zorundayız. Bu durumda $\nabla f = 0$ koşulu geçerli değildir, çünkü kısıt üzerinde $f$'nin gradyanı sıfır olmayabilir.
Kısıt üzerinde hareket ederken $f$'nin değerini nasıl maksimum veya minimum yapabiliriz? İşte Lagrange Çarpanı bu soruyu gradyanların paralelliği ile cevaplar.
$f$ fonksiyonunun düzey eğrilerini ($f=c$) ve kısıt eğrisini ($g=0$) düşünelim. Kısıt üzerinde hareket ederken, $f$'nin düzey eğrileriyle kesişiriz.
Bir eğriye teğet olan vektörler, o eğrinin teğet uzayını oluşturur. Gradyan $\nabla g$, $g=0$ eğrisine normal'dir (diktir). Benzer şekilde $\nabla f$, $f=c$ düzey eğrisine normal'dir.
Optimum noktada $g=0$ ve $f=c$ eğrileri teğet olduğu için, normal vektörleri paraleldir:
$f$ ve $g$ türevlenebilir olsun. $(x^*, y^*)$ noktası $g=0$ kısıtı altında $f$'nin bir ekstremumu ise ve $\nabla g \neq 0$ ise, $\nabla f(x^*, y^*) = \lambda \nabla g(x^*, y^*)$ olacak şekilde bir $\lambda$ sayısı vardır.
Bu koşulun iki önemli sonucu vardır:
$\nabla f = \lambda \nabla g$ denklemi, $L = f - \lambda g$ Lagrangian'ının türevleridir. $L_x=0$, $L_y=0$, $L_\lambda=0$ ile 3 denklem elde ederiz.
Kısıt üzerinde $f$'nin değişim hızı sıfırdır. Yani $f$'nin kısıt boyunca yönlü türevi sıfırdır: $\nabla f \cdot \mathbf{v} = 0$.
Lagrange Çarpanı yöntemi, kısıtlı optimizasyon problemlerini çözmek için üç temel avantaj sağlar:
Kısıtlı problem, $L(x,y,\lambda)$ fonksiyonunun kısıtsız ekstremum problemine dönüşür. $L$'nin tüm değişkenlere göre türevlerini alıp sıfıra eşitlemek yeterlidir.
Yöntem, her zaman $n+m$ denklemli ($n$ değişken, $m$ kısıt) bir sistem verir. Bu sistem, türevlenebilir fonksiyonlar için her zaman kurulabilir.
Yöntem, $n$ değişkenli ve $m$ kısıtlı problemlere doğrudan genellenebilir. Ayrıca eşitsizlik kısıtlarına KKT (Karush-Kuhn-Tucker) ile uyarlanabilir.
Lagrange Çarpanı yöntemi, geometrik sezgi ($\nabla f = \lambda \nabla g$) ile cebirsel çözümü ($L = f - \lambda g$) birleştirir. Kısıtlı optimizasyon problemlerini sistematik ve genellenebilir bir şekilde çözer.
Artık Lagrange Çarpanı'nın neden işe yaradığını geometrik olarak anladık. Bir sonraki modülde "Çözüm Teknikleri (2 Değişkenli)" başlığı altında $L(x,y,\lambda)$ ile 3 denklemli sistemi nasıl kuracağımızı ve çözeceğimizi öğreneceğiz.