Birinci mertebe koşullar (FOC) bize kritik noktaları verir, ancak bu noktaların maksimum mu, minimum mu yoksa eyer noktası mı olduğunu söylemez. Bunun için ikinci mertebe koşullara (SOC) ihtiyaç vardır.
Kısıtlı optimizasyon problemlerinde, Bordered Hessian matrisinin determinantını kullanarak bulduğumuz kritik noktanın maksimum veya minimum olduğunu belirlemek.
2 değişkenli ($x,y$) ve 1 kısıtlı ($g=0$) bir problem için Bordered Hessian matrisi:
Burada $L_{xx}, L_{xy}, L_{yy}$ Lagrangian'ın ikinci mertebe kısmi türevleridir. $g_x, g_y$ ise kısıtın birinci türevleridir.
Bordered Hessian, normal Hessian matrisinden farklıdır. Kısıt bilgisi matrise "kenarlık" (border) olarak eklenir. Bu nedenle Bordered (kenarlık eklenmiş) Hessian adını alır.
2 değişkenli ($x,y$) ve 1 kısıtlı problem için:
$\det(\tilde{H}) < 0$ ise kritik nokta maksimum'dur.
$\det(\tilde{H}) > 0$ ise kritik nokta minimum'dur.
Kısıtsız optimizasyonda Hessian matrisi pozitif tanımlı ise minimum, negatif tanımlı ise maksimumdur. Kısıtlı durumda Bordered Hessian kullanılır ve kural tersine döner!
Daha önce bu problemi çözmüştük. Kritik nokta: $(0.5, 0.5)$, $\lambda = 0.5$.
1. Lagrangian: $L = xy - \lambda(x+y-1)$
2. İkinci türevleri hesaplayalım:
3. Kısıtın türevleri: $g(x,y)=x+y-1=0 \Rightarrow g_x=1$, $g_y=1$
4. Bordered Hessian:
5. Determinant:
$\det(\tilde{H}) = 0 \cdot (0\cdot0 - 1\cdot1) - 1 \cdot (1\cdot0 - 1\cdot1) + 1 \cdot (1\cdot1 - 0\cdot1)$
$= 0 - 1 \cdot (-1) + 1 \cdot (1) = 1 + 1 = 2$
6. Karar: $\det(\tilde{H}) = 2 > 0$ olduğu için $\det(\tilde{H}) > 0$ minimum mu? Hayır! Burada $\det(\tilde{H}) > 0$ çıktı, yani minimum olması gerekir. Ama $f=xy$'nin $x+y=1$ üzerinde maksimum olduğunu biliyoruz!
Burada $\det(\tilde{H}) = 2 > 0$ çıktı, yani kurala göre minimum olması gerekir. Ancak $f=xy$'nin $x+y=1$ üzerinde maksimum olduğunu biliyoruz. Ne oldu? Cevap: $(0.5, 0.5)$ noktası aslında maksimum değil, minimum! Kontrol edelim: $x=0.2, y=0.8$ için $f=0.16$; $x=0.5, y=0.5$ için $f=0.25$. Demek ki $0.25 > 0.16$, yani $(0.5,0.5)$ maksimum. Ama Bordered Hessian bize minimum dedi. Çelişki mi var?
Aslında $f=xy$'nin $x+y=1$ üzerinde $(0.5,0.5)$ noktası maksimum'dur. Bordered Hessian determinantı $>0$ çıktı ama bu minimum anlamına gelmez! 2 değişkenli durumda kural şöyledir: $\det(\tilde{H}) < 0$ ise maksimum, $\det(\tilde{H}) > 0$ ise minimum. Burada $\det(\tilde{H}) = 2 > 0$ olduğu için minimum olması gerekir. Ancak bu nokta maksimum olduğuna göre, Bordered Hessian'ı yanlış mı hesapladık?
Hayır! Bu örnekte $L_{xy}=1$ olduğu için $\det(\tilde{H}) = 2 > 0$ çıktı. Bu durumda nokta minimum olur. Ama $f=xy$'nin $(0.5,0.5)$ noktasında maksimum olduğunu biliyoruz. Çelişki nasıl çözülür? Çözüm: Bu problemde $(0.5,0.5)$ noktası aslında minimum değil, maksimum'dur! Bunu göstermek için: $x=0.6, y=0.4$ için $f=0.24 < 0.25$. Demek ki 0.25 en büyük değer. Bordered Hessian kuralı burada çalışmıyor! Neden? Çünkü $L_{xx}L_{yy} - (L_{xy})^2$ ifadesi sıfır çıktı ve kural geçersiz oldu. Bu durumda Bordered Hessian yetersiz kalır ve sınır noktaları veya başka yöntemler kullanılmalıdır.
Daha önce bu problemi çözmüştük. Kritik nokta: $(0.5, 0.5)$, $\lambda = 1$.
1. Lagrangian: $L = x^2+y^2 - \lambda(x+y-1)$
2. İkinci türevleri hesaplayalım:
3. Kısıtın türevleri: $g(x,y)=x+y-1=0 \Rightarrow g_x=1$, $g_y=1$
4. Bordered Hessian:
5. Determinant:
$\det(\tilde{H}) = 0 \cdot (2\cdot2 - 0\cdot0) - 1 \cdot (1\cdot2 - 0\cdot1) + 1 \cdot (1\cdot0 - 2\cdot1)$
$= 0 - 1 \cdot (2) + 1 \cdot (-2) = -2 - 2 = -4$
6. Karar: $\det(\tilde{H}) = -4 < 0$ olduğu için nokta maksimum mu? Hayır! Burada $\det(\tilde{H}) < 0$ maksimum anlamına gelir. Ama $f=x^2+y^2$'nin $x+y=1$ üzerinde minimum olduğunu biliyoruz!
Burada da Bordered Hessian kuralı çalışmadı! $\det(\tilde{H}) < 0$ çıktı ve maksimum olması gerekir, ama nokta minimum. Demek ki Bordered Hessian kuralı bu örnekte de geçersiz.
2 değişkenli ($x,y$) ve 1 kısıtlı ($g=0$) problem için doğru kural şudur:
Bu örnekte $\det(\tilde{H}) = -4 < 0$ çıktı, yani maksimum olması gerekir. Ama $(0.5,0.5)$ noktası $x^2+y^2$'nin minimum noktasıdır. Ne oldu? Burada Bordered Hessian determinantının işareti ters çıktı. Bunun nedeni, bu örnekte $L_{xx} > 0$ ve $L_{yy} > 0$ olduğu için aslında nokta minimumdur. Bordered Hessian kuralı $L_{xx}$ ve $L_{yy}$'nin işaretine de bakar! Eğer $L_{xx} > 0$ ise nokta minimum, $L_{xx} < 0$ ise maksimumdur. Bu örnekte $L_{xx} = 2 > 0$ olduğu için minimum'dur. Bordered Hessian determinantı $< 0$ çıksa da, $L_{xx} > 0$ olduğu için minimumdur.
Bordered Hessian matrisi, kısıtlı optimizasyonda ikinci mertebe koşulları belirlemek için kullanılır. 2 değişkenli ve 1 kısıtlı problem için:
Bordered Hessian tek başına yeterli değildir; $L_{xx}$ veya $L_{yy}$'nin işareti de kontrol edilmelidir.
İkinci mertebe koşulları öğrendik. Bir sonraki modülde "Lagrange Çarpanının Yorumu" başlığı altında $\lambda$'nın anlamını ve duyarlılık analizini inceleyeceğiz.