題目
3. Let and , be two smooth functions . Consider the optimization problem:
Suppose, for each , it is known that (1) the maximum value of is attained at . i.e. ; (2) there exists such that .
Answer the following questions.
(a) (10%) Prove that .
(b) (10%) It is known that a differentiable function , when restricted to the surface , attains a global maximum value at . Moreover, . Use linearization to estimate the change of the maximum value when is restricted to the surface instead.
解答
解法一
思路
展開
本題是拉格朗日乘子法敏感度定理(包絡定理 Envelope Theorem)的嚴格證明與應用題。
(a) 證明
- 。
- 使用鏈鎖律對 求導:
- 代入已知拉格朗日乘子條件 :
- 另外,最優點必定滿足約束條件,即 。
- 對此约束式兩邊關於 求導: ,代回即證。
(b) 利用線性近似估計最大值變化量
- 約束表面方程式可寫為: 。
- 原先的限制常數為 。此時最優點為 。
- 新的限制常數為 。變化量為 。
- 根據 (a) 小題結論,最大值隨 的變化率即為拉格朗日乘子 。
- 我們可由分量關係 求出該點的 值。
- 先求偏導: 。
- 代入切點點求出 ,再由 解出 。
- 最後,用線性近似估計最大值的改变量: 。
答題過程
展開
(a) 證明
根據定義,最大值函數為:
其中最優點向量為 。
對 關於 進行求導(套用多元函數連鎖律):
已知條件 (2) 指出,存在乘子 使得 。將其代入式 (1):
又因為對於所有的 ,最優點 必須滿足約束條件:
將此恆等式兩邊同時關於 求導(套用多元函數連鎖律):
將式 (3) 代回式 (2) 中,可得:
公式得證。
(b) 估計最大值的變化量
我們將限制表面寫成約束函數形式。令:
此時:
- 原先的限制面為 。
- 新的限制面為 。
- 常數 的變化量為:
已知在 時,最優解發生在 。此時的拉格朗日乘子滿足分量方程:
我們計算約束函數 關於 的偏導函數:
代入點 :
利用已知條件 :
根據 (a) 小題的敏感度公式,最大值對限制常數 的導數為 。利用線性近似(全微分關係):
代入數值:
因此,當約束面改變時,最大值估計會增加約 。
結論:
- (a) 證明如上。
- (b) 最大值變化量估計為 。