目录
专栏:数学建模学习笔记
第一章:一维搜索问题
黄金分割法
应用类型: 函数优化问题
算法简介: 黄金分割法是一种用于一维搜索问题的优化算法,特别适用于无导数信息的目标函数。通过利用黄金分割比(φ ≈ 0.618),该算法逐步缩小搜索区间,以快速逼近极值点。黄金分割法在优化问题中具有高效性和稳健性,特别适用于目标函数光滑但无导数信息的情况。
优势:
- 效率高: 通过逐步缩小搜索区间,迅速逼近极值点。
- 简单易用: 算法步骤简单,容易实现和理解。
- 无需导数信息: 适用于目标函数不易求导或不可导的情况。
应用领域: 黄金分割法广泛应用于各种一维搜索优化问题,如经济学中的定价策略、金融学中的投资决策、工程中的设计参数优化等。
股票交易策略优化
已知数据: 假设某只股票在一个交易日中的价格变化函数如下:
其中,t是交易时间,以小时为单位。我们希望找到在交易日内(0到10小时)最佳的买入和卖出时机,以最大化利润。
% 定义股票价格变化函数
price = @(t) -0.1*t.^3 + 2*t.^2 - 15*t + 50;
% 黄金分割法
function [xmin, fmin] = golden_section_search(f, a, b, tol)
phi = (sqrt(5) - 1) / 2; % 黄金分割比
c = b - phi * (b - a);
d = a + phi * (b - a);
while (b - a) > tol
if f(c) < f(d)
b = d;
else
a = c;
end
c = b - phi * (b - a);
d = a + phi * (b - a);
end
xmin = (a + b) / 2;
fmin = f(xmin);
end
% 定义搜索区间和容差
a = 0;
b = 10;
tol = 1e-5;
% 使用黄金分割法找到最佳买入和卖出时机
[xmin, fmin] = golden_section_search(price, a, b, tol);
fprintf('Optimal time to buy/sell: %.5f\n', xmin);
fprintf('Optimal price: %.5f\n', fmin);
代码解释:
- 定义目标函数:函数
price
表示股票价格随时间的变化。- 黄金分割法实现:函数
golden_section_search
使用黄金分割比 φ 逐步缩小搜索区间,寻找极值点。- 搜索区间和容差:初始化搜索区间为 0 到 10 小时,设置容差为 1e-5。
- 求解最优时机:调用
golden_section_search
函数,找到最佳的买入和卖出时机,并打印结果。
总结:
黄金分割法在无导数信息的情况下,通过逐步缩小搜索区间,能够高效地找到目标函数的极值点。在股票交易策略优化竞赛中,利用黄金分割法可以有效地确定最佳的买入和卖出时机,以最大化交易利润。
第二章:线性规划
线性规划(Simplex 算法)
应用类型: 资源分配、生产计划、投资组合优化
算法简介: 线性规划(Linear Programming,LP)是一类求解线性目标函数在一组线性约束条件下的优化问题的算法。Simplex 算法是最经典的线性规划求解算法之一。它通过逐步移动顶点来搜索可行区域,最终找到最优解。Simplex 算法以其高效性和鲁棒性,广泛应用于各种线性优化问题中。
优势:
- 效率高: Simplex 算法在大多数情况下能够高效求解线性规划问题。
- 鲁棒性强: 适用于各种线性约束和目标函数。
- 全局最优: 线性规划问题的全局最优解能够通过 Simplex 算法求得。
应用领域: 线性规划广泛应用于资源分配、生产计划、物流调度、金融投资组合优化等领域。
生产计划优化
已知数据: 某工厂生产两种产品 P1 和 P2,每种产品的利润分别为 40 美元和 30 美元。生产每种产品需要的资源如下表:
P1 | 2 | 1 |
P2 | 1 | 2 |
工厂每天最多有 100 小时的资源1和 80 小时的资源2。目标是通过合理分配资源以最大化利润。
% 定义目标函数和约束
f = [-40; -30]; % 注意:由于 linprog 求解的是最小值,这里取负
A = [2, 1; 1, 2];
b = [100; 80];
lb = [0; 0];
ub = [];
% 求解线性规划问题
[x, fval] = linprog(f, A, b, [], [], lb, ub);
fprintf('Optimal production of P1: %.2f units\n', x(1));
fprintf('Optimal production of P2: %.2f units\n', x(2));
fprintf('Maximum profit: $%.2f\n', -fval);
代码解释:
- 定义目标函数:向量
f
表示每种产品的单位利润,由于linprog
求解的是最小化问题,所以取负。- 定义约束条件:矩阵
A
和向量b
分别表示线性约束条件的系数矩阵和右端项,lb
和ub
表示变量的下界和上界。- 求解线性规划问题:调用
linprog
函数,求解最优生产计划,并打印结果。
总结:
线性规划(Simplex 算法)通过高效求解线性目标函数在一组线性约束条件下的最优解,广泛应用于各种资源分配和生产计划优化问题。在生产计划优化竞赛中,利用 Simplex 算法可以有效地确定最优的生产组合,以最大化工厂利润。
第三章:无约束非线性优化问题
梯度下降法
应用类型: 参数优化、机器学习模型训练
算法简介: 梯度下降法(Gradient Descent)是一种用于无约束非线性优化问题的迭代算法。它通过沿着目标函数梯度的反方向逐步更新变量,从而逼近函数的极小值。梯度下降法因其简单易用和适用广泛,成为机器学习模型训练和参数优化中的常用算法。
优势:
- 简单易用: 算法简单,易于实现。
- 适用广泛: 适用于多种无约束非线性优化问题。
- 收敛速度可控: 通过调整步长,可以控制收敛速度和精度。
应用领域: 梯度下降法广泛应用于机器学习模型训练、参数优化、图像处理、信号处理等领域。
神经网络训练
已知数据: 假设一个简单的二次函数作为训练误差函数:
我们希望通过优化权重参数 w使得训练误差最小。
% 定义训练误差函数及其梯度
E = @(w) (w(1) - 3)^2 + (w(2) - 2)^2;
grad_E = @(w) [2*(w(1) - 3); 2*(w(2) - 2)];
% 梯度下降法
function [w, fval] = gradient_descent(E, grad_E, w0, alpha, tol)
w = w0;
while norm(grad_E(w)) > tol
w = w - alpha * grad_E(w);
end
fval = E(w);
end
% 定义初始权重、步长和容差
w0 = [0; 0];
alpha = 0.1;
tol = 1e-5;
% 使用梯度下降法优化权重参数
[w, fval] = gradient_descent(E, grad_E, w0, alpha, tol);
fprintf('Optimal weights: w1 = %.5f, w2 = %.5f\n', w(1), w(2));
fprintf('Minimum error: %.5f\n', fval);
代码解释:
- 定义目标函数及其梯度:函数
E
表示训练误差函数,grad_E
表示其梯度。- 梯度下降法实现:函数
gradient_descent
使用梯度下降法,通过沿着梯度反方向更新权重参数,逐步逼近极小值。- 初始权重、步长和容差:初始化权重参数为
[0; 0]
,设置步长为 0.1,容差为 1e-5。- 优化权重参数:调用
gradient_descent
函数,优化权重参数,并打印结果。
总结:
梯度下降法通过沿着目标函数梯度的反方向更新变量,能够有效地逼近函数的极小值。在神经网络训练竞赛中,利用梯度下降法可以有效地优化权重参数,以最小化训练误差。
牛顿法
应用类型: 参数优化、高精度问题求解
算法简介: 牛顿法(Newton's Method)是一种用于求解无约束非线性优化问题的迭代算法。它利用目标函数的一阶和二阶导数信息,通过在当前点处近似目标函数为二次函数,逐步逼近函数的极小值。牛顿法因其快速收敛和高精度,常用于高精度问题求解。
优势:
- 收敛速度快: 二次收敛速度使其在接近根时具有极高的精度。
- 精度高: 利用一阶和二阶导数信息,提高求解精度。
- 适用范围广: 适用于目标函数光滑且二次可导的情况。
应用领域: 牛顿法广泛应用于数值分析、工程计算、物理模型求解、经济学模型优化等领域。
非线性系统求解
已知数据: 假设我们希望求解非线性方程
实现代码:
% 定义目标函数及其导数
f = @(x) x^3 - 2*x^2 - 5;
df = @(x) 3*x^2 - 4*x;
% 牛顿法
function [x, fval] = newton_method(f, df, x0, tol)
x = x0;
while abs(f(x)) > tol
x = x - f(x) / df(x);
end
fval = f(x);
end
% 定义初始点和容差
x0 = 3;
tol = 1e-5;
% 使用牛顿法求解非线性方程
[x, fval] = newton_method(f, df, x0, tol);
fprintf('Root: %.5f\n', x);
fprintf('Function value at root: %.5f\n', fval);
代码解释:
- 定义目标函数及其导数:函数
f
表示目标非线性方程,df
表示其导数。- 牛顿法实现:函数
newton_method
使用牛顿法,通过在当前点处近似目标函数为二次函数,逐步逼近函数的根。- 初始点和容差:初始化初始点为 3,设置容差为 1e-5。
- 求解非线性方程:调用
newton_method
函数,求解非线性方程,并打印结果。
总结:
牛顿法通过利用目标函数的一阶和二阶导数信息,能够快速逼近函数的极小值或根。在非线性系统求解竞赛中,利用牛顿法可以高效地求解复杂的非线性方程组。
第四章:有约束非线性优化问题
拉格朗日乘数法
应用类型: 工程优化、经济模型
算法简介: 拉格朗日乘数法(Lagrange Multiplier Method)是一种用于有约束非线性优化问题的算法。通过引入拉格朗日乘数,将约束条件融入目标函数,形成拉格朗日函数,从而将原问题转化为无约束优化问题进行求解。该方法广泛应用于工程和经济领域的优化问题中。
优势:
- 灵活性高: 可以处理等式和不等式约束。
- 理论基础扎实: 基于凸优化理论,能保证求解的准确性。
- 适用范围广: 适用于各种非线性约束优化问题。
应用领域: 拉格朗日乘数法广泛应用于工程设计优化、经济模型求解、资源分配、生产计划等领域。
机械设计优化
已知数据: 假设我们希望设计一个机械部件,使其在满足强度约束的同时,最小化成本。
目标函数为:
约束条件为:
实现代码:
% 定义目标函数及其梯度
f = @(x) x(1)^2 + x(2)^2;
grad_f = @(x) [2*x(1); 2*x(2)];
% 定义约束条件及其梯度
g = @(x) 1 - x(1) - x(2);
grad_g = @(x) [-1; -1];
% 拉格朗日乘数法
function [x, lambda, fval] = lagrange_multiplier_method(f, grad_f, g, grad_g, x0, lambda0, tol)
x = x0;
lambda = lambda0;
while norm(grad_f(x) + lambda * grad_g(x)) > tol
x = x - 0.1 * (grad_f(x) + lambda * grad_g(x));
lambda = lambda - 0.1 * g(x);
end
fval = f(x);
end
% 定义初始点、初始拉格朗日乘数和容差
x0 = [0.5; 0.5];
lambda0 = 0;
tol = 1e-5;
% 使用拉格朗日乘数法优化
[x, lambda, fval] = lagrange_multiplier_method(f, grad_f, g, grad_g, x0, lambda0, tol);
fprintf('Optimal parameters: x1 = %.5f, x2 = %.5f\n', x(1), x(2));
fprintf('Lagrange multiplier: %.5f\n', lambda);
fprintf('Minimum cost: %.5f\n', fval);
代码解释:
- 定义目标函数及其梯度:函数
f
表示目标函数,grad_f
表示其梯度。- 定义约束条件及其梯度:函数
g
表示约束条件,grad_g
表示其梯度。- 拉格朗日乘数法实现:函数
lagrange_multiplier_method
使用拉格朗日乘数法,通过引入拉格朗日乘数,将约束条件融入目标函数进行优化。- 初始点、初始拉格朗日乘数和容差:初始化初始点为
[0.5; 0.5]
,初始拉格朗日乘数为 0,设置容差为 1e-5。- 优化过程:调用
lagrange_multiplier_method
函数,优化参数并打印结果。
总结:
拉格朗日乘数法通过将约束条件融入目标函数,能够有效地求解有约束非线性优化问题。在机械设计优化竞赛中,利用拉格朗日乘数法可以找到满足强度约束的最优设计参数,以最小化设计成本。
第五章:二次规划
二次规划
应用类型: 投资组合优化、资源分配、控制系统设计
算法简介: 二次规划(Quadratic Programming,QP)是一类优化问题,其中目标函数为二次函数,约束条件为线性不等式或等式。二次规划问题可以通过各种优化算法求解,如内点法和信赖域法。该方法在处理具有二次目标函数的优化问题中具有高效性和精度。
优势:
- 精度高: 利用二次函数的性质,提高求解精度。
- 收敛速度快: 在二次规划问题中具有良好的收敛性能。
- 适用范围广: 适用于具有二次目标函数和线性约束的优化问题。
应用领域: 二次规划广泛应用于投资组合优化、资源分配、控制系统设计、机械设计等领域。
投资组合优化
已知数据: 假设我们有五种投资产品,每种产品的预期收益和风险如下表:
P1 | 10% | 0.05 |
P2 | 15% | 0.10 |
P3 | 20% | 0.15 |
P4 | 25% | 0.20 |
P5 | 30% | 0.25 |
我们希望通过合理分配资金,使得总体收益最大化,同时风险最小。
% 定义目标函数的系数矩阵和约束条件
H = diag([0.05, 0.10, 0.15, 0.20, 0.25]);
f = [-0.10; -0.15; -0.20; -0.25; -0.30];
Aeq = [1, 1, 1, 1, 1];
beq = 1;
lb = zeros(5, 1);
ub = ones(5, 1);
% 求解二次规划问题
options = optimoptions('quadprog', 'Display', 'off');
[x, fval] = quadprog(H, f, [], [], Aeq, beq, lb, ub, [], options);
fprintf('Optimal investment in P1: %.2f%%\n', x(1) * 100);
fprintf('Optimal investment in P2: %.2f%%\n', x(2) * 100);
fprintf('Optimal investment in P3: %.2f%%\n', x(3) * 100);
fprintf('Optimal investment in P4: %.2f%%\n', x(4) * 100);
fprintf('Optimal investment in P5: %.2f%%\n', x(5) * 100);
fprintf('Minimum risk (variance): %.4f\n', fval);
代码解释:
- 定义目标函数的系数矩阵和约束条件:矩阵
H
表示二次目标函数的系数矩阵,向量f
表示一次项系数。矩阵Aeq
和向量beq
表示线性等式约束,向量lb
和ub
表示变量的下界和上界。- 求解二次规划问题:调用
quadprog
函数,求解最优投资组合,并打印结果。
总结:
二次规划通过利用二次目标函数的性质,能够高效地求解具有线性约束的优化问题。在投资组合优化竞赛中,利用二次规划可以找到最优的投资组合,以最大化收益和最小化风险。
第六章:混合整数线性规划
混合整数线性规划(MILP)
应用类型: 物流优化、项目调度、供应链管理
算法简介: 混合整数线性规划(Mixed-Integer Linear Programming,MILP)是一类优化问题,其中目标函数和约束条件均为线性,但部分或全部决策变量必须是整数。MILP 可以通过分支定界法、割平面法等求解。该方法在处理整数和连续变量混合的优化问题中具有独特优势。
优势:
- 精度高: 可以精确求解具有整数约束的优化问题。
- 灵活性强: 适用于多种实际应用场景,包含整数和连续变量。
- 全局最优: 在给定约束条件下能够找到全局最优解。
应用领域: 混合整数线性规划广泛应用于物流优化、项目调度、供应链管理、设施选址等领域。
工厂选址问题
已知数据: 假设我们有三个潜在的工厂选址点,每个点的建设成本和满足市场需求的能力如下表:
A | 200 万 | 50% |
B | 300 万 | 70% |
C | 400 万 | 90% |
我们希望通过合理选择工厂选址,使得建设成本最小,同时满足至少 80% 的市场需求。
% 定义目标函数的系数和约束条件
f = [200; 300; 400];
intcon = [1, 2, 3];
A = [-0.5, -0.7, -0.9];
b = -0.8;
lb = zeros(3, 1);
ub = ones(3, 1);
% 求解混合整数线性规划问题
options = optimoptions('intlinprog', 'Display', 'off');
[x, fval] = intlinprog(f, intcon, A, b, [], [], lb, ub, options);
fprintf('Choose location A: %d\n', x(1));
fprintf('Choose location B: %d\n', x(2));
fprintf('Choose location C: %d\n', x(3));
fprintf('Minimum cost: %.2f 万元\n', fval);
代码解释:
- 定义目标函数的系数和约束条件:向量
f
表示建设成本,向量intcon
表示整数变量的索引。矩阵A
和向量b
表示线性不等式约束,向量lb
和ub
表示变量的下界和上界。 - 求解混合整数线性规划问题:调用
intlinprog
函数,求解最优选址方案,并打印结果。
总结:
混合整数线性规划通过精确求解具有整数约束的优化问题,能够找到全局最优解。在工厂选址优化竞赛中,利用 MILP 可以找到最优的工厂选址方案,以最小化建设成本并满足市场需求。
第七章:多目标规划
多目标规划(权重法)
应用类型: 生产计划、工程设计、资源分配
算法简介: 多目标规划(Multi-Objective Optimization)是一类优化问题,其中需要同时优化多个目标函数。权重法是解决多目标规划问题的一种常用方法,通过为每个目标函数分配权重,将多目标函数合并为单一目标函数进行优化。该方法具有灵活性高、易于实现的特点。
优势:
- 灵活性高: 可以根据实际需求调整目标权重。
- 适用范围广: 适用于多种多目标优化问题。
- 解决方案易解释: 多目标函数合并为单一目标函数,易于解释。
应用领域: 多目标规划广泛应用于生产计划、工程设计、资源分配、供应链管理等领域。
生产计划优化
已知数据: 某工厂生产两种产品 P1 和 P2,每种产品的利润分别为 40 美元和 30 美元,同时希望最大化产量和利润。生产每种产品需要的资源如下表:
P1 | 2 | 1 |
P2 | 1 | 2 |
工厂每天最多有 100 小时的资源1和 80 小时的资源2。
% 定义目标函数及其权重
function F = multi_obj_func(x)
F = [-x(1) - x(2); -40*x(1) - 30*x(2)];
end
% 定义初始点、目标值和权重
x0 = [0, 0];
goals = [0, 0];
weights = [1, 1];
A = [2, 1; 1, 2];
b = [100; 80];
lb = [0, 0];
ub = [];
% 求解多目标规划问题
options = optimoptions('fgoalattain', 'Display', 'off');
[x, fval] = fgoalattain(@multi_obj_func, x0, goals, weights, A, b, [], [], lb, ub, [], options);
fprintf('Optimal production of P1: %.2f units\n', x(1));
fprintf('Optimal production of P2: %.2f units\n', x(2));
fprintf('Goal attainment: %.2f, %.2f\n', fval);
代码解释:
- 定义目标函数及其权重:函数
multi_obj_func
表示多目标函数,目标为最大化产量和利润。向量goals
表示目标值,向量weights
表示目标权重。 - 定义初始点、目标值和权重:初始化初始点为
[0, 0]
,设置目标值为[0, 0]
,权重为[1, 1]
。 - 求解多目标规划问题:调用
fgoalattain
函数,求解最优生产计划,并打印结果。
总结:
多目标规划(权重法)通过为每个目标函数分配权重,将多目标函数合并为单一目标函数进行优化,能够灵活地处理多目标优化问题。在生产计划优化竞赛中,利用多目标规划可以找到同时最大化产量和利润的最优生产计划。
第八章:极大最小化
极大最小化
应用类型: 决策分析、博弈论、稳健优化
算法简介: 极大最小化(Maximin Optimization)是一类优化问题,目标是在最坏情况下找到最优解。该方法广泛应用于决策分析、博弈论和稳健优化问题中,通过最大化最小收益或最小化最大损失,寻找最优决策。
优势:
- 稳健性强: 适用于不确定环境中的决策问题。
- 全局最优: 寻找到在最坏情况下的最优解。
- 应用广泛: 适用于金融、供应链、博弈论等多个领域。
应用领域: 极大最小化广泛应用于决策分析、博弈论、稳健优化、供应链管理等领域。
供货中心选址问题
已知数据: 假设一个公司计划在三个城市中选址供货中心,以最小化最大供货距离。供货距离矩阵如下:
A | 10 | 20 | 30 |
B | 20 | 10 | 40 |
C | 30 | 40 | 10 |
目标是找到最佳的选址组合,使得最大供货距离最小。
% 定义损失函数
function f = max_loss_func(x)
D = [10, 20, 30; 20, 10, 40; 30, 40, 10];
f = max(D * x);
end
% 定义初始点和约束条件
x0 = [0, 0, 0];
lb = zeros(3, 1);
ub = ones(3, 1);
% 求解极大最小化问题
options = optimoptions('fminimax', 'Display', 'off');
[x, fval] = fminimax(@max_loss_func, x0, [], [], [], [], lb, ub, [], options);
fprintf('Choose location A: %.2f\n', x(1));
fprintf('Choose location B: %.2f\n', x(2));
fprintf('Choose location C: %.2f\n', x(3));
fprintf('Minimum maximum loss: %.2f\n', fval);
代码解释:
- 定义损失函数:函数
max_loss_func
表示最大供货距离。 - 定义初始点和约束条件:初始化初始点为
[0, 0, 0]
,设置变量的下界和上界分别为0
和1
。 - 求解极大最小化问题:调用
fminimax
函数,求解最优选址方案,并打印结果。
总结:
极大最小化通过最大化最小收益或最小化最大损失,能够在不确定环境中找到最优决策。在供货中心选址竞赛中,利用极大最小化可以找到最优的选址方案,以最小化最大供货距离。
第九章:半无限问题
半无限优化
应用类型: 设计优化、资源管理、控制系统
算法简介: 半无限优化(Semi-Infinite Programming)是一类优化问题,其中目标函数和有限个约束条件为一般形式,而一组约束条件为无限多。该方法广泛应用于设计优化、资源管理和控制系统中,通过处理无穷多约束条件,寻找最优解。
优势:
- 处理复杂约束: 能处理无穷多约束条件的优化问题。
- 灵活性高: 适用于多种实际应用场景。
- 精度高: 在复杂约束条件下能够找到精确解。
应用领域: 半无限优化广泛应用于设计优化、资源管理、控制系统、金融工程等领域。
天线设计优化
已知数据: 假设我们需要设计一个天线,使其在特定频段内的性能最佳化。天线性能可以用一个函数 P(x) 表示,设计变量 x 需要满足某些约束条件。
实现代码:
% 定义目标函数
function f = antenna_design_func(x)
f = x(1)^2 + x(2)^2 + x(1)*x(2);
end
% 定义约束条件
function [c, ceq] = antenna_constraints(x)
c = x(1) + x(2) - 1;
ceq = [];
end
% 定义初始点和约束条件
x0 = [0, 0];
% 求解半无限优化问题
options = optimoptions('fmincon', 'Display', 'off');
[x, fval] = fmincon(@antenna_design_func, x0, [], [], [], [], [], [], @antenna_constraints, options);
fprintf('Optimal antenna design: x1 = %.2f, x2 = %.2f\n', x(1), x(2));
fprintf('Minimum value: %.2f\n', fval);
代码解释:
- 定义目标函数:函数
antenna_design_func
表示天线性能目标函数。 - 定义约束条件:函数
antenna_constraints
表示天线设计约束条件。 - 定义初始点和约束条件:初始化初始点为
[0, 0]
。 - 求解半无限优化问题:调用
fmincon
函数,求解最优天线设计方案,并打印结果。
总结:
半无限优化通过处理无穷多约束条件,能够在复杂约束条件下找到精确解。在天线设计优化竞赛中,利用半无限优化可以找到满足特定频段性能的最优天线设计参数。
第十章:最小二乘问题
线性最小二乘法
应用类型: 数据拟合、参数估计、信号处理
算法简介: 线性最小二乘法(Linear Least Squares)是一种用于数据拟合和参数估计的优化方法,通过最小化目标函数与观测数据之间的平方误差,找到最佳拟合参数。该方法在处理线性模型和数据拟合问题中具有高效性和精度。
优势:
- 计算速度快: 线性最小二乘法具有闭式解。
- 精度高: 能有效地处理线性模型。
- 适用广泛: 适用于各种数据拟合和参数估计问题。
应用领域: 线性最小二乘法广泛应用于数据拟合、参数估计、信号处理、图像处理等领域。
数据拟合
已知数据: 假设我们有以下实验数据,需要拟合一个二次函数:
x=[1,2,3,4,5] y=[2.2,2.8,3.6,4.5,5.1]
实现代码:
% 定义数据点
xdata = [1, 2, 3, 4, 5];
ydata = [2.2, 2.8, 3.6, 4.5, 5.1];
% 使用polyfit进行二次拟合
p = polyfit(xdata, ydata, 2);
yfit = polyval(p, xdata);
% 绘制数据和拟合曲线
figure;
plot(xdata, ydata, 'o', xdata, yfit, '-');
legend('Data', 'Fit');
title('Least Squares Fit');
fprintf('Optimal coefficients: a = %.5f, b = %.5f, c = %.5f\n', p(1), p(2), p(3));
代码解释:
- 定义数据点:向量
xdata
和ydata
表示实验数据。- 二次拟合:使用
polyfit
函数进行二次拟合,得到拟合参数p
。- 计算拟合值:使用
polyval
函数计算拟合曲线yfit
。- 绘制数据和拟合曲线:绘制实验数据和拟合曲线,并打印拟合参数。
总结:
线性最小二乘法通过最小化目标函数与观测数据之间的平方误差,能够高效地处理数据拟合和参数估计问题。在数据拟合竞赛中,利用线性最小二乘法可以找到最佳拟合参数,以准确地描述实验数据。
第十一章:非线性方程(组)的求解
牛顿法
应用类型: 数值分析、工程计算、非线性系统求解
算法简介: 牛顿法(Newton's Method)是一种用于求解非线性方程组的迭代算法。通过利用目标函数的一阶和二阶导数信息,在当前点处近似目标函数为二次函数,逐步逼近函数的根。牛顿法因其快速收敛和高精度,常用于高精度问题求解。
优势:
- 收敛速度快: 二次收敛速度使其在接近根时具有极高的精度。
- 精度高: 利用一阶和二阶导数信息,提高求解精度。
- 适用范围广: 适用于目标函数光滑且二次可导的情况。
应用领域: 牛顿法广泛应用于数值分析、工程计算、物理模型求解、经济学模型优化等领域。
非线性系统求解
已知数据: 假设我们需要求解以下非线性方程组:
实现代码:
% 定义非线性方程组及其雅可比矩阵
F = @(x) [x(1)^2 + x(2)^2 - 4;
x(1) * x(2) - 1];
J = @(x) [2*x(1), 2*x(2);
x(2), x(1)];
% 牛顿法
function [x, fval] = newton_method(F, J, x0, tol)
x = x0;
while norm(F(x)) > tol
x = x - J(x)\F(x);
end
fval = F(x);
end
% 定义初始点和容差
x0 = [1, 1];
tol = 1e-5;
% 使用牛顿法求解非线性方程组
[x, fval] = newton_method(F, J, x0, tol);
fprintf('Solution: x1 = %.5f, x2 = %.5f\n', x(1), x(2));
fprintf('Function value: fval1 = %.5f, fval2 = %.5f\n', fval(1), fval(2));
代码解释:
- 定义非线性方程组及其雅可比矩阵:函数
F
表示非线性方程组,J
表示雅可比矩阵。- 牛顿法实现:函数
newton_method
使用牛顿法,通过在当前点处近似目标函数为二次函数,逐步逼近函数的根。- 初始点和容差:初始化初始点为
[1, 1]
,设置容差为 1e-5。- 求解非线性方程组:调用
newton_method
函数,求解非线性方程组,并打印结果。
总结:
牛顿法通过利用目标函数的一阶和二阶导数信息,能够快速逼近函数的根。在非线性系统求解竞赛中,利用牛顿法可以高效地求解复杂的非线性方程组。
割线法
应用类型: 数值分析、工程计算、非线性系统求解
算法简介: 割线法(Secant Method)是一种用于求解非线性方程的迭代算法,通过利用两个初始猜测点,逐步逼近方程的根。与牛顿法不同,割线法不需要计算目标函数的导数,因此在目标函数不易求导或不可导的情况下具有优势。
优势:
- 无需导数信息: 适用于目标函数不易求导或不可导的情况。
- 收敛速度快: 相比于直接求解方法,收敛速度较快。
- 适用范围广: 适用于多种非线性方程组求解问题。
应用领域: 割线法广泛应用于数值分析、工程计算、物理模型求解、经济学模型优化等领域。
非线性方程求解
已知数据:
% 定义目标函数
f = @(x) x^3 - 2*x^2 - 5;
% 割线法
function root = secant_method(f, x0, x1, tol)
while abs(x1 - x0) > tol
f0 = f(x0);
f1 = f(x1);
x2 = x1 - f1 * (x1 - x0) / (f1 - f0);
x0 = x1;
x1 = x2;
end
root = x1;
end
% 定义初始点和容差
x0 = 2;
x1 = 3;
tol = 1e-5;
% 使用割线法求解非线性方程
root = secant_method(f, x0, x1, tol);
fprintf('Root: %.5f\n', root);
代码解释:
- 定义目标函数:函数
f
表示非线性方程。 - 割线法实现:函数
secant_method
使用割线法,通过两个初始猜测点,逐步逼近方程的根。 - 初始点和容差:初始化初始点为
[2, 3]
,设置容差为 1e-5。 - 求解非线性方程:调用
secant_method
函数,求解非线性方程,并打印结果。
总结:
割线法通过利用两个初始猜测点,逐步逼近非线性方程的根,能够在无需导数信息的情况下高效求解。在非线性方程求解竞赛中,利用割线法可以找到方程的精确解。
总结
从一维搜索问题到非线性方程求解的各种优化算法,包括黄金分割法、线性规划、梯度下降法、拉格朗日乘数法、二次规划、混合整数线性规划、多目标规划、极大最小化、半无限优化、线性最小二乘法和牛顿法等。这些算法在实际竞赛环境中的应用有强大功能和解决问题的能力。