1. 随机过程应用场景金融建模股票价格、利率、汇率等随时间变化的随机波动 信号处理通信信号、语音信号、脑电波等时序数据分析 排队系统客户到达时间、服务时间的随机性建模 物理系统布朗运动、热传导、量子力学中的随机现象 机器学习时间序列预测、状态空间模型抽象建模随机过程是一族随机变量的集合通常按时间或空间索引。它描述系统随时间的随机演化关注 有限维分布任意时间点集合上的联合分布 路径性质样本轨迹的连续性、可微性等 统计特性均值函数、协方差函数、平稳性定义设 (Ω,F,P)是概率空间T是指标集通常为时间或空间对每个 t∈T有随机变量 Xt: Ω→S状态空间则 {Xt} t∈T 称为随机过程。2. 线性回归变量间关系近似线性应用场景经济学分析变量间关系如收入与消费 工程建立输入输出模型如材料强度与温度 社会科学研究影响因素如教育水平与收入 生物统计剂量反应关系、生长曲线拟合抽象建模假设响应变量 y与特征向量 x存在线性关系加上随机误差 yβ0β1x1⋯βpxpϵ 通过最小化残差平方和最小二乘估计参数 β。定义3. 贝叶斯回归参数被视为随机变量赋予先验分布得到似然时不仅是值均值还有可靠性方差应用场景小样本学习数据有限时利用先验知识 不确定性量化需要参数或预测的完整概率分布 在线学习序列更新参数信念 正则化通过先验实现参数收缩如岭回归对应高斯先验抽象建模将参数 β视为随机变量指定先验分布 p(β)通过贝叶斯定理结合数据似然得到后验分布 p(β∣y,X)∝p(y∣X,β)p(β) 预测时对参数后验积分 p(y∗∣x∗,y,X)∫p(y∗∣x∗,β)p(β∣y,X)dβ定义4. 高斯过程贝叶斯回归应用场景非线性回归函数形式未知的连续值预测 贝叶斯优化黑盒函数优化超参数调优 空间插值地理统计中的克里金法 机器人学轨迹规划、控制中的不确定性建模 计算机实验昂贵仿真模型的替代模型抽象建模将函数 f本身视为随机过程的先验假设任意有限点集上的函数值服从联合高斯分布。通过均值函数 m(x)和协方差函数核函数k(x,x′)定义高斯过程先验 f∼GP(m,k) 给定带噪声的观测 yif(xi)ϵi计算函数的后验分布也是高斯过程。定义5. 补充集合:空间:(集合加上了定义的规则)