Souyer's Archive

本文系统阐述了正则化方法，重点聚焦LASSO回归及其稀疏性原理。文章先定义正则化问题，对比岭回归的ℓ²范数与LASSO的ℓ¹范数，指出后者因在零点不可微而诱导稀疏解。随后通过最小ℓ¹范数问题与最小距离问题的求解，引出软阈值性质，并证明正则化与带约束凸优化问题在特定条件下等价，最终以范数球几何直观解释稀疏性成因。

本文介绍了优化理论中的对偶性概念，首先通过引入拉格朗日函数将约束优化问题转化为无约束形式，并定义了弱对偶性与强对偶性，指出弱对偶性普遍成立而对偶间隙非负，强对偶性则需满足Slater条件等前提。随后阐述了KKT条件作为强对偶性的等价条件及其在凸优化求解中的应用，最后推广至锥对偶性，利用广义不等式处理更复杂的约束优化问题。

本文系统阐述了凸优化理论的核心概念。首先从凸组合出发定义凸集，并介绍凸包、仿射集、相对内部及严格凸集等衍生概念；随后讨论超平面、半空间及分离超平面定理，并详细分类锥（包括对偶锥、半正定矩阵锥与二阶锥）。接着定义凸函数，给出其一阶、二阶判定条件及保凸变换，并介绍仿射函数。最后正式定义凸优化问题，讨论其全局最优性条件、活跃约束求解策略，以及通过单调变换、松弛变量和上境图重述进行问题转换的方法。

本文围绕数据科学中的预测方法展开，重点介绍基于回归分析的预测技术。内容涵盖线性相关性的度量（相关系数）、回归线的构建与最小二乘法拟合、以及通过视觉和数值诊断评估模型质量。文章还讨论了回归模型的统计推断，如Bootstrap方法的应用，并简要提及分类与更新预测等延伸主题，强调回归分析在预测中的核心作用及其适用条件。

本文介绍了百分位数与Bootstrap自助法的定义及应用。百分位数指集合中至少p%样本不大于某值的最小值，可通过排序取第⌈n×p/100⌉个数计算，Python中可用numpy.percentile实现。Bootstrap法通过有放回抽样从已有样本生成新样本，以估计统计量波动，其经验分布可反映总体性质。该方法可构造置信区间，无需知道总体分布，属非参数估计，但需样本量足够大，且对异常值敏感的统计量不适用。