点估计

从样本数据中估计总体的参数, 找到尽可能接近总体参数的值。
点估计的具体实现方式有多种，其中常见的有矩估计和最大似然估计。
以下是一些常见的点推定方法。

矩估计

通过样本矩来估计总体矩参数

均值 $\mu$ 样本矩估计
$\hat{\mu }=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

方差 ${\sigma }^2$ 样本矩估计
${\hat{\sigma }}^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\hat{\mu }{)}^2$

Link to original

最大似然估计

最大似然估计是寻找参数使得似然函数(似然函数)最大的过程。通过最大化样本数据的尤度来估计总体参数。基本思想是找到使得样本数据出现的概率最大的参数值。它通常具有良好的统计性质，如一致性和渐近正态性，且在大样本下往往是最有效的估计量。

步骤

1. 构建似然函数：根据给定的概率分布，写出样本数据的联合概率密度函数或概率质量函数。
2. 取对数：对似然函数取自然对数，得到对数似然函数, 这样求解往往比较方便。
3. 求导数并求解：对对数似然函数求导数，找到使导数为零的参数值。

公式

假设样本数据 $X_1,X_2,\dots ,X_n$ 来自参数为 $\theta$ 的分布，其似然函数为 $L(\theta ;X_1,X_2,\dots ,X_n)$，则对数似然函数为：

$$\ln L(\theta )=\sum _{i=1}^n\ln f(X_i;\theta )$$

通过求导并解方程，可以找到参数的最大似然估计值 $\hat{\theta }$。

Link to original