逻辑回归中的Sigmoid函数：从指数函数到修正模型的演变历程
逻辑回归中的Sigmoid函数：从指数函数到修正模型的演变历程
逻辑回归中的Sigmoid函数是如何发展而来的？这篇文章将带你从指数函数出发，逐步了解修正指数函数，并最终推导出Sigmoid函数的数学形式。
背景
随着工业革命的深入，世界经济、科技的发展，以及美洲的发现和随之而来的大移民，18世纪末19世纪初，各个学科对统计学工具的需求日益增长。为了研究人口增长和化学催化反应与时间的关系，人们发明了逻辑函数。
指数函数
指数函数是增长最快的曲线，其数学表达式为：
$$
f(x) = a^x
$$
最初，学者们将人口（或化合物）的数量与时间的函数定义为$W(t)$，其中$t$代表时间变量，$W(t)$代表总量，用指数函数表示为：
$$
W(t) = ae^{bt}
$$
其中$a$、$e$、$b$均为模型参数，$t$为模型变量。
该函数在坐标系中的表现为：
用该模型为一个国家的人口进行建模，已经被证明在一个国家新建早期人口增长状况是复合该模型的。马尔克斯的人口论中讲述的「在没有任何外界阻碍的情况下，人口将以几何级增长」正是基于指数模型。
对该函数求微分，就可以得到增长率函数：
$$
W'(t) = \frac{dW(t)}{dt}
$$
修正指数函数
19世纪早期，开始有数学家、统计学家质疑上述模型：任何事物，如果真的按照几何级数任意增长下去，都会达到不可思议的数量。然而，在自然界中，并没有什么东西是在毫无休止地增长的。当一种事物数量越来越多以后，某种阻力也会越来越明显地抑制其增长。
比利时数学家Verhulst给出了一个新的模型：
$$
W'(t) = bW(t) - g(W(t))
$$
其中，$g(W(t))$是以$W(t)$为自变量的函数，它代表随着总数增长出现的阻力。
Verhulst尝试了几种不同的阻力函数后，发现$g(W(t))$是$W(t)$的平方形式时，新模型显示了它的逻辑性。对人口增长率公式修正，取
$$
g(W(t)) = \frac{b(W(t))^2}{L}
$$
其中$L$为$W(t)$的上限，增长率函数为：
$$
W'(t) = bW(t) - \frac{b(W(t))^2}{L} = bW(t)\left(1-\frac{W(t)}{L}\right)
$$
这个公式将增长率表现为总量$W(t)$、极限值$L$、总量和极限值之间的差比之间的关系。
令$P(t) = \frac{W(t)}{L}$，使用商的求导公式$u = W(t), v = L$计算该函数的微分：
$$
P'(t) = \frac{W'(t)L + 0L}{L^2} = \frac{W'(t)}{L^2} = \frac{W'(t)}{L}
$$
将公式代入计算，可以得到：
$$
P'(t) = \frac{W'(t)}{L} = \frac{bW(t)}{L}\left(1-\frac{W(t)}{L}\right) = bP(t)(1-P(t))
$$
这是一个一阶自治微分方程，导数是自身的函数，结合前面的推导结果，可知，这里$P(t)$就是逻辑回归函数：
$$
g(z) = \frac{1}{1+e^{-z}}
$$
模型含义
意义：当一个物种迁入到一个新生态系统中后，其数量会发生变化。假设该物种的起始数量小于环境的最大容纳量，则数量会增长。该物种在此生态系统中有天敌、食物、空间等资源也不足（非理想环境），则增长函数满足逻辑斯谛方程，图像呈S形，此方程是描述在资源有限的条件下种群增长规律的一个最佳数学模型。