问题:
? 万一是一个优秀但没证件的实习生呢? 他可能也被老张拦在门外了(ReLU 会把所有负数信息直接清零)。
第三种情况:老张有点犹豫(Sigmoid 激活函数)
有一天,老张觉得:“或许我不该这么绝对,可能有些游客也是未来的潜在客户,不该完全拒之门外。”
于是,他制定了一套打分系统:
? 正式员工(高分):直接进!
? 游客(中等分):可以进去看看,但不能随意走动。
? 陌生人(低分):抱歉,不能进!
这就像Sigmoid 激活函数,它的输出介于 0 到 1 之间,相当于一种概率衡量:
? 高于 0.5 的人(高分):大概率被接受。
? 低于 0.5 的人(低分):大概率被拒绝。
优点:
? 可以平滑地过滤数据,避免“全进或全不进”这样极端的情况。
? 适用于二分类问题(比如邮件是垃圾邮件还是正常邮件)。
问题:
? 计算比较复杂,不像 ReLU 那么直接。
? 当数据过大或过小时,变化很小,容易导致梯度消失(学习速度变慢)。
第四种情况:老张更加智能(Softmax 激活函数)
有一天,老板告诉老张:“我们公司不仅有正式员工,还有不同的部门,比如工程部、市场部、财务部。你不能只区分‘进’或‘不进’,而是要把人分到不同的部门。”
于是,老张开发了一套更加高级的评分系统,不仅判断某人是否能进,还会计算他属于哪个部门的概率。
? 如果一个人穿着工程师制服,90% 可能属于工程部,10% 可能属于市场部。