侠客书屋 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

用故事解释Softmax函数的溢出问题

故事背景:龙族宴会上的金碗

在一座神秘的龙族王国,龙族每年都会举行一次盛大的宴会,宴会上有一个传统:每条龙要把自己的财富(金币数量)放进一个金碗,然后让智慧长老计算每条龙的“财富占比”,来决定谁是这一年的财富之王。

宴会当天,四条龙分别报出了自己的金币数量:

? 火龙:100万金币

? 冰龙:200万金币

? 雷龙:300万金币

? 风龙:10亿金币

智慧长老准备使用一个古老的计算方法——Softmax规则,将这些财富转换成概率来比较。但他很快发现了一个严重的问题:

金碗炸了!

为什么?因为按照Softmax的计算方法,他需要计算每个金币数量的指数值:

但这些数值实在是太大了,远远超出了王国的计算能力,直接导致金碗崩溃(计算溢出)。

智慧长老陷入了困境,他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧:

“我们不直接放金币,我们可以先让大家的金币数减去最大的金币数!”

于是,他重新计算:

? 火龙的金币数变为 100万 - 10亿 = -9.99亿

? 冰龙的金币数变为 200万 - 10亿 = -9.98亿

? 雷龙的金币数变为 300万 - 10亿 = -9.97亿

? 风龙的金币数变为 10亿 - 10亿 = 0

然后,他计算:

现在,所有的指数值都变得很小,不会再溢出,金碗终于能正常计算了!

最终,风龙的财富占比几乎是 100%,其他三条龙的财富占比接近 0,宴会得出了正确的结论。

这个方法被称为 Softmax的数值稳定性技巧,即 在计算前减去最大值,防止指数运算导致溢出。

用比喻解释Softmax的溢出问题

比喻1:水池溢出

想象你有一个大水池,你往里面倒水:

? 第一桶水是 100升

? 第二桶水是 200升

? 第三桶水是 300升

? 第四桶水是 10亿升

显然,水池无法承受10亿升的水,直接溢出了!

解决方案?

? 你先抽掉10亿升的水(相当于减去最大值),这样所有的水量都变成一个较小的数字,水池就不会溢出了。

比喻2:计算机的“溢出”锅

假设你在做饭,想同时煮四个锅的水,每个锅的温度分别是:

? 100°c

? 200°c

? 300°c

? 10亿°c

你的炉子最高只能加热到 500°c,但第四个锅的温度远超这个上限,直接导致炉子爆炸(计算机溢出)!

怎么办?

你可以先把所有锅的温度减去一个基准值(比如减去10亿°c),让温度变成:

? -9.99亿°c

? -9.98亿°c

? -9.97亿°c

? 0°c

现在,最高的温度也只是 0°c,不会再超出炉子的承受范围。

总结

? Softmax的溢出问题 是因为指数运算会导致数值过大,超过计算机的上限。

? 解决方案 是在计算Softmax之前,先减去最大值,这样所有的数值都会变小,防止指数爆炸。

? 就像往水池倒水、往锅里加热,数值太大就会溢出,我们需要先做调整,确保计算不超出范围!

侠客书屋推荐阅读:我的清纯大小姐绝色丹药师:邪王,你好坏不败战神杨辰(完整)爹地快来,巨星妈咪住隔壁大叔,乖乖宠我!上门龙婿总裁,宠妻请排队官场问鼎极品仙园太古龙神诀重生闪婚:军少,撩一个不败战神陆尘李清瑶免费看小说机破星河从离婚开始的文娱上门姐夫乃木坂的奇妙日常我的替身是史蒂夫极品仙园都市之上门神医随身空间:重返山村去种田妃要爬墙:王爷,相亲请排队我真没想出名啊从前有座镇妖关我的透视可以看穿一切一人之最强异类我只会拍烂片啊入仕惊世绝俗乾坤剑神雷剑神帝王大力捉奸之后近身保镖星河烁烁不如桃花灼灼神脉至尊从综艺开始爆红全球异常生物调查局咸鱼一家的穿书生活国手丹医替嫁娇妻:恶魔总裁放肆宠红楼蕴大爷重生七零,回到和前夫结婚当天向他的小祖宗服个软核污水入侵?开启海上长城计划吞噬星空之太上问道摄政王的小祖宗又美又飒狂探逆天九小姐:帝尊,别跑!(云家小九超皮哒)师娘赶下山:九个师姐绝色倾城我在四合院要做修仙大佬!
侠客书屋搜藏榜:海棠春将军与我一世约大夏剑术,谁主沉浮雄起,我洗鞋子养你说好的流氓,结果成了热芭的老公重生之爱妻入局清穿之锦玉无双重生毒妃有点邪我混烘焙圈的红楼之我不是林妹妹蜜婚甜宠之娇妻在上我的超级神豪养成系统极品驭灵师重启2006轮世末日无上小神农姬刃暴猿王风华书让你来加速中上班,你抓哭白露?大国之巨匠靳先生你老婆又婚了将嫡重生:渣男的成长史总裁深度爱重生后成了反派的挂件修真至尊在都市穿成团宠后她暴富了超市空间:穿越年代嫁糙汉都市:我开局成了富二代反派第一爵婚:深夜溺宠令人震惊就变强交换灵魂,这个校花不太冷[古穿今]将军的娱乐生活从海贼开始贩卖宝可梦陈生的逆袭之路窈窕宦官我用一百块挑战环球旅行你我无人天降神宝在七零宦海官途过气偶像大翻身顾先生的逆袭萌妻易得志的青春我!活了5000年!我有一座解忧屋穿到现代以后她躺赢了逆天奇缘:富贵的爱恨情仇废才狂妃:我家王爷太妖孽桃花源签到一个月,被向往曝光了
侠客书屋最新小说:重生:这一世我全都要杀手归来:秘密使命大山之子的逆袭别搞我,我真不想变女神啊!高武:开局联盟,数值碾压一切重生1958:从守山人开始发家致富退圈失败后,我靠慢综爆红全网超时空神戒官场:从秘书开始问鼎京圈高武:御兽,开局绑定剑仙御姐说唱戏的不行,拿出赤伶后谁傻眼了全民觉醒异能,我偏武道成圣!前方异常工科研究生的修真时代打灯人的故事3兰陵风流时空裂缝下的宇宙守护者!上交曲率引擎后,鹰酱被我吓哭了换挡人生:从平凡驾驶到宦海沉浮久伴不及白月光,我选择放手荒岛求生:从退伍游学开始开局乱签约,我竟撩到豪门千金我的玫瑰女房客双穿:从在厕所捡到修真少女开始梦悟修仙遵纪守法,但小弟全是鬼火战神雪狼的使命风水神医林大山校花生了,我成了天帝也成了奶爸开局踹了女知青,我靠打猎发家致富雨夜后,陷入黑道女王的宠溺陷阱回乡种田,打造人间圣地系统赶时间,让我每秒签到一次过去的五十年蛮荒宇宙我是黄毛你让我当救世主红与绿,普通人实现发财梦开局一把破弓弩金币全靠打山贼爆签到:开局就只给1000万?神豪系统,我的钱比银行还多空间主宰,我的超凡崛起魂体穿越,超圣物流师重生十年前,买彩票岂不是发财了国运:排核废水入海,随机婚配游戏降临修真界卖灵药,血肉界卖钢铁重生86:死刑犯的身世之谜雪狼王:开局捡俩婴儿居然是女帝转世?江湖情长开局,直接干到荒岛狱中十七年