首页 >资管 > > 正文

原创 | 一文读懂机器学习中的shapley值方法

程序员客栈 2023-01-17 09:38:43

作者:贾恩东本文约2000字,建议阅读9分钟本文为你介绍更公平分配利益权重的一种算法——Shapley值方法。


(资料图片仅供参考)

本篇文章是数据派一文读懂系列的新年第一篇原创,在这里祝贺大家新年学业有新成就,生活有新气象!这次带大家了解一种有趣的从数学角度计算合作博弈贡献从而更公平分配利益权重的算法——Shapley值方法。

相信大家在日常生活中都接触过这样一个现象,那就是1+1不等于2。好了,不开玩笑,作者想说的是,很多时候多个主体分别产生的影响和共同产生的影响是不具备严格加性的。有句俗语,一个和尚挑水吃,两个和尚抬水吃,三个和尚没水吃。分开的三个和尚每个每天都挑水,但放在一起“协作”反而就没有水产出了。这里是一个关于协作的负面例子,但更多的是协作的正面例子,就是1+1大于2的效应。以下用一个案例具体来说明。

某公司有三个程序猿,分别是屌丝A,大佬B,美女C,如果大家不合作,A每个季度可以完成3个项目,B每个季度可以完成10个项目,C每个季度只能完成1个项目。但是老板小王为了充分挖掘员工潜力,合理配置公司资源,让A,B,C尝试了各种合作模式。王老板观察发现,屌丝都是潜力股,美女都是催化剂:屌丝A和大佬B合作每个季度可以完成15个项目,合作效果提升还行;屌丝A和美女C合作每个季度可以完成50个项目,合作效果爆炸;大佬B和美女C合作每个季度仅完成了12个项目,看来对大佬来说不影响拔刀的速度就不错了;ABC一起合作每个季度可以完成70个项目。最终王老板拍板让ABC以后就一起工作,按照小组完成的项目数额外发放项目奖金。请问聪明的读者,按照最公平正义的分配方法,哪位员工获得的奖金是最多的呢?

说A的同学:明显屌丝是潜力股,虽然单独工作表现一般,但是和美女一起合作,大大激发了工作热情,肯定是A贡献最多!说B的同学:应该是大佬贡献最大,因为单独来看,大佬本身能力是最强的!说C的同学:应该是美女贡献最大,虽然美女单独工作没什么效率,但显然对团队的影响无法替代!

请先别急,我们接下来使用理性的数学思维分析这个问题,可以顺便推导出shapley值的公式。

设想我们顺序将ABC放到合作队伍中(合作队伍一开始为空),那么合作的组合会有3!=6 种,如下表:

加入顺序

A加入的贡献B加入的贡献C加入的贡献
A+B+C3-0=315-3=1270-15=55
A+C+B3-0=370-50=2050-3=47
B+A+C

15-10=5

10-0=1070-15=55
B+C+A70-12=5810-0=1012-10=2
C+A+B50-1=4970-50=201-0=1
C+B+A70-12=5812-1=111-0=1

表中的贡献计算方法可以举个例子来说明,B+C+A的顺序组合中,A的贡献是ABC的合作扣除BC的合作,即70-12=58;B的贡献就是B加入空的贡献,即10-0=10。其他类推。

但最终的加入顺序只有一种,而各个顺序都是等可能的。因此, A的贡献可以计算期望:(3+3+5+58+49+58)/6=176/6 B的贡献可以计算期望:(12+20+10+10+20+11)/6=83/6 C的贡献可以计算期望:(55+47+55+2+1+1)/6=161/6

这些贡献期望加在一起,(176+83+161)/6=70也恰是ABC的整体合作效果,验证了我们计算的合理性。做个简单除法,得出最终A的贡献占比是29.33%,B的贡献占比是13.83%,C的贡献占比是26.83%。A的贡献是最多的,C也很多,B最少。同学你猜对了吗?

我们接下来把问题抽象化。假设有n 位合作人,任何一种合作组合例如第1位和第2位合作组合记为{1,2},是一个有序集合的概念,对于组合 s 来说,它的收益表现记作 v(s)。假如某集合 s 包含 第 i 位合作人,则第 i 位 合作人在这种情形下的贡献为 v(s)−v(s\textbackslash{i}),解释为集合 s 的效益减去 集合 s 扣除第 i 位合作人后的新集合的效益。

因此我们可以得到第i 位合作人的贡献期望为:

这里Si 是所有包含 i 的所有子集的集合, P(s)是对应合作顺序组合 s 的出现概率。可以这样计算该概率,首先 s 中 前|s|−1 合作人顺序进入合作集合,然后是合作人 i 加入集合,最后是后 n−|s|个合作人加入合作集合。这样构成了该种顺序组合,这样有(|s|−1)!×1×(n−|s|)! 种,一共则有 n! 种顺序组合,所以有:

最终的shapley值公式即:

到这里,关于shapley值方法的公式就已经推导完毕了。

值得一提的是,Shapley值方法是有严格的公理化体系支持的,感兴趣的同学可以自行检索学习。Shapley值方法很公平,在经济、金融、管理、政治中都有不少的推广应用。比如多方金融投资合作如何分配利润;不同人数的党派团体如何更科学地设置投票通过票数;安全管理团队中按照重要性对事故中的不同责任方进行责任判定等等。在机器学习中,也可以使用Shapley值方法对不同的特征进行重要性评价,进行特征的筛选工作,即使是深度神经网络这种黑盒模型也可以获悉不同特征对于整个算法的贡献分布。

在文章的最后,需要多提一句,Shapley值方法虽然很好,但对于n 值很大的情况,计算很不友好,因为需要获悉所有组合集合的获益,这种组合集合一共有 2^n 种,不论是数据获得还是后续计算,都有不小的成本开销,所以有几种补救办法,有的是将合伙人分成若干组,按照组为最小合作单位进行计算;有的则是只考虑 n−1 大小的组合上增加合伙人带来的边际贡献等。无论是何种方法,本质上都和本文核心内容类似。

编辑:黄继彦

数据派研究部介绍

数据派研究部成立于2017年初,以兴趣为核心划分多个组别,各组既遵循研究部整体的知识分享和实践项目规划,又各具特色:

算法模型组:积极组队参加kaggle等比赛,原创手把手教系列文章;

调研分析组:通过专访等方式调研大数据的应用,探索数据产品之美;

系统平台组:追踪大数据&人工智能系统平台技术前沿,对话专家;

自然语言处理组:重于实践,积极参加比赛及策划各类文本分析项目;

制造业大数据组:秉工业强国之梦,产学研政结合,挖掘数据价值;

数据可视化组:将信息与艺术融合,探索数据之美,学用可视化讲故事;

网络爬虫组:爬取网络信息,配合其他各组开发创意项目。

点击文末“阅读原文”,报名数据派研究部志愿者,总有一组适合你~

转载须知

如需转载,请在开篇显著位置注明作者和出处(转自:数据派THUID:DatapiTHU),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。

未经许可的转载以及改编者,我们将依法追究其法律责任。

点击“阅读原文”加入组织~

上一篇: 下一篇:
x
推荐阅读

原创 | 一文读懂机器学习中的shapley值方法

2023-01-17

家里放鞭炮孩子不能评“三好”?当地回应

2023-01-17

世界头条:新华财经晚报:1月16日

2023-01-16

11月cma考试报名条件有哪些_焦点消息

2023-01-16

公司前线|中国联通新增“数据安全”概念

2023-01-16

外媒:秘鲁部分地区因抗议活动进入紧急状态 总统坚称不会辞职

2023-01-15

消息!受降雪及路面结冰影响,河北、山西等地共计196个路段公路封闭

2023-01-15

今年重庆计划实施1123个市级重大建设项目:独家

2023-01-14

干货 | AI算法透明性实现与评估

2023-01-14

远望谷股东户数下降2.02%,户均持股4.58万元_最新快讯

2023-01-13

全球速递!北向资金今日净买入133.36亿元 本周累计加仓近440亿元

2023-01-13

精彩看点:海南矿业:我国是全球最大的新能源车市场,同时也是全球重要的新能源车制造大国

2023-01-13

广发e秒贷借款逾期13天会上征信系统吗

2023-01-13

王导:黄金1900关口直接空,目标1870-1850-微速讯

2023-01-12

对2023年的旅游服务贸易发展有何预估?商务部回应

2023-01-12

全球报道:行业风向标|特斯拉降价VS国内车企涨价,新能源车市场竞争加剧

2023-01-12

文化“年货”送下乡,南岳村民享“福”啦! 全球热消息

2023-01-12

今日观点!枇杷叶放时间长会坏吗 枇杷叶的保质期有多久

2023-01-12

提前应对雨雪 科学防灾减灾 天天热点

2023-01-12

每日播报!创新高!Gatos Silver(GATO.US)旗下CLG矿2022年白银产量达1030万盎司,同比增长36%

2023-01-11

民警跑出“110”轨迹图,祝战友们中国警察节快乐

2023-01-11

永福股份:时代上汽分布式光伏发电项目顺利并网发电_快播

2023-01-11

这里的“银发课堂”,深受老人喜爱

2023-01-11

环球新资讯:2022年车市大考:勉强及格 自主品牌借电上位

2023-01-11

好莱客X《冠军的新家》玩转内容营销,情绪价值与创新体验推动品牌增长

2023-01-11

评论宝宝照片的句子(精选257句)

2023-01-10

头条焦点:中国铁建最新公告:联合体中标总投资约301.56亿元的郑州南站枢纽产业园区项目

2023-01-10

河化股份(000953)1月10日主力资金净卖出360.71万元-每日看点

2023-01-10

大胜达(603687)1月9日主力资金净卖出14.55万元

2023-01-10

如果真的遇到短信诈骗了怎么办?

2023-01-10

e点贷网贷逾期5年延迟还款影响征信吗 热点评

2023-01-10

快易花贷款逾期48年还不起影响征信吗-全球新资讯

2023-01-10

每日短讯:竹叶贷逾期1000还不起会上征信系统吗

2023-01-10

真金白银!漳州12条新举措支持企业“留员工、稳生产、开门红”!

2023-01-09

篮网将保障渡边雄太、萨纳姆和大莫里斯本赛季的合同:今日热门

2023-01-09

你的 GitHub 年度报告「GitHub 热点速览 v.22.52」 天天头条

2023-01-09

这次请跟我一起喊:腾讯,牛B!

2023-01-09

省呗网贷逾期五天还不起征信会怎么样 环球时讯

2023-01-09

广发基金专栏丨行情结构化、业绩差异化 基金挑选更要精细化_世界焦点

2023-01-09

曝65岁赵本山将回归央视春晚,彩排照流出引热议,知情人发文澄清

2023-01-07

TCL魏雪入选哈佛商业评论“中国新增长∙先锋人物榜”:天天微头条

2023-01-06

【全球新要闻】市场监管总局组织10家免税企业公开承诺更好保护消费者权益

2023-01-06

基蛋生物:目前公司生产经营一切正常 各项业务稳步发展|天天视讯

2023-01-06

2023宁波市汽车消费券可以和区县汽车券一起领吗

2023-01-06

快看:华海清科: 第一届董事会第三十三次会议决议公告

2023-01-06

沃森生物:目前公司正在推进双价苗RQ3025的临床申请准备工作

2023-01-05

分析师不看好科技企业裁员削减成本:他们不擅长这个

2023-01-05

环球新资讯:【券商聚焦】大和升香港科技探索(01137)目标价至6.3港元 指其2023年指引目标符预期

2023-01-05

热资讯!金科解盘:1.4黄金一柱擎天,美联储来袭后市如何操作?

2023-01-04

【天天新要闻】金城医药董秘回复:实现感谢您的关心与支持,公司将积极开拓市场,做好经营,提升业绩

2023-01-04

“跌下神坛”的8样智能家居,看似高级实则槽点满满!你用过吗?-今日热讯

2023-01-04

A股异动 | 景业智能涨6% 2022年预计净利1.18亿同比增加54.45%

2023-01-04

把失去的三年夺回来!拼经济,这些地方抢先机

2023-01-04

上映8天,《阿凡达2》就丢了冠军,《想见你》9小时票房破1029万

2023-01-03

2022宁波市北仑区冬季消费促进活动延期

2023-01-03

全球今日讯!人大国发院:发布中国135个大中城市住房可支付指数并提出政策建议

2023-01-03

环球通讯!比亚迪在临沂成立汽车销售新公司 经营范围含二手车业务

2023-01-03

每日聚焦:朝鲜要“几何级数般”增加核弹头,韩国表态

2023-01-03

世界今头条!在农村办的结婚证怎么去法院起诉离婚

2023-01-03

世界快看点丨全 聚 德(002186):连续两个交易日收盘价格涨幅偏离值累计达20%

2023-01-02

英杰电气(300820)新增【碳化硅】概念|环球观热点

2023-01-02

Power BI 医疗器械行业销售管理通用模板|世界微头条

2023-01-01

交通事故调解结案后可再起诉吗_每日信息

2023-01-01

买羊肉买带骨的还是不带骨的?|全球速看

2022-12-31

兰州大学第二医院就诊须知(持更)|播资讯

2022-12-30

在万达普惠逾期一年多会上征信吗

2022-12-30

灵康药业董秘回复:公司目前已有注射用奥美拉唑钠、注射用头孢美唑钠、注射用泮托拉唑钠通过了仿制药一致性评价

2022-12-30

时隔四年,央视一哥正式复出!网友提醒其与异性接触保持安全距离

2022-12-30

桔子分期逾期34年还不起征信会怎么样

2022-12-30

今日热文:年终总结系列之大宗商品:高光已过,需求转向

2022-12-29

视焦点讯!工信部:布洛芬和对乙酰氨基酚日产量1.9亿片,较月初翻了超4倍

2022-12-29

武汉申报户口登记表汇总(持续更新)

2022-12-29

借呗借款逾期6天会上征信吗_当前短讯

2022-12-29

全球热门:捷邦科技董秘回复:公司主要从事消费电子精密功能件及结构件的研发设计、生产和销售

2022-12-29

世界信息:航班大面积取消 美国西南航空遭质疑

2022-12-29

海南橡胶收到橡胶收入保险赔款7997万元

2022-12-28

ATP公布2023赛历 上海大师赛升级

2022-12-28

视讯!重庆渝中区新冠疫苗流动接种车正式投用

2022-12-28

今日讯!达州市蓬安县最新产假时间有多少天

2022-12-28

世界时讯:注意!龙大美食将于2023年1月12日召开股东大会

2022-12-27

当前要闻:光明地产落实推动相关企业改革工作

2022-12-27

春节出境跟团游产品搜索量猛涨6倍,明年暑期或迎出入境高峰-天天热消息

2022-12-27

特 力A: 十届董事会第七次临时会议决议公告

2022-12-26

今日关注:国恩股份:目前公司熔喷料、熔喷布及源头PP丙烯原材料产线都在满负荷运转,保障特殊时期物资供应

2022-12-26

浙江嘉善建设社区巡回医疗点——就近就医 省时省力 每日短讯

2022-12-26

柘城县气象局发布道路结冰黄色预警「III级/较重」「2022-12-25」

2022-12-25

天天热门:最大CLIP!LAION发布CLIP的扩增定律

2022-12-25

世界最新:国家医保局将全面排查并取消医保不合理限制

2022-12-24

天天热头条丨贯穿元旦、春节、元宵三大传统佳节 保定市筹划系列活动促进节日消费

2022-12-23

ST国安董秘回复:公司2022年报告预计将于2023年4月28日披露-世界快报

2022-12-23

天天动态:普京分享潜水经验:“潜水5米对我来说就够了”

2022-12-23

国家邮政局:12月17日—20日全国主要品牌快递企业揽收量为10.74亿件 同比下降19.37%_焦点讯息

2022-12-22

土地拍卖纠纷找律师需要多少费用:全球实时

2022-12-22

炬光科技(688167)12月21日主力资金净卖出1214.88万元-热门

2022-12-22

应急管理部等多部门:加强互联网销售危险化学品安全管理_看热讯

2022-12-21

杭州一公司因虚假宣传被罚款23万元,曾声称做海外短视频一年全款买房_实时

2022-12-21

当前信息:12月LPR继续“按兵不动”

2022-12-21

全球热门:中国电信11月份5G套餐用户数达2.63亿户

2022-12-20

声动中国丨2022,谢谢你,温暖我:天天热点

2022-12-20

今日热搜:中材国际: 中国中材国际工程股份有限公司关于发行股份及支付现金购买资产暨关联交易方案调整的说明公告

2022-12-19