机器学习的可解释性上注explainable通常指的是让一个本来是黑箱的东西获得可解释性的能力。interpretable通常指的是一个本来就不是黑箱的东西。Explainable Machine Learning的目标给出一个理由。Explainable Machine Learning可以分为两类Local Explanation和Global Explanation。如图Local Explanation就是要根据图片回答问题Global Explanation则是不根据特定的图片来回答问题。Local Explanation比如问为什么觉得是一只猫根据什么做出的判断。component的重要性判断方法一把每一个component都拿出来对每一个component做修改或删除如果修改或删除某一个component之后network的输出有了很大的变化就说明这个component重要。方法二计算gradient具体为用N个x表示pixele表示loss把某一个pixel的值做一点变化如果对某一个pixel做一点变化之后loss就有巨大的变化就说明这个pixel对影像辨识是重要的否则这个pixel就不重要。可以用e跟x的比值表示pixel的重要性。把每一个pixel的重要性在图片上表示出来就得到了Saliency MAp其中颜色越偏白就说明越重要。但是此方法也存在一些限制1.会收到噪声的影响解决办法SmoothGrad在图片上分别加各种不同的杂讯每一张图片都计算一次Saliency Map,比如加入一百次杂讯就得到一百张Saliency Map平均起来就得到SmoothGrad的结果。2.gradient不总是能反映重要性network如何处理输入的数据1.人眼观察2.Probing