? 我是在差分隱私下看到的，新解決方案的可用性肯定小于原有解決方案的可用性，也就是說信息的后續處理只會降低所擁有的信息量。

? 那么如果這么說的話為什么還要做特征工程呢，這是因為該不等式有一個巨大的前提就是數據處理方法無比的強大，比如很多的樣本要分類，我們做特征提取后，SVM效果很好 ，但是如果用DNN之類的CNN、AuToEncoder，那么效果反而不如原來特征。這樣就能理解了，DNN提取能力更強，那么原始就要有更多的信息，在新特征下無論怎么提取，信息就那么多。

? 信息量越多越好么？肯定不是，否則為什么PCA要做降噪和去冗余呢？我們的目的是有效的信息最大化。

? 另外一種理解就是從互信息不為0（信息損失）來解釋。

? 從而

?

? 那么如何在處理過程中不丟失有效信息呢？這時候就需要數學上的充分統計量，也就是g是y的充分統計量。

總結

以上是生活随笔為你收集整理的数据处理不等式：Data Processing Inequality的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。