刪除序列相同元素并保持順序

問題

怎樣在一個序列上面保持元素順序的同時消除重復的值？

解法

如果序列上的值都是 hashable 類型，那么可以很簡單的利用集合或者生成器來解決這個問題。比如：

def dedupe(items):seen = set()for item in items:if item not in seen:yield itemseen.add(item)

下面是使用上述函數的例子：

>>> a = [1, 5, 2, 1, 9, 1, 5, 10] >>> list(dedupe(a)) [1, 5, 2, 9, 10] >>>

這個方法僅僅在序列中元素為 hashable 的時候才管用。如果你想消除元素不可哈希 (比如 dict 類型) 的序列中重復元素的話，你需要將上述代碼稍微改變一下，就像這樣：

def dedupe(items, key=None):seen = set()for item in items:val = item if key is None else key(item)if val not in seen:yield itemseen.add(val)

這里的 key 參數指定了一個函數，將序列元素轉換成 hashable 類型。下面是它的用法示例：

>>> a = [ {'x':1, 'y':2}, {'x':1, 'y':3}, {'x':1, 'y':2}, {'x':2, 'y':4}] >>> list(dedupe(a, key=lambda d: (d['x'],d['y']))) [{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 2, 'y': 4}] >>> list(dedupe(a, key=lambda d: d['x'])) [{'x': 1, 'y': 2}, {'x': 2, 'y': 4}] >>>

如果你想基于單個字段、屬性或者某個更大的數據結構來消除重復元素，第二種方案同樣可以勝任。

討論

如果你僅僅就是想消除重復元素，通常可以簡單的構造一個集合。比如：

>>> a [1, 5, 2, 1, 9, 1, 5, 10] >>> set(a) {1, 2, 10, 5, 9} >>>

在本節中我們使用了生成器函數讓我們的函數更加通用，不僅僅是局限于列表處理。比如，如果如果你想讀取一個文件，消除重復行，你可以很容易像這樣做：

with open(somefile,'r') as f:for line in dedupe(f):...

上述 key 函數參數模仿了 sorted() , min() 和 max() 等內置函數的相似功能。

總結

以上是生活随笔為你收集整理的《Python Cookbook 3rd》笔记（1.10）：删除序列相同元素并保持顺序的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。