作者/小小明

來源/快學(xué)Python

常規(guī)arff文件讀取

之前有位群友遇到了arff格式的數(shù)據(jù)，卻不知道怎么讀取：

然后我讓這位群友把文件發(fā)我，給我分析一下，我用文件編輯器打開后，發(fā)現(xiàn)格式如下：

只是一個文本文本而已，解析文本文件我實在太擅長了。可以看到：

• 編碼是utf-8

• 列名都在以@attribute開頭的行

• 數(shù)據(jù)在@data的后面的部分 理解了這三點，我馬上就能用pandas直接讀取它，下面看看代碼：

import?pandas?as?pdwith?open("adult_census_19210979.arff",?encoding="utf-8")?as?f:header?=?[]for?line?in?f:if?line.startswith("@attribute"):header.append(line.split()[1])elif?line.startswith("@data"):breakdf?=?pd.read_csv(f,?header=None)df.columns?=?header df

結(jié)果如下：

為了后續(xù)使用方便，我們可以將上面的代碼封裝成函數(shù)：def?read_arrf(file):with?open(file,?encoding="utf-8")?as?f:header?=?[]for?line?in?f:if?line.startswith("@attribute"):header.append(line.split()[1])elif?line.startswith("@data"):breakdf?=?pd.read_csv(f,?header=None)df.columns?=?headerreturn?df

這樣，讀取任何arrf文件都方便，只需要直接傳入即可：

read_arrf("adult_census_19210979.arff")

然后我得到了：

不過其實scipy已經(jīng)含有讀取這種常規(guī)的arff文件的方法：import?pandas?as?pd from?scipy.io?import?arffdata,?_?=?arff.loadarff("adult_census_19210979.arff") df?=?pd.DataFrame(data) df

結(jié)果如下：

不一樣的地方主要在于字符串都會讀成字節(jié)的形式。

稀疏矩陣形式的arff文件讀取

這只是開胃小菜，昨天有位即將從電子科技大學(xué)畢業(yè)的網(wǎng)友聯(lián)系到我，說arff文件不僅僅只有上面的存儲形式，還有以稀疏矩陣的格式存儲的。

數(shù)據(jù)文件來源：http://sites.labic.icmc.usp.br/text_collections/?C=D;O=A

例如：

以稀疏矩陣形式存儲時，存儲格式是指定位置存對應(yīng)的值（空格分割）。

最終完整的讀取代碼為：

import?pandas?as?pddef?read_sparse_arrf(file):with?open(file,?encoding="utf-8")?as?f:header?=?[]default_field?=?{}field_num?=?0for?line?in?f:if?line.startswith("@attribute")?or?line.startswith("@ATTRIBUTE"):_,?name,?field_type?=?line.split()header.append(name)if?field_type.startswith("{"):default_field[field_num]?=?field_type[1:-1].split(",")[0]field_num?+=?1elif?line.startswith("@data")?or?line.startswith("@DATA"):breakdefault_field_keys?=?set(default_field.keys())width?=?len(header)data?=?[]for?line?in?f:line?=?line.strip()if?not?line:continuetmp?=?[0]*widthflags?=?set()for?kv?in?line[1:-1].split(","):k,?v?=?kv.split()k?=?int(k)if?k?not?in?default_field_keys:v?=?int(v)flags.add(k)tmp[k]?=?vfor?k?in?default_field_keys-flags:tmp[k]?=?default_field[k]data.append(tmp)return?pd.DataFrame(data,?columns=header)

測試讀取：

df?=?read_sparse_arrf("CSTR_sparse.arff") df

結(jié)果如下：

df?=?read_sparse_arrf("CSTR_sparse.arff") df

結(jié)果如下：

df?=?read_sparse_arrf("oh15.arff") df

結(jié)果如下：

注意：上面代碼假設(shè)了稀疏矩陣形式的arrf文件，非{}可選形式，均為數(shù)值類型。

最終這位朋友對結(jié)果還挺滿意的：我感覺要感謝這個朋友指出我沒有碰到過的這種arrf格式。

推薦閱讀

Pandas處理數(shù)據(jù)太慢，來試試Polars吧！

懶人必備！只需一行代碼，就能導(dǎo)入所有的Python庫

絕！關(guān)于pip的15個使用小技巧

介紹10個常用的Python內(nèi)置函數(shù)，99.99%的人都在用！

可能是全網(wǎng)最完整的 Python 操作 Excel庫總結(jié)！

總結(jié)

以上是生活随笔為你收集整理的Pandas直接读取arff格式的文件，这种需求还是头一次碰到！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。