在三月份的時(shí)候得知了天貓的比賽，因?yàn)槭堑谝粚?#xff0c;因此自己知道得也比較晚，組隊(duì)的時(shí)候很多小伙伴都已經(jīng)組隊(duì)了，因此也就一個(gè)人組隊(duì)了。辛辛苦苦熬到了第二季的最后

一個(gè)月，學(xué)到了很多，也明白了很多自己在算法方面的不足?？醋罱笆耐瑢W(xué)已經(jīng)揭曉了，很佩服他們，也從他們的采訪中中了解到他們的算法，因此也對(duì)自己不熟悉的部分進(jìn)行學(xué)習(xí)，對(duì)自己所做過的工作進(jìn)行總結(jié)

首先再回顧一下比賽的題目：
在天貓，每天都會(huì)有數(shù)千萬的用戶通過品牌發(fā)現(xiàn)自己喜歡的商品，品牌是聯(lián)接消費(fèi)者與商品最重要的紐帶。本屆賽題的任務(wù)就是根據(jù)用戶4個(gè)月在天貓的行為日志，建立用戶的品牌偏好，并預(yù)測他們?cè)趯硪粋€(gè)月內(nèi)對(duì)品牌下商品的購買行為。

我們會(huì)開放如下數(shù)據(jù)類型：

字 段字段說明提取說明

user_id	用戶標(biāo)記	抽樣&字段加密
Time	行為時(shí)間	精度到天級(jí)別&隱藏年份
action_type	用戶對(duì)品牌的行為類型	包括點(diǎn)擊、購買、加入購物車、收藏4種行為 (點(diǎn)擊：0 購買：1 收藏：2 購物車：3）
brand_id	品牌數(shù)字ID	抽樣&字段加密

用戶對(duì)任意商品的行為都會(huì)映射為一行數(shù)據(jù)。其中所有商品ID都已匯總為商品對(duì)應(yīng)的品牌ID。用戶和品牌都分別做了一定程度的數(shù)據(jù)抽樣，且數(shù)字ID都做了加密。所有行為的時(shí)間都精確到天級(jí)別(隱藏年份)。

第二賽季和第一賽季的格式都是一樣的，只是在數(shù)據(jù)量上更大了一些：

Season 2賽季數(shù)據(jù)

1)??數(shù)據(jù)獲取方式：
?????參賽者只能登陸阿里巴巴天池集群獲取數(shù)據(jù)，且數(shù)據(jù)不能下載，所有數(shù)據(jù)分析，計(jì)算，提交評(píng)分都將在天池集群上完成。登陸天池集群方法，請(qǐng)留
?????意后續(xù)的指導(dǎo)文檔和郵件通知。
2)??數(shù)據(jù)說明：
?????提供的數(shù)據(jù)量，涉及千萬級(jí)天貓用戶，萬級(jí)天貓品牌，時(shí)間跨度4個(gè)月的行為記錄。
?????提供的訓(xùn)練數(shù)據(jù)在天池集群的表t_alibaba_bigdata_user_brand_total_1中，字段分別為：user_id，brand_id, type, visit_datetime。如圖所示

?????

?????用戶4種行為類型(Type)對(duì)應(yīng)代碼分別為：
?????點(diǎn)擊：0；購買：1；收藏：2；購物車：3
3)??提交評(píng)分方式：
?????參賽者完成用戶品牌偏好預(yù)測后，需要將結(jié)果放入指定格式的數(shù)據(jù)表（非分區(qū)表）中，要求結(jié)果表名為：t_tmall_add_user_brand_predict_dh，
?????包含user_id和brand兩列。其中brand字段為預(yù)測的偏好品牌ID，多個(gè)品牌之間用逗號(hào)(",")分隔。
?????例如：

?????

主要操作在阿里自己的天池上，上面搭載ODPS平臺(tái)，可以像sql語言一樣操作數(shù)據(jù)表，同時(shí)有MAP-Reduce可以完成一些分布式運(yùn)算，和hadoop有類似之處，還有自帶的一些xlab工具，已經(jīng)封裝了一個(gè)功能，比如對(duì)表數(shù)據(jù)進(jìn)行LR和隨機(jī)森林的運(yùn)算都可以直接通過相應(yīng)的按鈕和配置參數(shù)完成

其實(shí)對(duì)我而言，參加比賽對(duì)于結(jié)果還是不太在意的，但是阿里的賽制很有特色，他不是扔出來一個(gè)題目就結(jié)束了，比賽持續(xù)了四個(gè)月，在這四個(gè)月里，雖然也有很多別的重要的事情，但是由于淘汰賽制，一直督促自己學(xué)習(xí)，雖然不是這個(gè)相關(guān)專業(yè)，但是學(xué)會(huì)了推薦系統(tǒng)的一些基礎(chǔ)算法

為了寫出更簡潔的代碼，更專注于算法而非語言本身，學(xué)習(xí)了python

為了了解更多的算法，看完了好幾本推薦算法相關(guān)的書籍，雖然名次并不高，但是我想我已經(jīng)贏了！

之后就開始總結(jié)我學(xué)到的一些內(nèi)容，和大家分享

總結(jié)

以上是生活随笔為你收集整理的天猫大数据总结1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。