本文轉(zhuǎn)載自 Robin.ly 社區(qū)，Robin.ly 和 TalentSeer 的創(chuàng)始人 Alex Ren 采訪了京東AI研究院的常務(wù)副院長何曉冬博士，采訪中分享了AI，leadership以及AI落地的心得。

采訪視頻地址：https://youtu.be/jZPrB_5J7dA

下文是采訪的文字整理。

Alex:大家好，我是Alex Ren，是TalentSeer的創(chuàng)始人，也是BoomingStar Ventures的合伙人。Robin.ly平臺設(shè)置的初衷是為提高廣大研究人員和工程師對AI，對Leadership以及entrepreneurship的理解。今天有幸邀請到京東AI研究院的常務(wù)副院長，也是深度學(xué)習(xí)語言語音研究所的主任，何曉冬博士。何博士曾任微軟雷德蒙研究院主任研究員，并且擔(dān)任華盛頓大學(xué)兼職教授和博士生導(dǎo)師。在深度學(xué)習(xí)，自然語言處理，語音識別，計算機視覺等很多領(lǐng)域，建樹頗多。尤其對于AI，leadership以及AI落地很有心得，何博士會在這些方面進(jìn)行分享。

Alex:何博士，你是今年年初加入京東？

何曉冬: 對，我在今年三月份正式加入京東。

Alex: 您讀博士時主要研究語音識別，后涉獵了深度學(xué)習(xí)，CaptionBot，再到Drawing bot，AttnGan，一直到最近在做的情感客服類工作，能否介紹下您的研究興趣？一路走來，AI從傳統(tǒng)方法到深度學(xué)習(xí)，您的研究路徑是什么？

何曉冬: 我做博士的時候是做語音識別。那個時候一般不談自己做AI，當(dāng)然語音識別本身是AI的一個核心問題。 在清華畢業(yè)以后，去中國科學(xué)院讀碩士研究生的時候，我開始做語音識別。那時候還是用一些統(tǒng)計模型方法，比如像馬可夫模型，高斯模型。到美國以后，讀博士時就繼續(xù)了這個方向，用統(tǒng)計方向來做語音識別。語音識別其實是一個很多年的核心問題，大家都在推進(jìn)展。博士畢業(yè)后，我加入微軟，進(jìn)入微軟研究院。我也是從語音識別開始做起，希望語音識別能產(chǎn)生一些產(chǎn)業(yè)上的幫助，創(chuàng)造價值。語音試別以后，很自然地希望理解它。因為語音識別只是把聲學(xué)信號變成一連串的文字，但其實計算機并沒有真正理解這個話的意思，所以為了理解這個話的意思，我們自然要進(jìn)入NLP，自然語言處理，包括語言理解。我在微軟研究院時候，最開始從機器翻譯入手，機器翻譯就是一個很核心的NLP問題。舉個例子，把中文翻成英文，看似很簡單，但是一代又一代科學(xué)家做了很多年。

Alex: 其實Geoffrey Hinton關(guān)于深度學(xué)習(xí)的研究，最早的應(yīng)用主要在自然語言處理方面，而且也是在微軟研究院最先完成的，對吧？

何曉冬: 這也是個很有趣的故事。可能現(xiàn)在很多人覺得圖像識別很重要，但其實深度學(xué)習(xí)最開始在核心AI技術(shù)上的突破是從大規(guī)模的語音識別突破開始的。2008年的時候，我算是第一次認(rèn)識Hinton。 那年鄧力和我，我們是同事，在NIPS會上舉辦了一個叫做“Speech and Language: Learning-Based Methods and Systems”的workshop。我們邀請了Hinton介紹他最新的工作，包括深度學(xué)習(xí)。2009年 NIPS，鄧力，俞棟，Hinton又舉辦了一個workshop。再后來微軟邀請了Hinton去訪問。同時開始招收實習(xí)生， 把項目做起來。大概在2010年左右，看到了深度學(xué)習(xí)在大規(guī)模的語音識別上產(chǎn)生了突破性的進(jìn)展。

Alex:當(dāng)時的很多工作還是比較前沿性的研究？后來開始大量應(yīng)用是2012年嗎？

何曉冬: 2010年以后， 我們在微軟內(nèi)部看到，深度學(xué)習(xí)已經(jīng)在語音識別上取得了很多進(jìn)展，認(rèn)為這是一個很有前景的方向。也扭轉(zhuǎn)整個業(yè)界對深度學(xué)習(xí)，特別是對神經(jīng)網(wǎng)絡(luò)的看法。在此之前大家都并不認(rèn)為神經(jīng)網(wǎng)絡(luò)是一個很吃香的方向。但是由于微軟及業(yè)界做出了成果，大家開始轉(zhuǎn)變了觀念。從那時候開始，在圖像，在自然語言處理方面都有了很多進(jìn)展。2012年開始，業(yè)內(nèi)以很快的速度實現(xiàn)了很多突破。

Alex: 能否介紹下CaptionBot？

何曉冬: 因為我一直在做語言，語音這一塊，包括像2012年開始，與Yoshua Bengio 合作，開始做自然語言理解，Spoken Language Understanding. 后來我們還提出了DSSM模型，也就是深度結(jié)構(gòu)語意模型。 然后我們發(fā)現(xiàn)可以go beyond the language, 抓住深度學(xué)習(xí)的契機，把不管是語音語言，還是圖像，都可在同一個語義空間用feature vector來表示，叫作embedding feature vector。這樣就使得語言和圖像這種不搭界的兩個問題，可以統(tǒng)一在同一個embedding的空間里，一個語意空間里。再進(jìn)一步擴展，如果能把圖像和文字，按照它們本身的意義和內(nèi)容，放到同一個空間里去，就可以實現(xiàn)圖像和文字的互相轉(zhuǎn)化。所以后來我們在2013年底，提出了這個proposal到微軟的一個strategic intern program，開始準(zhǔn)備做這個方向。但這不僅是我一個人的想法，也是因為數(shù)據(jù)差不多積累到合適的狀態(tài)。那時MSR剛好sponsor了一個名為MS COCO的dataset，對每一個圖片都有很多自然語言描述，使得我們的研究有了數(shù)據(jù)基礎(chǔ)。同時還有一些其他的進(jìn)展，包括端到端的機器學(xué)習(xí)，包括sequential model，這些深度學(xué)習(xí)模型都出現(xiàn)了。正好是一個合適的時間點。所以我就把我從語言理解專業(yè)又?jǐn)U到了多模態(tài)的領(lǐng)域，具體的說是image captioning領(lǐng)域，并跟同事們一起打造了CaptionBot。

Alex: 后來你又做了一些研究，比如Drawingbot，AttnGAN，能介紹一下什么是AttnGAN嗎？

何曉冬: GAN現(xiàn)在可能大家現(xiàn)在比較熟，就是Generative Adversarial Networks, 對抗性生成網(wǎng)絡(luò)，被應(yīng)用于生成圖像。我們之所以做AttnGAN，是想做CaptionBot的反向，做一個closed loop。CaptionBot是從圖片生成它的文字描述。AttnGAN，是GAN的一個擴展，是從文字描述生成一個對應(yīng)圖片。AttnGAN試圖引入一種像人一樣的attention的機制，使得我們在畫圖時，在畫每一個局部的細(xì)節(jié)時，能對應(yīng)到文字里的每一個細(xì)節(jié)。AttnGAN是專門針對局部對局部的語意對照做的一個模型，讓畫的圖更加精細(xì)。基于AttnGAN算法我們開發(fā)的一個智能繪畫機器人就叫DrawingBot。

Alex:舉個例子，如果想畫我們Logo的這只鳥，應(yīng)該如何描述？

何曉冬: 那你可對DrawingBot說，我想畫一只鳥，她的脖子是橘色的，肚子是白色的，羽翼是灰色的。Drawing bot 就會畫這么一只鳥。

Alex:目前已經(jīng)有人開始利用技術(shù)進(jìn)行創(chuàng)作了嗎？

何曉冬: 現(xiàn)在我們還在討論階段。其實在我來硅谷之前，清華美院舉辦了叫 Art and Design 3.0 Forum的論壇，我在論壇上做了一個小發(fā)言，就是展示了一些類似的例子。什么是想象力？我們以前認(rèn)為只有人才有想象力，機器只有記憶。其實在某些層面上，機器是可以看到很多不同的角度，畫出一只全新的鳥。這個鳥可能在這個世界上從來沒有存在過，有不同的顏色。甚至我們有一個bug把一只鳥的嘴巴都畫成藍(lán)色，這肯定是不存在的。但這也可以看成機器的想象力，就像是小孩子一樣，可以想象出一些世界上沒出過的東西。本質(zhì)上生成就是在一個空間內(nèi)按某種分布采樣，想象力可看成在一個合理區(qū)間的邊緣采樣。

Alex: 目前京東把AI的技術(shù)運用到線上線下零售領(lǐng)域。這方面的側(cè)重點是什么？

何曉冬: 京東有一個很全的鏈條，包括廠家采購，到網(wǎng)站做display，交易，到售后服務(wù)，做收付款，包括送貨，及可能需要的退貨處理。京東的鏈條非常長。在每個環(huán)節(jié)，AI都可以有很重要的應(yīng)用，或者促進(jìn)。舉一個簡單的例子，比如售后服務(wù)。京東有一個智能客服機器人。如果用戶買東西有些問題，可以通過聊天來問這個機器人，為什么東西還沒到，為什么東西損壞了。chatbot 就是一個經(jīng)典的AI應(yīng)用。研究院成立以來，進(jìn)一步促進(jìn)了AI的應(yīng)用，改進(jìn)了智能客服。其中之一就是在智能客服加入了情感。以前我們的chatbot就事論事的回答用戶的問題。后來我們發(fā)現(xiàn)，當(dāng)客戶來聯(lián)系客服的時候，往往帶有一些情緒，比如，不高興，生氣或者焦急。所以我們最近的一個工作就是，通過AI把情感智能加入到chatbot中，能夠檢測到用戶的情緒，同時交談時，也會相應(yīng)的生成一些安撫性的語言，使用戶感受到被關(guān)心被關(guān)注，更加人性化，溫暖的交互使得用戶的滿意度提高了很多

Alex: 你本身完成了一個transition：從一個很有成就的AI研究人員，到領(lǐng)導(dǎo)京東的AI research。更多涉及AI商業(yè)化。你個人在從researcher 到 leader這個transition過程，遇到了什么挑戰(zhàn)？什么事情促使你做了這個轉(zhuǎn)變?

何曉冬: 轉(zhuǎn)變可能有兩個點。第一，從理論研究到實踐。我以前在微軟研究院，做研究更多一些。但是京東有這個機會，把AI 進(jìn)行產(chǎn)業(yè)上的應(yīng)用。比如，剛舉的客服的例子。一方面是機會，一方面是挑戰(zhàn)。怎么樣讓AI確實在產(chǎn)業(yè)層面產(chǎn)生大規(guī)模的impact，更加有影響力。這是挑戰(zhàn)也是轉(zhuǎn)變。意味著思考問題的出發(fā)點要進(jìn)行調(diào)整。第二，如何進(jìn)行多重協(xié)作。工程上有很多involvement，怎樣組織多個工程團(tuán)隊共同工作，從而真正做到一個可大規(guī)模推廣，大規(guī)模應(yīng)用的程度，而不僅僅局限在實驗室里。

Alex: 可以分享下帶領(lǐng)團(tuán)隊方面的心得么？

何曉冬: 談不上太多心得。就是一些個人小小的分享。比如說一個團(tuán)隊做事情，很多時候要給大家講得很清楚，給大家一個統(tǒng)一的vision。這個事情的意義在什么地方，每個人為什么做這個事情，要讓大家感到驕傲。明確purpose 同時feel proud of it. 讓每個成員知道你做的這個事情將會很有影響力的。不是無足輕重，而是說目前你所從事的工作，在產(chǎn)業(yè)上，在本質(zhì)上，在thought leadership上都很領(lǐng)先的。像我們的情感客服是業(yè)界領(lǐng)先的大規(guī)模商用。小規(guī)模的可能有，但如此大規(guī)模的商用，京東應(yīng)該是領(lǐng)先的。認(rèn)識到這一點以后，每個工程師，每個團(tuán)隊成員，就可以更統(tǒng)一起來。

Alex:你覺得中國AI研究的優(yōu)勢在哪里呢？

何曉冬: 中國的優(yōu)勢在于可以很快的放大思想的影響力。中國規(guī)模非常大，以京東為例，京東能夠服務(wù)超過3億的消費者，他們每天都會在京東這個平臺上進(jìn)行大量的活動，所以算法和模型上的創(chuàng)新，可以很快被放大到整個平臺上去。同時，另一方面，用戶和算法模型之間的交互比如智能客服，會產(chǎn)生大量數(shù)據(jù)。這些數(shù)據(jù)可以刺激新的算法。這個交互循環(huán)會非常快，這是在中國做AI的一個優(yōu)勢。

Alex:能說說3-5年內(nèi)，你的個人目標(biāo)是什么嗎？

何曉冬: 我個人希望看看AI能不能在典型的大規(guī)模產(chǎn)業(yè)化的基礎(chǔ)上，落地并產(chǎn)生影響。大家知道AI經(jīng)過幾次寒冬，也經(jīng)過幾次高潮。我個人對這次的高潮更加樂觀。因為AI要真正要落地才能對整個社會產(chǎn)生影響。這也是為什么像京東有那么長的鏈條，有那么多數(shù)據(jù)，是一個很好的落地機會。隨后三到五年，我希望把研究方面或者技術(shù)方面的一些先進(jìn)的技術(shù)和模型，真正的帶到產(chǎn)業(yè)上進(jìn)行落地。一方面驗證或者促進(jìn)研究，另一方面是希望提高這個產(chǎn)業(yè)本身，并引領(lǐng)產(chǎn)業(yè)的一些變革。

Alex:深度學(xué)習(xí)快速發(fā)展了一段時間，已經(jīng)出現(xiàn)了了很多framework和工具之類的，一些很多軟件工程師，或者算法工程師做這些方面的應(yīng)用技術(shù)也更加容易，甚至一些高中生也可以調(diào)整參數(shù)。既然如此，我們是否還需要昂貴的AI researcher呢？

何曉冬: 會調(diào)參數(shù)的高中生相當(dāng)寶貴，如果有，立馬把她找過來做我的實習(xí)生！從研究方面，我們對研究員提出的要求更高了，不是說把模塊，或者神經(jīng)層，往那一疊，就變成了一個新模型。要在算法上真正有創(chuàng)新。希望研究員們的創(chuàng)新可以帶來更多深遠(yuǎn)的影響。

Alex: 所以現(xiàn)在的工作更多的轉(zhuǎn)向了engineering，理解市場，理解需求？

何曉冬: 對。我現(xiàn)在越來越關(guān)注這個方向。同時研究還是希望能繼續(xù)保持，包括publication和參加學(xué)術(shù)會議，一方面知道最新的思想發(fā)展，另一方面也花一些精力看怎么樣有可能在產(chǎn)業(yè)上產(chǎn)生影響，在實際過程中產(chǎn)生影響。

Alex: 根據(jù)你的經(jīng)歷，你看到深度學(xué)習(xí)技術(shù)本身，或者這個research，未來的研究方向有什么樣的變化？

何曉冬: 其實 深度學(xué)習(xí)帶來很多AI上的進(jìn)步，但我們還有很多沒有理解的地方。舉個例子說，我們從感知，試別語音和圖像，進(jìn)化到認(rèn)知，做閱讀理解。實際上我們沒有真正理解，人是怎么理解文字的。這可能還需要從認(rèn)知(cognition)的角度來看，才能更深的理解這個問題。另一方面，我們也不知道人的大腦到底是怎么工作的，我們說神經(jīng)網(wǎng)絡(luò)，神經(jīng)這個詞我們是從大腦借過來的，但是并不知道大腦真正怎么工作。

Alex:所以我們叫Artificial Intelligence嘛。

何曉冬: 所以那么現(xiàn)在可能是個機會，我們能不能真正理解大腦是的工作機制。如果能真正理解，會促進(jìn)我們技術(shù)的提高。

Alex:其實更多的角度是從腦科學(xué)，或者cognitive science去借鑒一些方法？

何曉冬: 某些研究領(lǐng)域是這樣。但是產(chǎn)業(yè)方面，我倒認(rèn)為，隨后看得見的10年之內(nèi)，深度學(xué)習(xí)是一個主流的能夠推動AI前進(jìn)的核心方向。這個問題很簡單，并不是說深度學(xué)習(xí)本身有什么magic，而是因為整個過去十年和隨后十年，一個很大的趨勢是計算力（computation power）在指數(shù)級別增長。數(shù)據(jù)，特別是無結(jié)構(gòu)的文本，圖像，也在指數(shù)級增長。從這兩點，能take這兩個benefit的模型，算法和技術(shù)，也會有一個指數(shù)級增長的機會。所以深度學(xué)習(xí)就正好有整個特性，有足夠大的capacity，能夠用到那么大的計算力量，同時又能夠把這么多數(shù)據(jù)消化掉。從一個工程化，或者應(yīng)用的角度看，這是深度學(xué)習(xí)的一個優(yōu)勢。 從研究看，確實要懂，要理解是怎么回事，理解腦是怎么工作的，那是另外一個研究領(lǐng)域。

Alex: 感謝何博士對AI，深度學(xué)習(xí)整體的介紹，從introduce到語音識別，自然語言處理，到現(xiàn)在做的在零售領(lǐng)域應(yīng)用AI，做到情感交互機器人互動等各個領(lǐng)域的介紹。也感謝你分享了個人職業(yè)生涯上，從researcher到leader的transition，包括他所做工作的不同transition。希望你在這方面能做出更多的成果，希望京東在AI落地上取得更多成果。

何曉冬: 非常感謝給我機會可以和大家進(jìn)行交流。

查看原文鏈接：https://www.robinly.info/blog/no-3-xiaodong-he-robin-ly-ai-talk

總結(jié)

以上是生活随笔為你收集整理的京东AI研究院何晓冬：将先进的技术和模型落地到产业的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。