【學(xué)長學(xué)長，你的復(fù)試結(jié)束了么？】

　　蘇飛剛從企鵝會議上下線，VX就收到了林依曼的消息。

　　這小學(xué)妹還附著一個哇庫哇庫.jpg。

　　【嗯嗯，剛結(jié)束。】

　　【感覺如何？】

　　對面秒回。

　　【應(yīng)該沒什么問題。】

　　【不愧是學(xué)長！】

　　小學(xué)妹發(fā)來了一個棒棒的表情包。

　　額，蘇飛覺得，在表情包上，這小學(xué)妹和老趙應(yīng)該會很有話題。

　　【你呢？昨天國競應(yīng)該就結(jié)束了吧？感覺如何？】

　　【還是蠻難的，但學(xué)長押對了作文題，而且聽力考的專業(yè)范圍也和學(xué)長預(yù)料的差不多，我感覺有機(jī)會前三！】

　　小學(xué)妹又發(fā)了個顏文字的表情包。

　　蘇飛看到這句話和附帶的表情包，都能想象到這小學(xué)妹那激動的樣子。

　　看來這次競賽，她還蠻有把握的。

　　不過蘇飛隨即就想起，林依曼對她自己的廚藝和象棋好像也蠻有把握的……算了算了，還是聽天由命吧。

　　蘇飛也不強(qiáng)求林依曼的這個任務(wù)能成功，畢竟這小學(xué)妹是差點沒進(jìn)國賽的水平，讓她在一個月內(nèi)突擊到國賽前三，這難度屬實是地獄級，當(dāng)然，如果能完成任務(wù)拿到獎勵那是最好不過了。

　　蘇飛這邊發(fā)了個很棒的表情包過去，結(jié)束了和小學(xué)妹的對話。

　　接下來的幾分鐘，他又分別收到了老趙、舍友們甚至他老爸老媽的詢問，蘇飛一一回復(fù)。

　　在搞定所有事情后，他便離開了為了參加面試而訂的鐘點房。

　　在宿舍面試的話，蘇飛怕樓道間吵鬧的聲音影響到教授們，而校園里的一些會議室他又沒權(quán)使用，也不想因為這點小事就去麻煩老趙，所以在外邊訂了個鐘點房。

　　事實證明，隔音效果還真不錯，怪不得每次周末這個時間段鐘點房都是滿滿的。

　　…

　　…

　　接下來了半周，蘇飛沉迷于圖書館，一直在機(jī)器學(xué)習(xí)這本書和深度學(xué)習(xí)的一些教材上打轉(zhuǎn)。

　　而在周三這一天，他的Transformer模型終于再次跑完了機(jī)器翻譯任務(wù)。

　　在蘇飛再次更改和微調(diào)參數(shù)后，Transformer的機(jī)器翻譯任務(wù)評價提升到了28.4分，但是所花的時間比上次也多了一天。

　　這個分?jǐn)?shù)蘇飛是很滿意了，在如今機(jī)器翻譯的國際評價普遍只有26分上下的時代，28.4分已經(jīng)遠(yuǎn)遠(yuǎn)超越了如今的所有主流模型，速度上雖然不如上次的結(jié)果，但也比主流模型快了百分之十。

　　蘇飛想了想，決定把上次的模型參數(shù)和這次的模型參數(shù)一起上傳，上次的實驗結(jié)果在速度上比這次快，但分?jǐn)?shù)只有27.3，而這次的實驗結(jié)果雖然速度慢了點，但分?jǐn)?shù)又漲了1分。

　　這歸根結(jié)底，其實是第一次實驗時參數(shù)比較少，所以計算量小，速度快，精度低。

　　但無論哪次實驗結(jié)果，無論速度還是精度，都大大優(yōu)于目前的主流模型。

　　既然如此，就把第一次的模型命名為Transformer（base），意為基礎(chǔ)版本的Transformer，而把第二次添加參數(shù)后的模型命名為Transformer（big），意為加強(qiáng)版本的Transformer。

　　額，我算不算自己給自己打補(bǔ)丁？

　　蘇飛突然感覺自己的做法有些奇怪，搞得像是游戲代碼的維修老師傅一樣。

　　因為論文的框架之前就已經(jīng)打好了，這次蘇飛直接做好圖和數(shù)據(jù)，添加進(jìn)論文里，《Attention is all you need》這篇論文就完稿了。

　　蘇飛登錄ACL的收稿網(wǎng)站，直接把論文和代碼庫一起傳了上去。

　　ACL這個頂會的審稿效率比AAAI要高得多。

　　ACL采用滾動審稿機(jī)制，這個審稿機(jī)制能保證投稿人的論文在一個月內(nèi)被審稿，這也就保證了不會出現(xiàn)一篇論文因為遲遲不審稿而錯過截止日期的尷尬情況。

　　也正是有這種滾動審稿機(jī)制，原本許多想投AAAI的論文轉(zhuǎn)投到了ACL這邊，就是因為這邊有保障啊。

　　投到AAAI那邊，審稿時間就是看審稿人心情，質(zhì)量好的論文還好說，只要能一輪完成審稿，幾乎都趕得上時間，但問題是投這種頂會的很多論文都是不上不下，卡在及格線邊緣的，這些論文趕不趕得上截止日期純憑運氣。

　　隨著蘇飛提交成功，論文狀態(tài)被修改為“已分配AC”，意思是蘇飛的論文被提交給了領(lǐng)域主席，ACL的領(lǐng)域主席和AAAI的技術(shù)編輯很像，就是先初篩一遍這篇論文，如果是垃圾論文，那就沒必要轉(zhuǎn)交給審稿人了，順便再查下實驗內(nèi)容有沒有違反道德或者論文表述過不過關(guān)之類的。

　　‘系統(tǒng)，使用插隊卡。’

　　上次蘇飛買了一張插隊卡還沒用，這次直接就用上了。

　　由于ACL的獨特機(jī)制，他倒不擔(dān)心會因為審稿問題而錯過截止日期，但如果能盡快出結(jié)果他也是十分樂意的。

　　差不多十幾分鐘，蘇飛的郵箱就收到了提示，他的論文狀態(tài)被修改為“正在審稿”。

　　不過，這個過程估計得蠻久的，審稿的流程上，ACL和AAAI有些類似，也是采用完全的盲審制度，但與AAAI不同的是，ACL只會聘請三位審稿人，一輪審?fù)辏缓笞钌衿娴膩砹耍詈蟀褜徃逡庖娺€得返還給領(lǐng)域主席，由審稿人和領(lǐng)域主席一起討論，決定錄不錄用這篇論文，這個討論的過程可能會耗點時間。

　　前前后后搞了差不多一個多月的Transformer終于被投了出去，蘇飛也是伸了個懶腰。

　　這篇論文他傾注的心血不可謂不多啊，系統(tǒng)的兩張靈感激發(fā)卡，又死皮賴臉地向老趙借了一個月的服務(wù)器使用權(quán)限，而且還把這服務(wù)器給霸權(quán)了。

　　為了讓模型的性能達(dá)到最佳，他兩次調(diào)參實驗，因為他不想讓Transformer像ELMo一樣，在實驗任務(wù)和一些細(xì)節(jié)上顯得粗糙，他想盡量讓這個模型達(dá)到完美。

　　近十年來，有多少深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的專家們都在嘗試用注意力機(jī)制做文章，每個人都知道注意力機(jī)制有大用，但又都無法將它的功效發(fā)揮的淋漓盡致。

　　注意力機(jī)制就像是深度學(xué)習(xí)這顆大樹上的誘人的粉嫩果實，每個人都想踮起腳尖去采摘這水嫩嫩的嫣紅，然而從沒人真正品嘗到它的魅力。

　　而今天，蘇飛算是把這果實連枝帶葉一起帶走了。