自然語言處理簡稱NLP是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向，從字面意思來看，Natural language應(yīng)該是可以只語音和文本語言，但現(xiàn)在大家主流的看法，都把語言數(shù)據(jù)歸類為語音處理的范疇，因此大多數(shù)情況下，人們認(rèn)為自然語言處理，是指對文字或文本的處理，我們可以認(rèn)為，自然語言處理就是讓計(jì)算機(jī)讀懂人類語言，將文字轉(zhuǎn)化為可以被計(jì)算的物體，可以是數(shù)字向量，也可以是矩陣，再根據(jù)實(shí)際任務(wù)進(jìn)一步處理。
NLP任務(wù)大體可以分成兩大類，一種是文本序列到文本序列及輸入文本并輸出文本，比如常見的機(jī)器翻譯和文本風(fēng)格遷移，當(dāng)機(jī)器翻譯指將一種語言翻譯為另一種語言文本風(fēng)格遷移，只可以將負(fù)面的文本轉(zhuǎn)為正面的句子，或者對現(xiàn)代文與文言文的風(fēng)格進(jìn)行轉(zhuǎn)化；
而另一種是指序列到類別，比如情感分類、實(shí)體命名、識別等，情感分類指對文本進(jìn)行分析，推理的過程，將輸入的文本劃分為正面或負(fù)面的兩種或幾種類型；
實(shí)體命名識別是指識別文本中具有特定意義的食品，比如人名、地名、機(jī)構(gòu)名、專有名詞等，是一項(xiàng)十分重要的基礎(chǔ)任務(wù)，它以文本序列為輸入輸出序列上每個位置的標(biāo)簽。
我們再來看一個機(jī)器人的例子，對話機(jī)器人可以分成兩種，閑聊型和任務(wù)導(dǎo)向型，閑聊機(jī)器人并不能給人一種在于正常人溝通的感覺，還有很多問題待解決，比如角色一致性、多輪會話、對上下文保有記憶等；未來的發(fā)展上，針對不同的人群，閑聊機(jī)器人可能還需要有一致的人格，懂常識和領(lǐng)域知識，有同理心任務(wù)導(dǎo)向的對話，機(jī)器人能夠協(xié)助人完成某件事，比如訂機(jī)票、小鬧鐘、問天氣等，我們需要一個模型，把過去已經(jīng)有的歷史對話筒都輸入到一個模型中，這個模型可以輸出一個序列當(dāng)作現(xiàn)在機(jī)器的回復(fù)，一般而言，我們會把這個模型在細(xì)分成很多模塊兒，不會是端對端的，這些模塊通常就包括自然語言理解。
NLP行動策略管理以及自然語言生成，NLP自然語言理解負(fù)責(zé)根據(jù)上下文去理解當(dāng)前用戶的。一圖方便選出下一步候選的行為，如執(zhí)行系統(tǒng)操作、澄清還是補(bǔ)全信息，確定好行動之后，自然語言生成模塊會生成出對其行動的回復(fù)，具體的說，會用來根據(jù)上下文來理解哪些信息是對當(dāng)前任務(wù)重要的，比如訂房任務(wù)中的聯(lián)系人、入住人數(shù)、入住日期等，理解出的信息就變成一個類別，作為狀態(tài)，交給策略管理模塊，去判斷當(dāng)前還有哪些信息缺失，是否需要繼續(xù)詢問，還是說信息已經(jīng)全部，姑且可以執(zhí)行命令，如果需要補(bǔ)充信息，則要根據(jù)缺失的信息去讓自然語言生成模塊生成問題。
