NLP的過去
最早的NLP研究工作是機器翻譯。1949年，美國工程師韋弗（W. Weaver）首先提出了機器翻譯的設(shè)計方案。20世紀(jì)60年代，許多科學(xué)家對機器翻譯曾有大規(guī)模的研究工作，耗費了巨額費用；但他們顯然是低估了自然語言的復(fù)雜性，語言處理的理論和技術(shù)均不成熟，所以進展不大。當(dāng)時的主要做法是存儲兩種語言的單詞、短語對應(yīng)譯法的大辭典，翻譯時一一對應(yīng)，技術(shù)上只是調(diào)整語言的同條順序。但日常生活中語言的翻譯遠不是如此簡單，很多時候還要參考某句話前后的意思。
大約90年代開始，NLP領(lǐng)域發(fā)生了巨大的變化。這種變化的兩個明顯的特征是：(1)對系統(tǒng)的輸入，要求研制的NLP系統(tǒng)能處理大規(guī)模的真實文本，而不是如以前的研究性系統(tǒng)那樣，只能處理很少的詞條和典型句子。只有這樣，研制的系統(tǒng)才有真正的實用價值。(2)對系統(tǒng)的輸出，鑒于真實地理解自然語言是十分困難的，對系統(tǒng)并不要求能對自然語言文本進行深層的理解，但要能從中抽取有用的信息。例如，對自然語言文本進行自動地提取關(guān)鍵詞、摘要等。
同時，由于強調(diào)了“大規(guī)模”和“真實文本”，因此兩方面的基礎(chǔ)性工作也得到了重視和加強：(1)大規(guī)模真實語料庫的研制。大規(guī)模的經(jīng)過不同深度加工的真實文本的語料庫，是研究自然語言統(tǒng)計性質(zhì)的基礎(chǔ)。沒有它們，統(tǒng)計方法只能是無源之水。(2)大規(guī)模、信息豐富的詞典的編制工作。規(guī)模為幾萬、十幾萬、甚至幾十萬詞，含有豐富的信息(如包含詞的搭配信息)的計算機可用詞典對NLP的重要性是很明顯的。
NLP的現(xiàn)在
數(shù)據(jù)系統(tǒng)的輸入與輸出這兩個特征在NLP的諸多領(lǐng)域都有所體現(xiàn), 其發(fā)展直接促進了計算機自動檢索技術(shù)的出現(xiàn)和興起。實際上, 隨著計算機技術(shù)的不斷發(fā)展, 以海量計算為基礎(chǔ)的機器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)的表現(xiàn)也愈發(fā)優(yōu)異。自然語言處理之所以能夠度過“寒冬”, 再次發(fā)展, 也是因為統(tǒng)計科學(xué)與計算機科學(xué)的不斷結(jié)合, 才讓人類甚至機器能夠不斷從大量數(shù)據(jù)中發(fā)現(xiàn)“特征”并加以學(xué)習(xí)。不過要實現(xiàn)對自然語言真正意義上的理解，僅僅從原始文本中進行學(xué)習(xí)是不夠的，我們需要新的方法和模型。
目前存在的問題主要有兩個方面：一方面，迄今為止的語法都限于分析一個孤立的句子，上下文關(guān)系和談話環(huán)境對本句的約束和影響還缺乏系統(tǒng)的研究，因此分析歧義、詞語省略、代詞所指、同一句話在不同場合或由不同的人說出來所具有的不同含義等問題，尚無明確規(guī)律可循，需要加強語用學(xué)的研究才能逐步解決。另一方面，人理解一個句子不是單憑語法，還運用了大量的有關(guān)知識，包括生活知識和專門知識，這些知識無法全部貯存在計算機里。因此一個書面理解系統(tǒng)只能建立在有限的詞匯、句型和特定的主題范圍內(nèi)；計算機的貯存量和運轉(zhuǎn)速度大大提高之后，才有可能適當(dāng)擴大范圍。
無論實現(xiàn)自然語言理解，還是自然語言生成，都遠不如人們原來想象的那么簡單，而是十分困難的。從現(xiàn)有的理論和技術(shù)現(xiàn)狀看，通用的、高質(zhì)量的NLP系統(tǒng)，仍然是較長期的努力目標(biāo)。正如中國知名學(xué)者周海中（筆名“周求知”）曾在《自然語言理解的研究歷程》一文中指出的“雖然現(xiàn)今市場上出現(xiàn)不少可以進行一定自然語言處理的商品軟件，但要想讓機器能像人類那樣自如地運用自然語言，仍是一項長遠而艱巨的任務(wù)。”造成困難的根本原因是自然語言文本和對話的各個層次上廣泛存在的各種各樣的歧義性或多義性。
NLP的未來
由于語言學(xué)、語言工程、認知科學(xué)等主要局限于實驗室,目前來看數(shù)據(jù)處理可能是NLP應(yīng)用場景最多的一個發(fā)展方向。實際上, 自從進入大數(shù)據(jù)時代, 各大平臺就沒有停止過對用戶數(shù)據(jù)的深度挖掘。要想提取出有用的信息, 僅提取關(guān)鍵詞、統(tǒng)計詞頻等是遠遠不夠的, 必須對用戶數(shù)據(jù) (尤其是發(fā)言、評論等)進行語義上的理解。另外，利用離線大數(shù)據(jù)統(tǒng)計分析的方法進行NLP任務(wù)的研究是目前非常有潛力的一種研究范式，尤其是谷歌、推特、百度等大公司在這類應(yīng)用上的成功經(jīng)驗，引領(lǐng)了目前大數(shù)據(jù)研究的浪潮。
NLP是為各類企業(yè)及開發(fā)者提供的用于文本分析及挖掘的核心工具，已經(jīng)廣泛應(yīng)用在電商、文化娛樂、金融、物流等行業(yè)客戶的多項業(yè)務(wù)中。它可幫助用戶搭建內(nèi)容搜索、內(nèi)容推薦、輿情識別及分析、文本結(jié)構(gòu)化、對話機器人等智能產(chǎn)品，也能夠通過合作，定制個性化的解決方案。由于理解自然語言，需要關(guān)于外在世界的廣泛知識以及運用操作這些知識的能力，所以NLP也被視為解決強人工智能的核心問題之一，其未來一般也因此密切結(jié)合人工智能發(fā)展。
長文本的智能解析是頗具挑戰(zhàn)性的任務(wù)，如何從紛繁多變、信息量龐雜的冗長文本中獲取關(guān)鍵信息，一直是文本領(lǐng)域難題；這一難題有待解決。另外，訓(xùn)練NLP文本解析人工智能系統(tǒng)需要采集大量多源頭數(shù)據(jù)集，對科學(xué)家來說是一項持續(xù)的挑戰(zhàn)：需要使用最新的深度學(xué)習(xí)模型，模仿人類大腦中神經(jīng)元的行為，在數(shù)百萬甚至數(shù)十億的注釋示例中進行訓(xùn)練來持續(xù)改進。當(dāng)下一種流行的NLP解決方案是預(yù)訓(xùn)練，它改進了對未標(biāo)記文本進行訓(xùn)練的通用語言模型，以執(zhí)行特定任務(wù)。
總而言之，NLP 的目標(biāo)是讓計算機在理解語言上像人類一樣智能；它的最終目標(biāo)是彌補人類交流(自然語言)和計算機理解(機器語言)之間的差距。我們完全可以相信，隨著計算機科學(xué)和人工智能的發(fā)展，NLP對未來科技的進步將做出不可磨滅的貢獻。
nlp 責(zé)編：微科普