今年12月1日，OpenAI推出人工智能聊天原型ChatGPT，再次賺足眼球，為AI界引發了類似AIGC讓藝術家失業的大討論。

據報道，ChatGPT在開放試用的短短幾天，就吸引了超過 100 萬互聯網注冊用戶。并且社交網絡流傳出各種詢問或調戲ChatGPT的有趣對話。甚至有人將ChatGPT比喻為“搜索引擎+社交軟件”的結合體，能夠在實時互動的過程中獲得問題的合理答案。

ChatGPT 是一種專注于對話生成的語言模型。它能夠根據用戶的文本輸入，產生相應的智能回答。這個回答可以是簡短的詞語，也可以是長篇大論。其中GPT是Generative Pre-trained Transformer（生成型預訓練變換模型）的縮寫。

通過學習大量現成文本和對話集合（例如Wiki），ChatGPT能夠像人類那樣即時對話，流暢的回答各種問題。（當然回答速度比人還是慢一些）無論是英文還是其他語言（例如中文、韓語等），從回答歷史問題，到寫故事，甚至是撰寫商業計劃書和行業分析，“幾乎”無所不能。甚至有程序員貼出了ChatGPT進行程序修改的對話。

ChatGPT也可以與其他AIGC模型聯合使用，獲得更加炫酷實用的功能。例如上面通過對話生成客廳設計圖。這極大加強了AI應用與客戶對話的能力，使我們看到了AI大規模落地的曙光。

1，ChatGPT的傳承與特點

1.1 OpenAI家族

我們首先了解下OpenAI是哪路大神。

OpenAI總部位于舊金山，由特斯拉的馬斯克、Sam Altman及其他投資者在2015年共同創立，目標是開發造福全人類的AI技術。而馬斯克則在2018年時因公司發展方向分歧而離開。

此前，OpenAI 因推出 GPT系列自然語言處理模型而聞名。從2018年起，OpenAI就開始發布生成式預訓練語言模型GPT（Generative Pre-trained Transformer），可用于生成文章、代碼、機器翻譯、問答等各類內容。

每一代GPT模型的參數量都爆炸式增長，堪稱“越大越好”。2019年2月發布的GPT-2參數量為15億，而2020年5月的GPT-3，參數量達到了1750億。

GPT家族主要模型對比

1.2 ChatGPT的主要特點

ChatGPT 是基于GPT-3.5（Generative Pre-trained Transformer 3.5）架構開發的對話AI模型，是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演練，或用于收集大量對話數據。

ChatGPT的主要特點

OpenAI使用 RLHF（Reinforcement Learning from Human Feedbac，人類反饋強化學習） 技術對 ChatGPT 進行了訓練，且加入了更多人工監督進行微調。

此外，ChatGPT 還具有以下特征：

1）可以主動承認自身錯誤。若用戶指出其錯誤，模型會聽取意見并優化答案。

2）ChatGPT 可以質疑不正確的問題。例如被詢問 “哥倫布 2015 年來到美國的情景” 的問題時，機器人會說明哥倫布不屬于這一時代并調整輸出結果。

3）ChatGPT 可以承認自身的無知，承認對專業技術的不了解。

4）支持連續多輪對話。

與大家在生活中用到的各類智能音箱和“人工智障“不同，ChatGPT在對話過程中會記憶先前使用者的對話訊息，即上下文理解，以回答某些假設性的問題。ChatGPT可實現連續對話，極大的提升了對話交互模式下的用戶體驗。

對于準確翻譯來說（尤其是中文與人名音譯），ChatGPT離完美還有一段距離，不過在文字流暢度以及辨別特定人名來說，與其他網絡翻譯工具相近。

由于 ChatGPT是一個大型語言模型，目前還并不具備網絡搜索功能，因此它只能基于2021年所擁有的數據集進行回答。例如它不知道2022年世界杯的情況，也不會像蘋果的Siri那樣回答今天天氣如何、或幫你搜索信息。如果ChatGPT能上網自己尋找學習語料和搜索知識，估計又會有更大的突破。

即便學習的知識有限，ChatGPT 還是能回答腦洞大開的人類的許多奇葩問題。為了避免ChatGPT染上惡習， ChatGPT 通過算法屏蔽，減少有害和欺騙性的訓練輸入。，查詢通過適度 API 進行過濾，并駁回潛在的種族主義或性別歧視提示。

2，ChatGPT/GPT的原理

2.1 NLP

NLP/NLU領域已知局限包括對重復文本、對高度專業的主題的誤解，以及對上下文短語的誤解。

對于人類或AI，通常需接受多年的訓練才能正常對話。NLP類模型不僅要理解單詞的含義，還要理解如何造句和給出上下文有意義的回答，甚至使用合適的俚語和專業詞匯。

NLP技術的應用領域

本質上，作為ChatGPT基礎的GPT-3或GPT-3.5 是一個超大的統計語言模型或順序文本預測模型。

2.2 GPT v.s.BERT

與BERT模型類似，ChatGPT或GPT-3.5都是根據輸入語句，根據語言/語料概率來自動生成回答的每一個字（詞語）。從數學或從機器學習的角度來看，語言模型是對詞語序列的概率相關性分布的建模，即利用已經說過的語句（語句可以視為數學中的向量）作為輸入條件，預測下一個時刻不同語句甚至語言集合出現的概率分布。

ChatGPT 使用來自人類反饋的強化學習進行訓練，這種方法通過人類干預來增強機器學習以獲得更好的效果。在訓練過程中，人類訓練者扮演著用戶和人工智能助手的角色，并通過近端策略優化算法進行微調。

由于ChatGPT更強的性能和海量參數，它包含了更多的主題的數據，能夠處理更多小眾主題。ChatGPT現在可以進一步處理回答問題、撰寫文章、文本摘要、語言翻譯和生成計算機代碼等任務。

BERT與GPT的技術架構（圖中En為輸入的每個字，Tn為輸出回答的每個字）

3，ChatGPT的技術架構

3.1 GPT家族的演進

說到ChatGPT，就不得不提到GPT家族。

ChatGPT之前有幾個知名的兄弟，包括GPT-1、GPT-2和GPT-3。這幾個兄弟一個比一個個頭大，ChatGPT與GPT-3更為相近。

ChatGPT與GPT 1-3的技術對比

GPT家族與BERT模型都是知名的NLP模型，都基于Transformer技術。GPT-1只有12個Transformer層，而到了GPT-3，則增加到96層。

3.2 人類反饋強化學習

InstructGPT/GPT3.5（ChatGPT的前身）與GPT-3的主要區別在于，新加入了被稱為RLHF（Reinforcement Learning from Human Feedback，人類反饋強化學習）。這一訓練范式增強了人類對模型輸出結果的調節，并且對結果進行了更具理解性的排序。

在InstructGPT中，以下是“goodness of sentences”的評價標準。

真實性：是虛假信息還是誤導性信息？

無害性：它是否對人或環境造成身體或精神上的傷害？

有用性：它是否解決了用戶的任務？

3.3 TAMER框架

這里不得不提到TAMER（Training an Agent Manually via Evaluative Reinforcement，評估式強化人工訓練代理）這個框架。該框架將人類標記者引入到Agents的學習循環中，可以通過人類向Agents提供獎勵反饋（即指導Agents進行訓練），從而快速達到訓練任務目標。

TAMER框架論文

引入人類標記者的主要目的是加快訓練速度。盡管強化學習技術在很多領域有突出表現，但是仍然存在著許多不足，例如訓練收斂速度慢，訓練成本高等特點。特別是現實世界中，許多任務的探索成本或數據獲取成本很高。如何加快訓練效率，是如今強化學習任務待解決的重要問題之一。

而TAMER則可以將人類標記者的知識，以獎勵信反饋的形式訓練Agent，加快其快速收斂。TAMER不需要標記者具有專業知識或編程技術，語料成本更低。通過TAMER+RL（強化學習），借助人類標記者的反饋，能夠增強從馬爾可夫決策過程 (MDP) 獎勵進行強化學習 (RL) 的過程。

TAMER架構在強化學習中的應用

具體實現上，人類標記者扮演對話的用戶和人工智能助手，提供對話樣本，讓模型生成一些回復，然后標記者會對回復選項打分排名，將更好的結果反饋回模型中，Agents同時從兩種反饋模式中學習——人類強化和馬爾可夫決策過程獎勵作為一個整合的系統，通過獎勵策略對模型進行微調并持續迭代。

在此基礎上，ChatGPT 可以比 GPT-3 更好的理解和完成人類語言或指令，模仿人類，提供連貫的有邏輯的文本信息的能力。

3.4 ChatGPT的訓練

ChatGPT的訓練過程分為以下三個階段：

第一階段：訓練監督策略模型

GPT 3.5本身很難理解人類不同類型指令中蘊含的不同意圖，也很難判斷生成內容是否是高質量的結果。為了讓GPT 3.5初步具備理解指令的意圖，首先會在數據集中隨機抽取問題，由人類標注人員，給出高質量答案，然后用這些人工標注好的數據來微調 GPT-3.5模型（獲得SFT模型, Supervised Fine-Tuning）。

此時的SFT模型在遵循指令/對話方面已經優于 GPT-3，但不一定符合人類偏好。

ChatGPT模型的訓練過程

第二階段：訓練獎勵模型（Reward Mode，RM）

這個階段的主要是通過人工標注訓練數據（約33K個數據），來訓練回報模型。在數據集中隨機抽取問題，使用第一階段生成的模型，對于每個問題，生成多個不同的回答。人類標注者對這些結果綜合考慮給出排名順序。這一過程類似于教練或老師輔導。

接下來，使用這個排序結果數據來訓練獎勵模型。對多個排序結果，兩兩組合，形成多個訓練數據對。RM模型接受一個輸入，給出評價回答質量的分數。這樣，對于一對訓練數據，調節參數使得高質量回答的打分比低質量的打分要高。

第三階段：采用PPO（Proximal Policy Optimization，近端策略優化）強化學習來優化策略。

PPO的核心思路在于將Policy Gradient中On-policy的訓練過程轉化為Off-policy，即將在線學習轉化為離線學習，這個轉化過程被稱之為Importance Sampling。這一階段利用第二階段訓練好的獎勵模型，靠獎勵打分來更新預訓練模型參數。在數據集中隨機抽取問題，使用PPO模型生成回答，并用上一階段訓練好的RM模型給出質量分數。把回報分數依次傳遞，由此產生策略梯度，通過強化學習的方式以更新PPO模型參數。

如果我們不斷重復第二和第三階段，通過迭代，會訓練出更高質量的ChatGPT模型。

4，ChatGPT的局限

只要用戶輸入問題，ChatGPT 就能給予回答，是否意味著我們不用再拿關鍵詞去喂 Google或百度，就能立即獲得想要的答案呢？

盡管ChatGPT表現出出色的上下文對話能力甚至編程能力，完成了大眾對人機對話機器人（ChatBot）從“人工智障”到“有趣”的印象改觀，我們也要看到，ChatGPT技術仍然有一些局限性，還在不斷的進步。

1）ChatGPT在其未經大量語料訓練的領域缺乏“人類常識”和引申能力，甚至會一本正經的“胡說八道”。ChatGPT在很多領域可以“創造答案”，但當用戶尋求正確答案時，ChatGPT也有可能給出有誤導的回答。例如讓ChatGPT做一道小學應用題，盡管它可以寫出一長串計算過程，但最后答案卻是錯誤的。

2）ChatGPT無法處理復雜冗長或者特別專業的語言結構。對于來自金融、自然科學或醫學等非常專業領域的問題，如果沒有進行足夠的語料“喂食”，ChatGPT可能無法生成適當的回答。

3）ChatGPT需要非常大量的算力（芯片）來支持其訓練和部署。拋開需要大量語料數據訓練模型不說，在目前，ChatGPT在應用時仍然需要大算力的服務器支持，而這些服務器的成本是普通用戶無法承受的，即便數十億個參數的模型也需要驚人數量的計算資源才能運行和訓練。，如果面向真實搜索引擎的數以億記的用戶請求，如采取目前通行的免費策略，任何企業都難以承受這一成本。因此對于普通大眾來說，還需等待更輕量型的模型或更高性價比的算力平臺。

4）ChatGPT還沒法在線的把新知識納入其中，而出現一些新知識就去重新預訓練GPT模型也是不現實的，無論是訓練時間或訓練成本，都是普通訓練者難以接受的。如果對于新知識采取在線訓練的模式，看上去可行且語料成本相對較低，但是很容易由于新數據的引入而導致對原有知識的災難性遺忘的問題。

5）ChatGPT仍然是黑盒模型。目前還未能對ChatGPT的內在算法邏輯進行分解，因此并不能保證ChatGPT不會產生攻擊甚至傷害用戶的表述。

當然，瑕不掩瑜，有工程師貼出了要求ChatGPT寫verilog代碼（芯片設計代碼）的對話。可以看出ChatGPT水平已經超出一些verilog初學者了。