眾所皆知，若問到近年最讓大家趨之若鶩的科技議題，根本不作他想，肯定是橫空出世的生成式AI。微軟創辦人比爾蓋茲，形容像是ChatGPT這樣的生成式AI技術，重要性堪比PC或網際網路，可望對世人產生快速且全面的影響力。



既然生成式AI如此美好，為何一般企業不敢迅速採用？凌群電腦總經理劉瑞隆直言，主要癥結在於大語言模型（LLM）擁有「幻覺(hallucinations)」問題，講白了它會一本正經地回覆錯誤答案。如果在B2C場景，即便一般消費者取得不盡正確的生成結果，也許還無大礙；但假使在B2B場景，可能影響商業決策或專案開發，後果就十分嚴重。

有鑑於此，凌群悉心研發一套名為「NeuroChain」的生成式AI解決方案，主要是在人與AI之間架設一個中間層，藉此營造多模態AI應用模式，讓LLM（例如Azure Open AI、Meta Llama V2、Google Bard V2…等）能夠針對中間層範圍，給予提問者精準答案。

劉瑞隆說，過去一般企業不敢冒險將資料命脈全部交給AI，所以凌群發展NeuroChain產品，讓企業能夠輕易上手、整合其營運流程，且可充分顧及資安和隱私保護，從而順利突破LLM的盲點，快速將它導向B2B應用，建立屬於企業自己的競爭亮點。

善用可信賴LLM能力，避開幻覺爭議的環節

不可諱言，既然NeuroChain居於中間層，也就意謂由它來接收使用者的提問，不再由LLM直接面對使用者。這般架構的最大好處，在於能讓企業趨吉避凶，既善用LLM的可信賴能力，亦可有效抑制LLM較容易產生幻覺的能力。

凌群電腦軟體事業群總處長，同時兼任凌群AI先進實驗室負責人邵成武解釋，綜觀生成式AI的能力，共計有6大項，包含解譯者（Parser）、歸納者（Summarizer）、翻譯者（Translator）、程式設計者（Coder）、創造者（Creator）及諮詢者（Consultant），但多數人的既定印象，都偏重在其中的「創造者」這一環。以上述多個角色而論，前4項基本上都值得信賴、沒有疑慮，至於容易出現幻覺爭議的部份，則落在Creator與Consultant等最後兩項。

劉瑞隆認為，生成式AI非常適用於四大情境。首先用於強化凌群的既有產品「Ayuda智慧服務型機器人」，讓Ayuda更趨近人類行為，能夠更精準、更人性化地回答人們的問題；其次可化身為智慧程式設計師，結合LLM自動產生程式碼；再者用於建立智慧知識庫，匯入不同知識，形成各種專家系統；最後可藉此建構「智慧電腦人」，經過整合智慧知識庫與內外部系統，讓生成式AI有能力協助主人讀取信件內容、簽核表單。

很重要的一點，不論企業傾向採取哪一種應用方式，都必須先活化NeuroChain中間層，如同AI建模一樣，需要餵資料來訓練它。此時企業得以PDF、網頁、文字檔或表單等內部文件為基底，利用LLM的翻譯能力，為這些內容進行多國語言轉換，同時斷詞、斷句，達成內嵌向量化，再儲存至NeuroChain的向量資料庫，形成知識庫系統。

大致上來說，NeuroChain的定位是中性的，企業想要放進什麼樣的知識庫，它就會變成什麼樣貌；舉例來說，假設你放的是法律條文，NeuroChain就會變成律師，或者你放入醫療資訊，它可能變成一個護理師。

歷經5步驟，為使用者生成合理精準解答

一旦建立中間層之後，企業很快就能啟動生成式AI運作機制。邵成武說明，這個運作機制大致蘊含5個步驟，第一是把使用者所提問的問題，經由Speech-To-Text程序，從語音轉換為文字。第二將問題傳送至LLM，借重其解譯能力，剖析使用者提問的意圖，例如倘若有人問了「台北今天會下雨嗎」，其中的意圖就是「查詢天氣」，此後LLM會根據該意圖Prompt，識別出應當擷取的實體資訊，以此例來說便是「地點：台北」和「日期：今天」。

第三是以前述實體資訊為線索，從內嵌知識庫、外部系統或工具搜尋合適答案。第四由於上一步所找到的答案，可能數量頗多、格式散亂，這時候便需要運用LLM的歸納能力來生成彙整答案。第五透過Text-To-Speech程序，將文字答案轉換成語音，再由NeuroChain中間層負責回答給原來的提問者。此處附帶一提，企業用戶可預先設定不接收生成式AI所推薦的答案，完全以內嵌知識庫為依歸；如果事先未做排除設定，當NeuroChain無法從內嵌知識庫得到解答時，就會提供基於外部資訊內容所生成的結果，但會一併給予「此答案由OpenAI提出，謹供參考」之類的標註提醒。

截至目前，已有來自不同垂直領域的企業或機構，要求針對NeuroChain解決方案進行概念驗證（POC）。比方說有服務業者將它導向智慧櫃檯應用，結合凌群的Ayuda機器人，可發揮人形偵測功能，進而主動迎賓，甚至進一步主動推薦優惠方案。當然，智慧櫃檯也能使用多國語言，結合AI語意辨識功能，與顧客展開語音對談，幫助顧客得到想要的服務或購物資訊。

總括而言，現階段無論是數位轉型抑或是人工智慧，尤其是生成式AI，都堪稱是讓企業主心生嚮往的熱門題材；然而礙於某些顧慮，企業主擔心未蒙其利、反受其害，只能按兵不動。如今凌群重磅推出NeuroChain，可望扮演強大助攻手，幫助企業破除疑慮、大步前行。

(本文轉載自第1154期iThome電腦報)