人工智慧聊天機器人已經被企業廣泛使用，透過電話或網站來迎接客戶並回答他們的問題。 一些公司發現，在某種程度上，他們可以用機器取代人類擔任呼叫中心的角色。
然而，現有證據表明，在醫療保健和人力資源等領域，使用這些第一線工具需要格外小心，並且可能需要道德監督。
最近廣為人知的例子是 名為 Tessa 的聊天機器人，這是由 美國國家飲食失調協會 (NEDA) 在美國。 該組織最初維持一條由受薪員工和志工共同營運的求助專線。 其明確目標是幫助患有飲食失調的弱勢群體。
然而，今年該組織 解散了求助熱線工作人員，宣布將用 Tessa 聊天機器人取代它們。 其原因有爭議。 前員工聲稱，這項轉變是在熱線工作人員決定加入工會之後發生的。 這 NEDA 副總裁引用 電話數量和等待時間增加，以及使用志願者工作人員的法律責任。
不管怎樣，經過一段非常短暫的操作後，Tessa 因有報道稱聊天機器人發出了有問題的建議而被下線，這些建議可能會加劇尋求飲食失調幫助的人們的症狀。
另據報導 艾倫·菲茨西蒙斯-克拉夫特博士和 C·巴爾·泰勒博士兩位協助創建 Tessa 的高素質研究人員表示，該聊天機器人從未打算取代現有的求助專線或為那些經歷嚴重飲食失調症狀的人提供立即幫助。
重大升級
那麼泰莎的設計目的又是什麼呢？ 研究人員與同事們一起生成了一個 觀察性研究 強調了他們在設計基於規則的聊天機器人以與關注飲食失調的用戶互動時面臨的挑戰。 這是一本非常引人入勝的讀物，闡述了設計選擇、操作、陷阱和修改。
泰莎的原始版本是一個傳統的， 基於規則的聊天機器人，儘管是一種高度精煉的結構，但它遵循基於邏輯的預定義結構。 它不能偏離其創建者校準的標準化預編程響應。
他們的結論包括以下觀點：「基於規則的聊天機器人有潛力以低成本提供資訊和簡單的互動來接觸大量人群，但在理解和對意外的用戶回應做出適當回應方面受到限制」。
這似乎限制了 Tessa 的適用用途。 那麼它是如何取代 NEDA 之前使用的幫助熱線的呢？ 確切的事件鏈正在不同的帳戶中討論，但是，根據 NPR 的報道，聊天機器人的託管公司將 Tessa 從一個基於規則的聊天機器人更改為一個具有預編程響應的聊天機器人。 “增強的問答功能”.
Tessa 的最新版本是採用生成式人工智慧的版本，很像 ChatGPT 和類似產品。 這些先進的人工智慧聊天機器人旨在模擬人類對話模式，旨在提供更現實和有用的回應。 產生這些客製化答案依賴大型資訊資料庫，人工智慧模型經過訓練可以透過各種技術流程「理解」這些資料庫： 機器學習, 深入學習 和 自然語言處理.
學習課程
最終，聊天機器人對一些用戶的問題產生了被描述為可能有害的答案。 隨後的討論將責任從一個機構轉移到了另一個機構。 然而，問題仍然是，如果有一個機構提供道德監督、「人們在循環中」並堅持泰莎最初設計的明確目的，那麼隨後發生的情況是有可能避免的。
在人工智慧快速融入各種系統的背景下，從此類案例中學習非常重要。 雖然這些事件發生在美國，但它們為那些試圖在其他國家做同樣事情的人提供了教訓。
英國對這個問題的處理方式似乎有些分散。 資料倫理與創新中心 (CDEI) 顧問委員會 最近被解散 它的席位被新成立的前沿人工智慧工作小組佔據。 還有報導稱，人工智慧系統已經在倫敦試用，作為援助工人的工具，但不能取代求助熱線。
這兩個例子都凸顯了道德考量和商業利益之間潛在的緊張關係。 我們必須希望兩者最終能夠結合起來，平衡個人的福祉與人工智慧所能提供的效率和利益。
然而，在組織與公眾互動的某些領域，人工智慧生成的反應和模擬的同理心可能永遠不足以取代真正的人性和同情心——特別是在醫學和心理健康領域。
