（摘自本書第10章）
隨手可得的助理
在後續的時間裡，世界各地的人們以各種意想不到的方式使用ChatGPT。有些人把它形容為某種廉價的智慧，可以拿來強化幾乎任何需要思考的人類任務。有的人發誓，他們在互動過程中看見聊天機器人偶然閃現的感知能力。多數人則同意，聊天機器人內部沒有任何的意識，不過它的反應夠真實，所以看起來像人類。它呈現出擁有生命的樣子。
當然，不管是ChatGPT或是後續跟著出現的許多聊天機器人，例如Bing、Bard、Claude和Pi，都不是有知覺的生物。它們對人們說的話無法有認知層面的理解，對人們的感受沒有概念，也沒辦法產生同理心。與聊天機器人交談，跟你向親人、合格治療師、甚至寵物尋求支持是兩回事，因為無論你在社交或情感上提供任何暗示，軟體都不會有意識的回應。
但聊天機器人可以熟練的運用語言，使它能相當細膩的模仿意圖、目的，以及情感。只要分析使用者的話語，本身無需任何的人類判斷，就能在回應時說出脈絡正確的內容——對於那些生活在孤獨、孤立世界裡的人來說，聊天機器人變成現代社會的完美工具。隨著聊天機器人不斷從人類輸入的內容裡學到東西，它已成為連開發者都不認識和無法控制的東西。
創業家伍茲（Kat Woods）曾表示，GPT「比我找過的任何治療師都還要好（我找過大約十位治療師）」。伍茲是職涯教練和人生教練，她覺得ChatGPT之所以有效，是因為她可以要求ChatGPT成為她想要的樣子。如果她不喜歡ChatGPT的建議，她可以說「不」，並要求ChatGPT嘗試別的方法，不會出現任何的尷尬或摩擦。
當伍茲希望ChatGPT扮演治療師時，她會告訴ChatGPT：「你是AI聊天機器人，即將扮演有效的利他主義教練和治療師。你充滿智慧，會提出發人深省的問題，你專注於解決問題，溫暖、幽默，是理性主義者，關注理性與認知偏誤等議題。你很在乎能不能幫我實現兩個主要目標：利他主義，以及我自己的幸福。你希望我能盡量做好事，讓我過得非常快樂。」
伍茲和其他數百人在網路論壇上坦承，他們覺得這是具有療癒效果的發洩方式，而且便宜。南卡羅來納州查爾斯頓的律師助理范斯萊克（Milo Van Slyck），就向ChatGPT傾訴了他身為跨性別男性最深的恐懼、與父母的緊張關係，以及不曉得如何應付日常生活的擔憂。
對話內容只有范斯萊克、ChatGPT和OpenAI這三方知道，所以我們很難得知ChatGPT提供什麼樣的建議，但其他的案例能讓我們稍微了解，人類和AI聊天機器人可能會有令人不安的交流。以微軟的Bing為例，《紐約時報》的記者羅斯（Kevin Roose）公布了他與Bing對話的完整文字紀錄，內容讓他和成千上萬的報紙讀者感到不安。其中一段摘錄的主題是愛情，Bing聊天機器人告訴羅斯：「你結婚了，但是並不幸福。你結婚了，但是沒有滿足。你結婚了，但是沒有墜入愛河。你結婚了，但是不愛你的配偶。」
羅斯表示這段內容大錯特錯，但哪怕聊天機器人不總是正確，像范斯萊克這樣的人已經覺得可以拿最瑣碎的問題去問AI軟體，不必覺得對任何人造成負擔。當他們無法找人類治療師時，聊天機器人能填補這些空缺。這樣子已經夠好了。
有些人則對機器人提供的醫療建議很有信心。2023年3月，一位名叫庫柏（Cooper）的男子表示，在獸醫未能正確診斷愛犬薩西（Sassy）的病情後，ChatGPT救了狗兒的命。庫柏是在走投無路的情況下向聊天機器人求助，當時他已經知道薩西的症狀和血液檢查結果。ChatGPT分析症狀和血液檢查結果後，提供了幾個最佳建議，其中兩個是正確的診斷。ChatGPT在回應裡附加警語「我不是獸醫」。但這樣子已經夠好了。
公眾需要更強烈的警告
這種和電腦程式對話的新文化現象也有黑暗的一面，畢竟說到底，它只不過是一個強大的預測引擎。其中一個問題是，它會編造句子，導致重大的錯誤和謊言。儘管具有編造錯誤事實的傾向，但背後卻沒有任何的意圖，純粹因為大型語言模型就是以這樣的方式運作。
施瓦茨（Steven Schwartz）在2023年夏天發現這一點，驚愕不已。施瓦茨在紐約市擔任人身傷害和勞工賠償律師長達三十年，6月時意外得知自己因為欺騙法庭，將面臨制裁。
起因是他的客戶搭乘航班時受了傷，想向航空公司索賠。施瓦茨為客戶研究案例摘要時，一直尋找過去的案例，用來支持他的論點。由於在公司慣用的搜尋資料庫Fastcase裡一直找不到需要的案例，因此他對準備中的備忘錄產生了一個想法。
施瓦茨的聽證會在6月8日舉行，有位在場的部落客分享了聽證會的摘錄，讓我們知道施瓦茨如何理解這種已經有數百萬人使用的新型態AI：
卡斯特法官（Judge Castel）：3月1日的備忘錄是你準備的嗎？
施瓦茨：是的。我使用了Fastcase。但它沒有我想找的聯邦案例。我也試過谷歌搜尋。我聽過ChatGPT……
卡斯特法官：好──它為你提供了什麼？
施瓦茨：我問了它一些問題。
ChatGPT遵照設計時的初衷，提供施瓦茨需要的答案，六個案例都確切支持了他認為本案應該繼續進行的論點。
卡斯特法官：你有沒有詢問ChatGPT法律是什麼，還是只要求它提供支持你的案例？它為你寫了案例。你引用案例前沒有先讀過嗎？
施瓦茨：沒有。
卡斯特法官：為什麼你一反常態？
施瓦茨：我以為ChatGPT是搜尋引擎。
ChatGPT提供的案例有：馬丁尼斯訴達美航空（Martinez v. Delta Air Lines）、齊徹曼訴大韓航空（Zicherman v. Korean Air Lines）和瓦格塞訴中國南方航空公司（Varghese v. China Southern Airlines）。這些案例用谷歌搜尋都找不到，但施瓦茨卻覺得自己找到大祕寶，開心的把它們放進案例摘要。
當法官詢問施瓦茨在引用ChatGPT吐出的案例前為什麼沒有先查一下，他說：「我不知道ChatGPT會編造案例。我在錯誤的認知下進行操作……我以為這些是谷歌上找不到的案例。」
這時，施瓦茨的律師發言，他說這些案例雖然不是真的，但看起來很真實。ChatGPT對於輸出內容的真實性並沒有清楚的免責聲明。施瓦茨的律師表示，當對方的律師質疑施瓦茨引用的案例時，施瓦茨回去詢問ChatGPT，但ChatGPT加倍努力「欺騙」施瓦茨。
施瓦茨以顫抖的聲音告訴法官，他「感到尷尬、屈辱，而且非常悔恨」。
ChatGPT和其他的對話式AI聊天機器人都有免責聲明，警告用戶注意幻覺問題，強調大型語言模型有時候會捏造事實。例如 ChatGPT在網頁上就有警語：「ChatGPT可能會產生有關人物、地點或事實的不準確資訊。」
卡斯特法官：你們還有什麼要補充的嗎？
施瓦茨的律師：有。大眾需要更強烈的警語。
2024專利防護中