編輯導讀：當你正在工作，你的電腦死機崩潰時，儘管很無奈，但也不至於會對一台機器破口大罵。反而在面對人為的錯誤時，會更加嚴苛。你是這樣的嗎？本文作者對此進行了分析，希望對你有幫助。
「Assessing outcomes vs intention.
評估結果與目的」
一、你對頻繁死機的電腦感到崩潰嗎？
我們可能認為：相比於笨拙的人類，我們對功能失常的應用程序或設計糟糕的演算法會更為苛刻。然而這只是一種模糊的猜測。
事實上，用戶對機器反而可能更具有同情心，他們似乎並不會對機器的錯誤感到生氣或者苛責。根據César A. Hidalgo①（經濟學家，前MIT研究員）的說法：這主要是因為用戶審判機器是根據它們的行為結果，而不是行為目的。
無論是面對有偏見的結果還是不公平的決定，用戶似乎從來沒有真正的在機器身上尋找道德原因，而只是把它們當成功能的載體（只關乎是否完成其工作）。
這產生了四個新視角詮釋人機交互的有趣行為科學結論。
二、AI決策和人類判斷
無論是輔助人類做決策，又或是雇傭新員工，識別人臉，我們都聽說過演算法偏見是如何影響人工智慧的。演算法收集的數據保留了系統性的判斷偏見（judgmental biases），這有時候會反映在對某些個體的歧視性決策中。
但是人類對機器製造不公平行為有什麼感覺呢？相比於人類的歧視，他們會更反感機器嗎？
César Hidalgo試圖通過社會實驗來回答這些問題。他向參與者展示了幾種歧視情況，並要求他們判斷決策在人類或者機器負責下的公平性。這些場景里有： HR在候選人相同資質相同的情況下從不選擇某種特定出身的候選人，和警察總是關押一些相同族群的無辜群眾。
在這些情況下，參與者都認為人類的行為更具有目的性，因此更需要責任感。因為參與者認為人類的行為帶有自己的主觀意願，所以他們的行為比機器的錯誤判斷更受到指責。然而，當問起他們應該由誰來取代這些歧視者，他們的答案更傾向於選擇更正直的人。
三、人類對自動化工作的模糊認知
當面對自動化工作（work automation）或者工作替代（job replacement）的時候，這種模糊性再次出現。Hidalgo通過類似的實驗研究了人們對這種情況的反應。
他向參與者講述了一些故事：比如公司員工要麼被AI機器人取代，要麼被效率更高，更有精力的外國年輕員工取代。Hidalgo詢問參與者在不同情景和不同行業內對此會有什麼感受。
令人驚訝的是，參與者更情願取代他們工作的是機器人，而不是外國人。雖然他們的偏好因情況而異：更接受司機被自動駕駛卡車取代，而不是老師被教學機器人取代，但他們通常同意他們更喜歡自動化而不是另一位工人。
對這類情況的解釋有幾種。參與者可能覺得技術的發展是不可避免的，而被外國工人取代會激發他們的歸屬感。他們可能能更加切身的體會到後者（外國工人）的威脅性，因為這發生的更為頻繁。人力替代感覺上也更不公平，因為同等資質的外國工人憑什麼更有權利獲得工作？
這也解釋了為什麼和90-00年間歐美企業外遷勞動力（到發展中國家）相比，自動化引發的情緒抵抗似乎沒有那麼的極端。
四、對機器事故的毫不寬容
自動駕駛汽車比人類駕駛員更負責任嗎？
隨著自動駕駛離現實越來越近，我們可能好奇：相比於人類駕駛員，用戶如何看待自動駕駛汽車需要承擔的責任？
為了回答這個問題，Hidalgo和他的團隊把參與者置於各種各樣的道路事故（包含了人類司機或自動駕駛汽車）之中。這些事故的嚴重程度可能取決於內在或外在因素，也包含了是傷害司機還是路人的抉擇。
這項實驗首次提出了自動駕駛汽車擔負了巨大的責任。參與者對涉及自動駕駛汽車的事故判斷更為消極，認為它們會造成更嚴重的傷害。其中一個原因是因為他們更容易把自己帶入人類駕駛員的視角（而不是機器的視角），他們更能同理人類司機做出的反應（畢竟在自己身上可能也會發生這樣的情況），尤其這是由外部因素導致的事故（比如一棵樹倒在了路上）。
因此，參與者對造成事故的機器毫不寬容，希望它們更可靠安全。
五、機器的好壞完全取決於結果
我們可以從這些研究中得出什麼結論呢？
César Hidalgo | How Humans Judge Machines | Talks at Google②（視頻地址見相關閱讀）
首先，當整體看待受傷害感和行為目的的關係時，人們認為人類行為比機器行為更帶有目的。然而矛盾的是，參與者仍然會更容易原諒人類的行為，因為他們更容易將人為錯誤視為壞運氣的結果，而機器錯誤則是需要糾正的錯誤。
當我們在研究行為目的和不公正之間的關係時，我們發現了一個更符合人類判斷的事實：對於那些帶有當事人強烈主觀意圖的場景（比如侮辱和歧視），人們顯然會對人類行為做出更為負面的評價。人們認為人類需要為自己的邪惡意圖負責任，而機器則被默認為沒有自己的意圖和目的。另一方面，一些本身不帶有目的的情況（比如交通事故），機器則承擔的責備會更多。因為我們已經假定了機器的程序可以避免任何錯誤。
最後通過評估不公正的感知和傷害範圍之間的關係，我們發現：對涉及人造成的傷害越小，機器就越被視為罪魁禍首；相反，當傷害越大，人類當事人承擔的評價就越為負面。
總之，我們看到了兩種截然不同的判斷模式。
當涉及人類當事人時，觀眾就會通過當事人的意圖來評判他們的行為：他們可以犯錯，但如果居心不良，他們就需要對自己的行為負責。
另一方面，機器的評估標準是行為的結果：如果它們無法避免破壞性的錯誤，無論發生的是什麼，它們都會被批評。好的一面是，對於一些通常被定性為非常嚴重的情況（歧視或惡意羞辱），因為機器行為不帶有目的，所以常常不被苛責。
但這也意味著，作為設計師的我們，需要盡量減少數字服務和智能應用程序可能產生的間接傷害和歧視。因為可沒有人會同情設計糟糕的演算法③。
③譯者註：
設計師和演算法的關係
由於譯者正好從事自動駕駛行業，所以就簡單聊聊這個話題。可能有人會認為糟糕演算法能是程序員的問題，這和設計師有什麼關係？
但事實上在以正向研發為主要流程的企業內，一個需求落地至少要經過產品經理，設計師，研發和測試四個階段。產品和設計師需要根據客戶/用戶的訴求去定義和產品的功能和使用方式，然後研發才會在設計的框架內去實現這些功能。自然當設計師遺漏或者忽視一些安全問題時，研發是無法發現的，因為在他們的角度，功能的上下文是不明確的，他們只專註於功能本身的研發。
舉個例子，假設我們設計一個工業園區內使用的遠程自動駕駛汽車遙控器，它的功能是給車輛派發運貨訂單，並且可以遠程啟動車輛。那麼如果設計師對於使用場景足夠了解，他會發現如果遠程啟動車輛，突然的啟動可能會對周圍在裝卸貨的工人帶來安全隱患。
所以需要在這個階段提供預警或者二次鑒權的操作。而這可能是客戶的原始需求中沒有提及或者客戶覺得麻煩的功能（客戶只想點一次！），如果產品和設計沒有深入研究，自然研發無法發現這樣的問題。這就是我理解的為什麼設計師需要對演算法負責。
關於設計師的責任這一塊，有興趣的朋友可以看一看前文《負責任的設計：設計師應該承擔多少產品責任？》。
我也和一些人交流過這個問題，剛畢業的設計師覺得，我們需要為用戶負責！我們要站出來說話！在社會中摸爬滾打了多年的設計師多會認為這非常的理想。確實，從企業角度來講，道德如果無關乎企業生存，是會被自動忽視的（畢竟羅翔老師也說過，法律只是規定了道德的底線），或者當成一種營銷手段。只有一些和道德高度綁定的行業，比如說自動駕駛行業，設計師才會有必要，有能力去考慮一些道德問題。
當然，我也不是說設計師不需要也沒有能力去承擔責任，而是說希望大家能夠多去思考自己的正在做的產品，而不是說盲目的為了kpi或者okr去完成設計任務。可能你的一次輕微的嘗試就會給產品帶來一些正面的影響。
六、相關閱讀
①《人類如何評判機器》How Humans Judge Machines
https://book.douban.com/subject/35557225/
②How Humans Judge Machines | Talks at Google
https://www.youtube.com/watch?v=H10-t5hnnw0
*已獲得作者授權，若有翻譯問題，歡迎一起交流~
原文名稱：Are users more forgiving of human mistakes than machine errors?
原文作者：Jean-marc Buchert
原文鏈接： https://uxdesign.cc/are-users-more-forgiving-of-human-mistakes-than-machine-errors-5ed2a87f5368