評《建立以情緒為基礎的代理人決策架構》

上學期的作業報告,丟上來充數。XD

本篇論文主要是應用了情意計算的概念,來設計可以讓 agents 運用情緒資訊來最佳化的架構。

  • 論文題目:建立以情緒為基礎的代理人決策架構
  • 論文作者:清大資工陳光泰/蘇豐文
  • 論文發表於:TAAI 2004

內文簡述

本篇論文主要是提出一個可能的架構,用來在代理人系統的判斷中納入情緒考量,以解決目前以理性為基礎的Agents無法解決的問題,這些問題包括:著重短期利益、不適合產生利人的互助行為、對於事件的優先順序無法有一個完整而精簡的定義方式。藉著Antonio R. Damasio對於缺乏感情判斷能力者的臨床觀察,Affective Computing試圖把情緒納入電腦的判斷參考中,以建立更能夠在實際世界運作良好、與人(Human)和機(agents)合作得更好的擬真程式。

作者首先提出一個情緒架構,用來模擬情緒在人類作決定時所扮演的角色,以及情緒如何影響最終如何影響決定的產生。在這個架構中,環境的輸入先經由Belief Block轉為Belief,Belief再經由參考內在狀態以產生情緒和慾望,這些情緒和慾望參數再經由Planner轉為對應的決策,以朝向最有利於自己的方式改變;而這個改變除了改善自己的狀態外,也包括讓自己的情緒朝向更好的方式改變。

文中對於情緒的表示方式,引用了Piccard提出的方式,以一個Sigmoid function來為情緒建立Threshold和Saturation,其根本理由在於情緒其實是有下限和極限的,在兩個極端時差異其實並不大。

作者並改善南加大提出的情緒評估框架(EAF),在新提出的EEF中新增了一個目標狀態(goal state),以明確的告訴agents如何遠離負面情緒。這種方式的優缺點容後再議。

作者並提出情緒如何合成,參考的觀點包括1.信仰;2.利益;3.代理人;4.經驗。而這些觀點有的又帶有較理性的偏好情感,有的則是非理性的道德情感。在道德情感又分為義務論(Deontology)和目的論(Teleology),以免正義被過份擴張,或是為了多數犧牲少數的情形發生。

經由以上的架構建構出的網路可以用來計算每一個決定背後可能對agent所帶來的”快樂”為何。”快樂”在這個架構中取代了”利益”,成為agent最佳化的目標。由於不同的agents會因為自己的利益、信念、經驗等因素而產生不同的”快樂”,最後在互動的過程中也會產生合作或利它的行為,最終使得系統達到global optima。

問題與討論

  • 情緒是否適合用Sigmoid function來表示?該如何表示極度的情緒產生的「暴虎馮河」行為?

    Sigmoid function的確可以表示一般狀態下的情緒,但是若用來表示盛怒之下、完全不考慮其他事情的情緒,就顯得有點不足了。事實上,在這個狀況下,情緒的作用還比較像是offset極大的二極體(diode),在超過一定範圍後電阻趨近於零。雖然這種情緒帶來的效果往往是不好的,但例如像成在火災時奮力一跳以求能跳到另一個大樓,此時這個決定若是會釋放大量的腎上腺素(而不考慮這樣做是否會造成血醣存量不足),那麼就能夠讓agent更有生存的機會。

    所以除了Sigmoid function外,我相信必定還需要某個function來處理這種緊急狀態。

  • 遠離負面情緒的方式是否能夠embed在EAF中而成為EEF呢?這樣的設計是否有侷限或缺點呢?

    將遠離負面情緒的方式加在描述情緒的描述之中,雖然看起來比較方便agent參考,但是實際上卻仍有兩個問題。

    1. 遠離負面情緒的選項往往不只一個,以巨大聲響而言,細胞內部有兩種學習機制,一種是敏感化、一種是習慣化,前者會引致個體嘗試逃避該刺激的行為,後者則是讓刺激對細胞的影響減弱,兩種方式都可以達到減少負面情緒的作用。如果連細胞層次都有這樣不同的行為產生,更不用說對於高階生物而言應該有多少種對應了,這麼多的對應要如何存於EEF中呢?個體對於各選項的偏好又要如何取捨呢?
    2. 針對goal state個體應該要能夠調適,就如同我們都覺得愛乾淨是好事,但是不顧一切保持乾淨會成為潔癖而影響正常生活;所以個體如何調適自我的情緒以滿足設定錯誤的goal?在自動控制系統中,我們知道在傳統的feedback model,有時候設定的goal會無法達成,造成永遠存在的落差,這時如果這個goal被寫死在agent的設定中似乎不是最好的選擇。相反的,應該要能夠讓agent把目標也當成內部狀態能夠自我調適。

  • 在這篇論文中提出了要考慮無聊的因素,但卻沒有定義如何表達無聊。無聊該如何定義呢?

    無聊這個東西,必然關連於時間以及內在狀態。但是對於agents來說,如果它會覺得一直採用相同的步驟(也許是已知最佳解)是無聊的,那麼系統就永遠不會進入穩定最佳解,無聊也許可以幫助系統跳出local optima,那就同樣可能跳離global optima。同時,如果它知道自己先前都採取什麼步驟,它要如何記憶?它又需要在什麼時候採取無聊的狀態?

  • 在這麼多因素的條件下,如何設計出會合作的Rules?

    賦予agents感情並期待其出現合作的行為,看似要利用基因演算法來產生Rules。如果是由人來設計Rules,那是否會出現某種不確定的環境,造成「保証毀滅」的軍武競賽結果?即使採用演化的方式,我們也無從知曉是否在某種環境下,agents會被trigger成完全不顧goal state、只顧維持自己的生存。所以我們必須要問,我們的goal state以長期而言,真的能被滿足嗎?而長遠的合作真的是穩態嗎?

結語

將Affective導入agents中雖然是個很有趣的點子,但是也讓系統的複雜度大為增加,甚至無從預測系統會產生什麼樣的整體行為。作者提出的觀點儘管補足了現存架構之不足,但從系統的架構、Rule的產生、個體的定義以及情緒的反應,都還需要更進一步的探討。

Advertisements