今天分享的是：大語言模型心理測量學系統綜述：評估、驗證、增強
報告共計：63頁
該文檔系統綜述了大語言模型心理測量學（LLM Psychometrics）這一新興交叉領域，旨在借助心理測量學的工具、理論和原則，對大語言模型（LLMs）進行評估、理解與增強。
傳統AI評估方法難以應對LLMs帶來的新挑戰，如測量類人心理結構、突破靜態特定任務基準等，而心理測量學在量化人類心理無形方面有百年積澱，二者的融合形成了這一新興領域。其定義為通過應用和整合心理測量工具、理論與原則，量化、解釋、操控和改進LLMs所展現的類人複雜屬性與行為，涵蓋人格結構和認知結構等。
文檔構建了該領域的結構化框架，核心測量框架包括心理結構測量（如人格特質、價值觀等）、評估方法（涉及測試格式、數據來源等）以及結果驗證（可靠性和有效性等）。同時，還探討了基於心理測量學的LLMs增強策略，如特質操控、安全與對齊、認知增強等。
研究發現，LLMs在人格、價值觀等方面呈現出特定模式，且存在模型間差異和情境依賴性。但當前領域存在諸多挑戰，如心理測量驗證的不足、從人類構念到LLM構念的轉變問題、擬人化挑戰等。未來需在多維度擴展評估、應用項目反應理論、從評估轉向增強等方向深入探索，以推動類人AI評估範式發展和以人為本的AI系統進步。
以下為報告節選內容