• 文件
  • 知识库

在时间决策中启动追求的价值

原标题:The value of initiating a pursuit in temporal decision-making

Elissa SutliefCharlie WaltersTanya M. MartonMarshall G. Hussain Shuler

bioRxiv (2024)

|

5

关键词

时间决策
折扣函数
最优觅食理论
奖励率最大化
主观价值
机会成本
时间成本
过度估计
马拉分配假说
超曲线折扣

摘要

奖励率最大化是行为生态学、神经科学、经济学和人工智能中常见的重要规范原则。在此,我们识别并比较了用于评估代理人可以实施以实现奖励率最大化的追求价值的方程。我们识别了两种基本的时间决策类别,这些类别需要对追求的启动进行估值——放弃和选择决策——在此基础上,我们推广并分析了如何评估追求以最大化奖励率的最优解决方案。从这种奖励率最大化的公式中,我们推导出追求的主观价值的表达式,即该追求的等效即时奖励量,并揭示时间的成本由分配成本和机会成本组成。通过将主观价值重新表达为时间折扣函数,我们精确地展示了奖励率最优代理的时间折扣函数不仅对所考虑追求的属性敏感,而且对每个实例中花费的时间和获得的奖励也敏感。通过这样做,我们展示了奖励率优化代理的明显折扣函数如何依赖于环境的时间结构,并且是双曲线和线性成分的组合,其贡献分别与时间的分配成本和机会成本相关。我们进一步展示了所谓的次优行为迹象(双曲线折扣、延迟效应、大小效应、符号效应)实际上与奖励率最大化是一致的。在明确了哪些特征是最优决策的迹象后,我们分析了奖励率最大化参数误估的影响,以更好地解释人类和动物实际观察到的错误模式。我们发现,代理人对时间分配的评估错误,即低估了在考虑的追求类型之外与之内花费的时间,是行为上观察到的次优时间决策的可能驱动因素。我们称之为错误分配假说。这种奖励率最大化的广义形式及其与主观价值和时间折扣的关系,使得人类和动物表现出的真实错误模式能够被更深入地理解、识别和量化,这对于推断人类和动物实际用于评估追求价值的学习算法和表示架构至关重要。

AI理解论文

图片加载中
预览
图片加载中
预览
图片加载中
预览
图片加载中
预览
图片加载中
预览
图片加载中
预览
图片加载中
预览

该文档主要探讨了时间决策理论,特别是动物在追求不同大小和延迟的奖励时如何投资时间。文中提出了一个新的假设,即“错误分配假设”,以解释动物和人类在时间决策中表现出的次优行为。

首先,文档讨论了时间决策的背景,指出在生态学、行为科学和心理学中,时间决策已经被研究了几十年。文中区分了两种决策类型:放弃决策(Forgo decisions)选择决策(Choice decisions)。放弃决策类似于猎物选择,动物在这种情况下通常表现出接近最优的行为,即当提供的追求机会的奖励率超过“背景”奖励率时,动物会选择追求。而在选择决策中,动物往往表现出次优的急躁行为,即选择较小-较快的追求(SS),即使较大-较慢的追求(LL)同样好甚至更好。

接下来,文档提出了一个全球奖励率的公式,用于计算在一个环境中,代理人如何通过投资时间来获得最大化的奖励。最优策略是最大化在该环境中觅食所花费时间的奖励积累。在放弃决策中,代理人面临是否追求或放弃追求机会的决策。文中通过公式推导,计算出代理人在追求不同奖励和时间投资的情况下,能够实现的奖励率。

文档进一步探讨了追求的价值,通过揭示追求的速率和相对占用率(即“权重”),以及决策策略如何决定全球奖励率。文中推导出追求的价值表达式,并将其重新表达为其全球奖励率等效的即时奖励,即其“主观价值”。此外,文中指出时间的成本不仅可以通过接受所考虑追求的政策下的全球奖励率来计算,也可以通过外部奖励率和时间来计算(即不接受所考虑追求类型的政策)。这种表达方式揭示了时间成本由分配成本和机会成本构成。

在分析选择决策时,文档提供了对时间折扣现象的更深入理解,指出双曲线折扣大小效应符号效应并不是次优决策的标志,而是与奖励率最大化一致。尽管这些被认为是次优的特征实际上源于奖励率最大化,但人类和动物在时间决策中仍表现出次优行为,表现出过于陡峭的折扣函数。文中通过检查奖励率最大化参数的错误估计,指出过高估计在所考虑追求类型内外相对时间的可能是动物和人类在时间决策中犯错的来源。

最后,文档回顾了时间决策的理论框架,主要包括指数折扣理论最优觅食理论。指数折扣理论认为,通过时间对一个选项的永久偏好是理性的,而最优觅食理论则以奖励率最大化为规范原则。尽管在实验室控制的实验中,动物在时间选择任务中的行为更符合双曲线折扣函数,但在大多数时间选择任务中,动物行为远未达到最大化奖励率的最优状态。

总之,该文档通过提出“错误分配假设”,为理解动物和人类在时间决策中的次优行为提供了新的视角,并对时间决策理论进行了深入探讨。文中通过数学推导和理论分析,揭示了时间成本的复杂性及其对决策策略的影响,为未来的研究提供了重要的理论基础。

Chat Paper

当前问答基于全文

转入私有库对话