1. 绪论
    1. 背景
      1. 大多数计算机视觉的任务都集中在教会机器人像人一样“看”,很少关注如何让机器人像人一样“感受”
    2. 研究现状
      1. 图像情感分类现状
        1. 基于传统手工特征的方法
          1. 预测图像情感
        2. 基于深度学习特征的方法
          1. 全新而高效
      2. 图像情感分布学习现状
        1. 基于传统手工特征的方法
          1. 特征表征能力有限、面向的数据集规模较小
        2. 基于深度学习特征的方法
          1. 子主题 1
    3. 面临的挑战
      1. 抽象性
      2. 歧义性
      3. 主观性
  2. 基于场景-物体关联推理的图像情感分类
    1. 图神经网络(信息传播的有效框架)
    2. 基于场景-物体关联推理的图像情感分类方法
      1. 情感图的构建与推理
        1. 情感图的构建
        2. 情感图的推理(图卷积网络)
      2. 场景-物体关联模块
        1. 基于场景的注意力机制来挖掘物体和场景的情感联系
    3. 实验结果及分析
      1. 数据集(显著物体和明确场景的自然图像数据集)
      2. 实验设置
        1. Faster R-CNN为目标检测器
      3. 相关算法对比分析
        1. SOLVER的性能优于现有最先进的方法
      4. 结构及参数分析
        1. 网络结构分析
        2. 超参数分析
      5. 可视化分析
        1. 情感物体概念的可视化分析
        2. 情感物体区域的可视化分析
      6. 在相关任务上的推广应用
        1. 潜在数据集
          1. LUCFER数据集包含超过360万张图片
          2. EMOTIC数据集包含18316张图像
        2. 数据预处理
        3. 结构分析
        4. 可视化分析
          1. LUCFER训练的模型以人为中心,ESR数据集中的人总与情感产生紧密联系
        5. 失败案例
  3. 基于多激励感知的图像情感分类
    1. “激励-认知-反馈心理学模型”,即S-O-R模型认为诱发事件作为激励首先导致了人的认知改变,进而产生了外在行为的变化
    2. 基于多激励感知的图像情感分类方法
      1. 情感激励选取(颜色、物体、人脸)
      2. 情感特征提取
        1. 全局网络
        2. 语义网络
        3. 表情网络
      3. 层级交叉熵损失
    3. 实验结果及分析
      1. 数据集
      2. 实验设置
      3. 相关算法对比分析
        1. 在大规模数据集上的对比分析,优于现有最先进的方法
        2. 在小规模数据集上对比分析,证明多激励感知情感分类方法的有效性和鲁棒性
      4. 结构及参数分析
        1. 网络结构分析
        2. 超参数分析
  4. 基于主观性驱动的图像情感分布学习
    1. “对象-评估-情感”心理学模型
      1. 客观情景(即对象)并不直接决定最终的情绪感受,从对象的出现到情感的产生,还要经过评估
      2. 情绪感受的产生是大脑皮层和皮下组织协同作用的结果,是认知和反应两大系统交互的过程
      3. 在生理结构上,外界刺激作用在感受器上,感受器产生神经冲动,并将这一冲动传到大脑皮层,外界刺激在大脑皮层得到了评估,从而产生了情感
    2. 记忆网络(用外部存储来扩充现有网络的方法)
    3. 基于主观性驱动的图像情感分布学习方法
      1. 主观性评估
        1. 情感记忆
        2. 主观性损失
      2. 主观性匹配
        1. 匹配损失
    4. 实验结果及分析
      1. 数据集
      2. 实验设置
      3. 相关算法对比分析
      4. 结构及参数分析
        1. 网络结构分析
        2. 超参数分析
      5. 可视化分析
        1. 情感记忆的可视化分析
        2. 情感分布的可视化分析
  5. 基于环状结构表征的图像情感分布学习
    1. 情感环心理学模型
      1. 离散的类别情感状态不好
      2. 连续的维度情感空间
    2. 类标分布学习
      1. 解决当一个实例被标记为多个不同权重类标的问题
    3. 基于环状结构表征的图像情感分布学习方法
      1. 情感圆环的构建
        1. 任意情感状态可以被映射为一个情感向量e
      2. 情感向量的映射(将任意情感分布为情感环上复合情感向量)
      3. 渐进环状损失
    4. 实验结果及分析
      1. 数据集
        1. Flickr_LDL和Twirrer_LDL数据集
        2. Abstract Paintings数据集
      2. 实验设置
      3. 相关算法对比分析
        1. 问题转换
        2. 算法自适应
        3. 专用算法设计
        4. 基于CNN的方法
        5. 始终优于现有最先进方法
      4. 结构及参数分析
        1. 损失函数分析
          1. 渐进环状损失中每一部分都是必不可少的
        2. 超参数分析