网易|有点玄乎！用Python分析《隐秘的角落》里微表情计算机视觉|ocr|视频处理|人脸

文章图片

最近最火的网剧，就要说是《隐秘的角落》了，里面的各个演员角色演绎的也是非常的到位，非常的出彩。张东升的扮演者秦昊也是大火了一把。
【网易|有点玄乎！用Python分析《隐秘的角落》里微表情】《隐秘的角落》，不仅仅是剧情精彩，演员的表演也是十分的到位出色。各个演员的表情拿捏的也是非常的到位，今天，小编就带领大家来看一下，如何利用python来判断演员们的微表情。
1
整体的思路
首先，对于表情大家都很了解，人有七情六欲，表情都能从每个人的脸上体现出来，我们要做的就是将每个人的表情所表达的情绪，直接写出来，就如同下图所示的情形。

文章图片

上图中，我们直接将小姐姐们的表情用文字来表达出来，例如高兴(happy)和惊(surprised)。我们要做的就是将视频中演员的表情搭配上对于表情的解读进行展现，然后配上音频，合成我们的视频，流程图如下所示。

文章图片

程序开始执行后，我们先读入视频，然后对视频中的人脸表情进行标定，然后与提取到的音频进行合成，最后将合成的视频进行保存。
2
程序设计
以上是对于流程图的介绍，那么我们接下来来看一下，程序是如何实现的吧。首先是第一步，如何对人脸进行框定，并判断其表情的类别。
对人脸进行框定，是需要将人脸从图像中提取出来，然后送入到分类网络中进行表情的分类。对于人脸的框定和表情类别的判断，我们分为两个步骤：
第一：利用dliib库
我们采用dliib里的get_frontal_face_detector函数来提取图片中的人脸识别。

文章图片

如下图所示，我们检测到人脸后，根据get_frontal_face_detector给出的人脸坐标位置，直接从图像中将人脸截取下来(注：大家也可以采用opencv提供的CascadeClassifier进行人脸检测，虽然提取速度上有一定的优势，但是精度上会存在错误的检测。所以我们利用dliib库进行处理)。
第二：我们提取出来人脸之后，用分类神经网络来判断人脸的表情。
该神经网络是在大量的人脸表情数据集上经过训练的来的，所以能够分类出人类的表情类别。例如我们输入一张人脸，它就能判断出来，这张人脸的表情是什么，然后输出表情判断的结果，就如下图中的“送入分类网络”后的部分。

文章图片

上述示例图片中，我们更加清楚的展现出，程序是如何执行的，部分的程序如下图所示：

文章图片

上图程序中，程序首先将每一帧图像转化为灰度图，然后将检测出来的所有人脸进行分类，并在图像上添加对应的人脸表情陈述，框出人脸。我们将处理好的每一帧程序写入到具体的存储文件中。
3
视频和音频结合
经过上面的几步，我们仅仅是将视频进行了处理，还有音频没有合成，音频和视频的合成程序如下图所示。

文章图片

上述的程序中，我们利用moviepy来进行处理，首先是读取原视频的音频，然后将合成的视频和音频进行同步，最后写入到保存的视频文件中去。

4
视频展示
以上就是小编对于整个程序的讲解，最后，我们来看一下网络分析下演员的表情变化吧。
end