不好事理了日本三级电影,一篇著述带了三个热门:朱茵、杨幂以及波多野结衣。
我就说吃瓜世界粗鄙要多关注科技新闻,一个在科技界也曾出生了一年多的“老技能”Deepfake 竟然因为“明星换脸”的视频火出了圈。
偷窥偷拍缘起是这样的:一个温情网友欺诈 Deepfake 把《射雕铁汉传》里黄蓉的脸由朱茵酿成了杨幂,然后这个小视频就在网上火了,一些酸溜溜的驳倒就出来了:
呵,咱们杨女士早就拿过海外影后了好吗。
离题万里,视频里换脸后东说念主脸的概述、神采齐不异,动起来的遵守也很实在,险些看不出谬误。高阶的换脸技能也引来了一些惊悸:“何如收尾的换脸?若是这一技能被用在其他地点,会何如样?我会不会被别东说念主假冒了齐不知说念?”
不必惊悸,因为早就发生了。
AI 换脸术出生后,造出了多数假视频,况兼还被用到了制作“不成刻画”视频,多样“不成刻画”视频被换上了好莱坞女星的脸,比如《神奇女侠》的女主角盖尔·加朵( Cal Gadot )的脸就被嫁接到一个成东说念主电影女星的身上。
是以,在视频里化身波多野结衣也不是不成能?这种“想看谁演AV就看谁演AV”的技能好像还真有点危急,不外雷锋网行为一个优秀的科技媒体,也曾报说念了太多对于 Deepfake 的新闻,让咱们总结一下:
一、换脸术在技能上怎样收尾?博客平台“medium”有位作家就刻画了把尼古拉斯凯奇的脸,放在川普的头上的过程,临了遵守如下↓↓↓
雷锋网发现,收尾这个遵守分三步:
1.网罗凯奇的相片并选拔要修改的视频区域。
由于只需换脸,是以第一步即是要识别图片上的脸部,找到要替换的位置,确定标的和大小。如下图,就像相片的像素不异,当今的东说念主脸被判辨为好多个像素,你要找出替换的像素区域。
2.使用标的梯度直方图(简称HOG)赢得凯奇的脸部特征。
把梯度标的平均差别为多个区间,在每个单位里濒临系数像素的梯度标的,在各个标的区间进行直方图统计,赢得一个多维的特征向量,每相邻的单位组成一个区间,把一个区间内的特征向量联起来赢得多维的特征向量,用区间对样本图像进行扫描,扫描步长为一个单位。临了将系数块的特征串联起来,就赢得了东说念主脸的特征。
3.使用特征数据,检修一个自动编码器。
自动编码器是一种神经集会学惯用具(深度学习背后的缱绻系统)。
通过在方针图片上检修模子,以保证即使输入的是一个不同的模样,模子也会把它调停成原来的模样。当今可以在方针视频中识别东说念主脸(视频仅仅一堆图片),然后通过检修模子将川普调停为凯奇。
临了,兼并图像,大功胜利。
原文:除了一键生成明星色情片,“AI 换脸术”的应用场景还有好多
二、详解技能细节Deepfake 的通盘进程包括三步,一是索要数据,二是检修,三是调停。其中第一和第三步齐需要用到数据预处理,另外第三步还用到了图片会通技能。是以我在技能上主要分三个方面来剖析:图像预处理、集会模子、图像会通。
1. 图像预处理
从大图(或视频)中识别,并抠出东说念主脸图像,原版用的是 dlib 中的东说念主脸识别库(这个识别模块可替换),这个库不仅能定位东说念主脸,而且还可以给出东说念主脸的 36 个要津点坐标,凭证这些坐标能缱绻东说念主脸的角度,最终抠出来的东说念主脸是摆正后的东说念主脸。
2. 集会模子
Encoder: 64x64x3->8x8x512x = input_x = conv(128)(x)x = conv(256)(x)x = conv(512)(x)x = conv(1024)(x)x = Dense(ENCODER_DIM)(Flatten()(x))x = Dense(4 * 4 * 1024)(x)x = Reshape((4, 4,雨宫琴音vs黑人 1024))(x)x = upscale(512)(x)Decoder:8x8x512->64x64x3x = input_x = upscale(256)(x)x = upscale(128)(x)x = upscale(64)(x)x = Conv2D(3, kernel_size=5, padding='same', activation='sigmoid')(x)
通盘集会并不复杂,无非即是卷积加全连合,编码->解码,可是仔细计划后发现作家其实是匠心独运的,为什么我不急着说,咱们先望望 con 和 upscale 的里面收尾:
def conv(filters): def block(x): x = Conv2D(filters, kernel_size=5, strides=2, padding='same')(x) x = LeakyReLU(0.1)(x) return x return blockdef upscale(filters): def block(x): x = Conv2D(filters * 4, kernel_size=3, padding='same')(x) x = LeakyReLU(0.1)(x) x = PixelShuffler()(x) return x return block
conv 是中规中矩的卷积加 relu 激活函数,upscale 中有个函数叫 PixelShuffler,这个函数很特事理,其功能是将 filter 的大小变为原来的 1/4,让后让高 h、宽 w 各变为原来的两倍,这也即是为什么前边的卷积层的 filter 要乘以 4 的原因。
经过测试对比,比如拿掉 upscale 换成步长为 2 的反卷积,或者肤浅 resize 为原来的两倍,本质的遵守齐大打扣头,闭幕是集会只可自编码,而得不到需要的东说念主脸。天然作家莫得说这样想象是援用那篇论文的念念想,笔者也未读到过径直计划这个问题的论文,可是有一篇论文可以佐证:Deep Image Prior,包括 Encoder 中的全连合层齐是东说念主为打乱图像的空间依赖性,增多学习的难度,从而使集会大致愈加充分地会通图像。是以 Encoder 中的全连合层和 PixelShuffler 齐是必不成少的。经笔者测试,在不加 Gan 的情况下,去掉这两个身分,集会必定失败。
3. 图像会通
图像会通放在技能难点分析中计划。
原文:深度解密换脸应用 Deepfake
三、“AI 换脸术”还能何如用除了被用于色情内容,这项技能其实也许还应该有更泛泛的应用场景。
比如在电影《速率与阵势7》中,主演保罗·沃克在 2013 年 11 月因车祸灭尽,其时电影还莫得拍完,
其时外界预计可能会有三种弥补决策,一,原脚本拍摄,找替身,使用 CGI 殊效,让沃克把戏“演”完。 二,再行修改脚本,把保罗所演出的脚色写死,或者让他消亡。三,再行找男一号,重头拍摄。
在其时,后两种资本齐很高,修改脚本,把保罗所演出的脚色写死,衰败对死者和影迷的尊重。而若是再行拍摄,失掉太惨重。
最终,制片公司找到了保罗的弟弟,让他演出保罗的脚色,然后用 CGI 动作捕捉技能,加上保罗之前拍过但没使用的素材,把弟弟的脸酿成保罗的脸,不雅众在看电影时基本看不出来。
若是这部电影放在今天,也许可以尝试著述伊始所用的技能。
其实,对于雷同东说念主工智能技能在视频制作限制的应用,以制作图形处理器而著名的英伟达也曾在尝试了,昨年12月,它就发布了一款图像算法,可以篡改视频中的天气或时代。
汽车明明行驶在阳光明媚的说念路上,而经过 AI 的篡改,视频竟然呈现出了夜晚的得志。不仅汽车的尾灯明晰亮堂,就连正本莫得街灯的说念路两旁,齐出现了实在的灯光遵守。
时代再往前推,在2016年,还有一项更牛气的技能,一位来自德国纽伦堡大学的西席 Justus Thies 携带团队,作念了一个能及时进行面部调停的模子,叫Face2Face。
使用者选拔一个方针脚色,比如川普,Face2Face会将他和川普的面部特征重构并跟踪,当他作念出一个面部神采时,比如大张嘴,模子会再行渲染川普的脸的时局和光影,并对配景进行修改。
他们还拿普京作念方针,遵守看来也可以。
原文:除了一键生成明星色情片,“AI 换脸术”的应用场景还有好多
四、DeepFake 当今何如样了谁被谐和齐能接管,你偏巧跟我说此次是GitHub?分歧分歧,这也对不上号呀!为啥这样说?咱们先来望望GitHub是个啥吧:
雷锋网得知,GitHub是一个面向开源及稀奇软件名见解托管平台,因为只解救git行为独一的版块库阵势进行托管,故名GitHub。而DeepFake则是GitHub的一个开源名目代码仓库,按照正常景况来说,即使在尚未登录的情况下该库亦然对外敞开的。关系词,即是这样一个不黄、不赌也无毒的东东在一篇来自Hacker News的帖子里被曝出——当在隐身模式下以未登录的模样访谒DeepFake的GitHub 仓库时,页面的裸露闭幕却如下图示:
没错,待审核。正如上头说的,DeepFake是一个开源的名目代码仓库,如今却被指示处在审核景况,那不即是被“谐和”了吗?好端端的DeepFake为啥会遭到这般“待遇”呢?对此,该贴吧中开荒者们张开了强烈的计划,这块剪辑会在著述的背面留意讲到。那么,能笃信的是这个DeepFake开源名目还真不一般,那它究竟是干啥的呢?骨子上,这里面的设施代码果然大致让东说念主们收尾“换脸”的操作。
原文:DeepFake疑遭审查,网友:此乃它“干爹”所为
五、被黑灰产应用?这一技能的应用会激发何种问题?
阿里安全图灵本质室高档算法行家觉奥示意,除了换脸激发的说念德和伦理问题,黑灰产利用 AI 换脸,是目下常见的一种袭击技能,“在东说念主脸识别系统中,识别换脸的技能叫活体检测技能,这是一个攻防抗争技能,即用 AI 的技能来处置 AI 的袭击。”
举个例子,2017 年 11 月下旬,阿里安全图灵本质室就发现,有违警团伙通过 3D 软件闭幕东说念主脸相片进行袭击操作,共发起过几百次袭击,导致近百名受害东说念主驾照分被盗刷。通过 3D 合成“假脸”认证账号注册或登陆后,黑灰产东说念主员可在受害东说念主绝不知情的情况下,用于黑卡失实注册、刷单、薅羊毛、骗取等犯警行为。
基于安全 AI 的次第来很好地处置这一袭击问题。“通过深度学习技能,检修模子,来通过两者的纹理、肤色、反光等特质的不同而识别出来。”觉奥示意,可收尾在毫秒级时代内揪出假东说念主脸,目下识别准确率达到 99.9 %。
雷峰网版权著述日本三级电影,未经授权不容转载。笃定见转载应知。