隨著2018中期選舉活動的升溫，一種新形式的錯誤信息準備通過在線社區傳播。 之後被稱為“深陷之物” 推廣該技術的假名在線帳戶 - 可能選擇了它的名字，因為該過程使用了一種稱為“深度學習”的技術方法 - 這些假視頻看起來非常逼真。
到目前為止，人們已經使用過deepfake視頻 色情 和 諷刺 看來，名人正在做他們通常不會做的事情。
但幾乎可以肯定 在競選季節期間將出現深水資金，聲稱描繪候選人 說些什麼 或去的地方真正的候選人不會。
這是巴拉克奧巴馬 - 或者是它？
{youtube}cQ54GDm1eL0{/youtube}
由於這些技術是如此新穎，人們無法分辨真實視頻和深度視頻之間的區別。 我的工作和我的同事Ming-Ching Chang和我們的博士。 學生李越尊，已經找到了辦法 從deepfake視頻中可靠地講述真實視頻。 這不是一個永久的解決方案，因為技術將得到改善。 但這是一個開始，並希望計算機能夠幫助人們從虛構中講述真相。
無論如何，什麼是'深刻的'？
製作一個深度視頻非常像在語言之間進行翻譯。 服務如 Google Translate 使用機器學習 - 計算機分析成千上萬的文本 用多種語言 - 到 檢測單詞使用模式 他們用來創建翻譯。
Deepfake算法以相同的方式工作：它們使用一種稱為a的機器學習系統 深度神經網絡 檢查一個人的面部動作。 然後他們合成另一個人的臉的圖像，做出類似的動作。 這樣做可以有效地創建一個目標人物的視頻，該視頻可以表達或說出來源所做的事情。
有多麼深刻的視頻製作。
{youtube}8LhI-e2B8Lg{/youtube}
在它們能夠正常工作之前，深度神經網絡需要大量的源信息，例如人物照片是模仿的來源或目標。 用於訓練深度偽造算法的圖像越多，數字模擬就越真實。
檢測到閃爍
這種新算法仍然存在缺陷。 其中一個與模擬面部的閃爍方式有關 - 或者不這樣做。 健康的成年人眨眼 介於每個2和10秒之間，只需一眨眼 在十分之一到十分之四秒之間。 這是在一個人談話的視頻中看到的正常現象。 但這不是許多深度視頻中發生的事情。
一個真實的人在說話時眨眼。
{youtube}https://www.youtube.com/watch?v=-MMXXEA3UaM{/youtube}
模擬的臉不會像真人那樣閃爍。
{youtube}EttSA9-YIuI{/youtube}
當深度偽造算法訓練在人的面部圖像上時，它取決於可在互聯網上可用作訓練數據的照片。 即使對於經常拍照的人來說，網上幾乎沒有可用的圖像顯示他們閉著眼睛。 不僅罕見的照片 - 因為大多數時候人們的眼睛都是開放的 - 但攝影師通常不會發布主要拍攝對象關閉的圖像。
如果沒有訓練人們閃爍的圖像，深度偽造算法就不太可能創建正常閃爍的面部。 當我們計算整體閃爍率並將其與自然範圍進行比較時，我們發現，與真人相比，深度視頻中的角色閃爍頻率低得多。 我們的研究使用機器學習 檢查視頻中的眼睛開放和關閉.
這為我們提供了檢測deepfake視頻的靈感。 隨後，我們開發了一種方法來檢測視頻中的人何時閃爍。 更具體地說，它掃描有問題視頻的每一幀，檢測其中的面部，然後自動定位眼睛。 然後利用另一個深度神經網絡，利用眼睛的外觀，幾何特徵和運動，確定檢測到的眼睛是打開還是關閉。
我們知道我們的工作正在利用可用於訓練deepfake算法的數據中的缺陷。 為了避免成為類似缺陷的犧牲品，我們在一個開放和閉合眼睛的大型圖像庫中訓練我們的系統。 這種方法似乎運行良好，因此，我們實現了超過95百分比的檢測率。
當然，這不是檢測深度探測的最後一個詞。 技術是 迅速改善生成和檢測假視頻之間的競爭類似於國際象棋遊戲。 特別地，通過包括閉眼的面部圖像或使用視頻序列進行訓練，可以將閃爍添加到深度視頻中。 想要混淆公眾的人會更好地製作虛假視頻 - 我們和技術社區的其他人將需要繼續尋找檢測它們的方法。
關於作者
Siwei Lyu，計算機科學副教授; 計算機視覺與機器學習實驗室主任， 紐約州立大學奧爾巴尼分校
相關書籍
at InnerSelf 市場和亞馬遜
