Nora
正踏入計算機視覺領域,大四保研生一枚~
作者 | Nora
編輯 | Nora/言有三
接著上一篇介紹華為諾亞方舟實驗室之后,今天帶大家認識一下抖音背后的研究院——字節跳動AI實驗室
01
簡介
字節跳動人工智能實驗室,即 ByteDance AI Lab,作為信息流行業的產品和服務提供商,率先部署了大規模的人工智能模型,并重新定義人類連接和共享信息的方式,即個性化。
北京字節跳動科技有限公司成立于2012年3月,ByteDance AI Lab成立于2016年。字節跳動人工智能實驗室依托字節跳動的海量數據,專注于開發為字節跳動內容平臺服務的創新技術,并將研究成果應用于今日頭條的產品中,利用人工智能幫助內容的創作、分發、互動、管理。同時,實驗室也將針對人工智能相關領域內長期性和開放性問題進行研究,幫助公司實現對未來發展的構想,促進人類信息與知識交流的效率與深度。
AI Lab不僅是公司內部的AI研究所,也是AI技術提供商與服務商,注重與高校和政府的合作,并強調人才培養的重要性。
ByteDance AI Lab https://ailab.bytedance.com/
字節跳動科技有限公司 https://bytedance.com/#home
02
領導團隊
人工智能實驗室負責人:
字節跳動副總裁、人工智能實驗室負責人 馬維英:
信息流的未來與人工智能的機會 | 新智元 2017
人工智能賦能內容創作和交流 | CNCC 2018
內容提要:
· 字節跳動AI Lab鼓勵研究員直接參與到產品研發,利用豐富的應用場景、大量的數據和用戶反饋推進科研和技術創新,即所謂的 Real Impact 。
· 五大戰略
大數據:最好這家公司能夠擁有全世界最大的數據資源,擁有數據才是“王道”;
應用場景:在字節跳動,研究人員每天都能夠從公司的應場景中找到問題,并想要去解決;
算力:字節跳動的Internet Data Center在國內也是比較出眾的;
AI需閉環:其實很多用戶交互相當于遞給了你一份大數據的,提供了更為細粒度的標注數據,而字節跳動每日全球活躍用戶所提供的數據之海量,堪稱一筆財富;
人才:最頂尖聰明的人才是非常關鍵的一點。不僅公司內部要有這樣的人才,最好與之相關的學術界、產業界、社區都是頂級的人才。
· 利用人工智能幫助內容的創作、分發、互動、管理
AI時代下的4種管道(4種主要的方式分別是推薦、搜索、助理與社區/社交)連接人和信息,促進交流和創作。
新一代AI驅動信息平臺,使得交流與創作方式更加智能。
AI Lab賦能產品、服務人類(短視頻)。
人工智能實驗室主任:
字節跳動人工智能實驗室總監 王長虎博士:
高通量媒體內容理解論壇抖音 | CNCC 2018
內容提要:
· 計算機視覺技術除了在抖音上有廣泛應用,還支撐著今日頭條、火山小視頻、西瓜視頻。計算機視覺是抖音和今日頭條很多產品的重要基石,希望更多老師和同學加入字節跳動公司。
03
研究領域
ByteDance AI Lab 聚集了人工智能方面的最有才華的研究人員,推動著機器智能的極限。從理論研究,到產品部署,ByteDance AI Lab將他們的最佳創意融入各個研究領域。
ByteDance AI Lab的研究領域主要分為以下幾個部分:
3.1 自然語言處理
研究內容:利用平臺上,如頭條、Topbuzz或News Republic上積累的語言內容,研究機器在試圖理解數百種語言時出現的復雜問題。
所用技術:句法和語義分析,情感分析,文本分類,文本匹配和檢索,文本摘要,對話系統,問答,機器翻譯,自然語言生成,信息提取,語言和視覺。
應用:
· Byte Translator:為字節跳動所有產品提供翻譯服務
· AI寫稿機器人Xiaomingbot: 涉獵體育、金融、時事的新聞寫作機器人
· 頭條和Tiktok (抖音) 的搜索服務
3.2 計算機視覺
研究內容:自動化實現識別物體、跟蹤運動中的動物或理解空間等;改善跨平臺的用戶體驗;開發新的人機交互模式。
所用技術:視覺理解(分類,識別,檢測,分割,摘要,字幕,VQA), 內容創建,圖像和視頻搜索,圖像和視頻消重,可視化平臺,視頻推薦,3D視覺/3D重建,即時定位與地圖構建。
應用:
· 內容審核
· 短視頻推薦系統
· 足球比賽理解
· 尬舞機
3.3 機器學習
研究內容:將機器學習應用于全面推薦系統,為跨平臺的數十億個請求提供個性化新聞、視頻和其他類型的媒體。
所用技術:大規模優化,概率圖形模型和貝葉斯方法,深度學習,強化學習,推薦系統,非參數模型,時間序列模型,半監督學習,對抗性學習。
3.4 數據挖掘
研究內容:數據挖掘可以提高瀏覽大量用戶生成的數據和發現模式的方法,基于此可以深入了解如何更好地使用平臺,以及如何改進。
所用技術:社交網絡分析,圖形挖掘,時間序列分析,數據可視化,異常檢測,推薦系統,多媒體挖掘。
3.5 計算機圖形&增強現實
研究內容:通過計算機圖形來增強現實世界,創建未來最具沉浸感的體驗。
3.6 系統&網絡
研究內容:研發高可用性、高效率和暢銷的系統,為數億月活用戶隨時隨地提供最相關的信息。
所用技術:機器學習系統,CPU / GPU / FPGA / ASIC 集成系統,云/邊緣計算,數據中心網絡,分布式網絡存儲,通過軟件自動化實現高可用性系統,推薦系統,內容理解的系統支持。
應用:
· 機器學習培訓
· 機器學習推理
· 云計算
3.7 安全&隱私
研究內容:過濾垃圾郵件、敏感和不適當內容、假新聞以及任何可能對社會影響有害的東西,保證在線社區的安全。
3.8 語音與音頻
研究內容:處理語音理解、音樂和音頻的核心問題,并提供能夠模仿各種聲音的強力工具。
所用技術:音頻事件檢測,語音識別,語音合成,音頻指紋,音樂檢索和生成。
應用:
· AI輔助呼叫中心
· 虛擬廣播員和歌手
· 具有語音功能的機器人和設備
04
應用領域
4.1 開放API:Byted Effect 2.0
2.0推出更多功能,可對人臉/人體/手指進行精準檢測,為中小企業提供多種移動端特效支持。同時Byted Effect 2.0 中所有能力均已接入抖音、Faceu等多個app使用。
https://ailab.bytedance.com/sdk2
4.2 APP(抖音、西瓜視頻等)特效