字節(jié)跳動技術(shù)團隊正式宣布，基于LangStack的全新Deep Research開源項目DeerFlow，已在ByteDance的GitHub官方組織上開源。這一消息在技術(shù)圈和內(nèi)容創(chuàng)作領(lǐng)域引發(fā)了廣泛關(guān)注，DeerFlow集成了多智能體系統(tǒng)的前沿架構(gòu)，打通了從深度研究到內(nèi)容生成的全鏈條功能，官方還特別推薦使用豆包1.5 Pro運行，凸顯出字節(jié)跳動在大模型生態(tài)布局中的協(xié)同策略。?
DeerFlow基于LangChain和LangGraph兩大開源框架構(gòu)建，采用Multi-Agent架構(gòu)設(shè)計，兼具開放性與易用性。這種設(shè)計利用了現(xiàn)有成熟框架的技術(shù)積累，以清晰的代碼結(jié)構(gòu)降低了學(xué)習(xí)門檻。開發(fā)者無需從頭搭建復(fù)雜的多智能體系統(tǒng)，便能快速理解不同智能體間的協(xié)作機制，如如何分工完成深度研究任務(wù)或內(nèi)容生成流程。值得注意的是，DeerFlow支持Replay模式，該模式可將與大模型的多輪流式交互過程以快速回放的形式還原。這一可視化功能不僅方便調(diào)試，還為研究者觀察智能體協(xié)作細(xì)節(jié)提供了窗口，對推動多智能體系統(tǒng)的學(xué)術(shù)研究與工程實踐具有積極意義。?
在功能創(chuàng)新上，DeerFlow深度覆蓋了內(nèi)容生產(chǎn)場景。其核心亮點在于將技術(shù)能力轉(zhuǎn)化為實用工具：借助火山引擎的語音技術(shù)，DeerFlow能夠從報告生成雙人主持的播客，生成自然的音頻內(nèi)容，解決了傳統(tǒng)播客制作中人工配音成本高的問題；它還支持從報告生成PPT，并提供文字版，滿足辦公場景的效率需求；更重要的是，DeerFlow允許用戶通過自然語言實時修改生成內(nèi)容。這種“人機協(xié)作”模式打破了傳統(tǒng)AI工具輸出后難以調(diào)整的局限，用戶可在細(xì)節(jié)優(yōu)化、信息補充甚至方向重定義上與AI進(jìn)行動態(tài)交互，確保最終成果符合需求。這些功能圍繞 “深度研究-內(nèi)容生成-多模態(tài)輸出-實時優(yōu)化”形成閉環(huán)，體現(xiàn)了字節(jié)跳動對 AIGC工具鏈整合的思考。?
從行業(yè)影響來看，DeerFlow的開源是字節(jié)跳動在AIGC領(lǐng)域的重要布局。通過開源策略，字節(jié)跳動能夠吸引更多開發(fā)者參與生態(tài)建設(shè)，借助社區(qū)力量完善工具功能，形成技術(shù)迭代的正向循環(huán)。同時，該項目與豆包大模型的協(xié)同，顯示出字節(jié)跳動構(gòu)建 “底層框架+大模型+應(yīng)用場景”全棧能力的意圖，這種生態(tài)化打法在當(dāng)前AI競爭中具有戰(zhàn)略意義。
DeerFlow Multi-Agent架構(gòu)或許預(yù)示著未來AI應(yīng)用的發(fā)展方向——單個大模型的能力邊界正被多智能體協(xié)作突破，通過分工協(xié)作實現(xiàn)更復(fù)雜的任務(wù)處理，這可能對教育、科研、媒體等多個領(lǐng)域的工作模式產(chǎn)生深遠(yuǎn)影響。
曾在谷歌任職長達(dá)17年之久，享有“Google Fellow”榮譽的吳永輝，近期正式加盟字節(jié)跳動，將負(fù)責(zé)領(lǐng)導(dǎo)人工智能（AI）領(lǐng)域的基礎(chǔ)研究工作。吳永輝的加入有望為字節(jié)跳動在人工智能領(lǐng)域的探索注入強勁動力。
吳永輝現(xiàn)就職的字節(jié)跳動部門于2023年初設(shè)立。彼時，OpenAI ChatGPT引發(fā)了大眾對大型語言模型和生成式人工智能的廣泛關(guān)注，字節(jié)跳動順勢成立此部門。據(jù)兩位知情人士透露，吳永輝現(xiàn)常駐加利福尼亞州圣何塞，直接向公司首席執(zhí)行官梁汝波匯報工作。
據(jù)一位知情人士透露，吳永輝已被任命為Seed基礎(chǔ)研究主管。
吳永輝于2008年以軟件工程師的身份加入谷歌。在2014年至2023年期間，他任職于谷歌大腦，這是谷歌旗下專注于機器學(xué)習(xí)、基因組學(xué)、自然語言理解等多領(lǐng)域研究的團隊。
2023年9月，吳永輝晉升為 Google Fellow，這是谷歌工程體系中的高級職位，等同于管理崗位中的副總裁級別。根據(jù)吳永輝LinkedIn個人資料顯示，他在谷歌的最后一個職位是擔(dān)任谷歌旗下人工智能研究實驗室 DeepMind 的研究副總裁。
據(jù)聞，吳永輝之所以決定轉(zhuǎn)換職業(yè)賽道，是因為他期望投身于 “新的、探索型” 工作，專注于 “長期的基礎(chǔ)科學(xué)研究”。
字節(jié)跳動憑借短視頻平臺TikTok及其中國姊妹平臺抖音而聞名于世，一直以來都在全力進(jìn)軍人工智能領(lǐng)域，力求成為行業(yè)領(lǐng)導(dǎo)者。在上周的內(nèi)部員工會議上，梁汝波表示，公司今年在人工智能方面的目標(biāo)包括探索“智能的上限”以及“新的用戶界面交互”。
澎湃新聞援引梁汝波的話稱，字節(jié)跳動在ChatGPT o1模型發(fā)布后便察覺到技術(shù)方向的轉(zhuǎn)變，然而跟進(jìn)速度未能達(dá)到預(yù)期。
梁汝波此前曾督促員工聚焦于追趕人工智能創(chuàng)新步伐。去年，他在一次內(nèi)部會議上指出，公司直至2023年才開始探討OpenAI于2022年11月推出的聊天機器人ChatGPT。
據(jù)《金融時報》報道，字節(jié)跳動計劃今年在人工智能基礎(chǔ)設(shè)施上投資逾120億美元，押注尖端技術(shù)以實現(xiàn)新增長。
據(jù)兩位知情人士透露，字節(jié)跳動已預(yù)算400億元人民幣（合55億美元）用于在2025年在中國收購AI芯片，這將是去年支出的兩倍。該集團還計劃在海外投資約68億美元，利用先進(jìn)的NVIDIA芯片增強其基礎(chǔ)模型訓(xùn)練能力。
據(jù)知情人士透露，字節(jié)跳動約60%的國內(nèi)半導(dǎo)體訂單將流向華為和寒武紀(jì)等中國供應(yīng)商，其余訂單將用于購買經(jīng)過淡化以符合美國出口管制的NVIDIA芯片。
68億美元的海外投資計劃用于打造字節(jié)跳動的AI模型訓(xùn)練算力。這項投資可能會面臨美國最近擴大出口管制的挑戰(zhàn)，該管制旨在阻礙中國公司開發(fā)敏感技術(shù)。
據(jù)一位知情人士透露，字節(jié)跳動今年已經(jīng)下達(dá)了大筆訂單，以擴大海外人工智能產(chǎn)能，比如通過租賃協(xié)議。該知情人士補充，這些產(chǎn)能應(yīng)該足以滿足該公司2025年的大部分需求，但此后的情況仍不確定。
字節(jié)跳動還面臨著來自百度、阿里和騰訊等資金雄厚的本土競爭對手的挑戰(zhàn)，這些競爭對手正在大力投資生成式人工智能。與這些競爭對手一起，字節(jié)跳動一直在推出更強大的模型，并降低開發(fā)者的成本。
國內(nèi)企業(yè)仍需在本土建設(shè)人工智能數(shù)據(jù)中心，以支持模型訓(xùn)練完成后人工智能應(yīng)用的使用。
字節(jié)跳動計劃使用其大部分中國人工智能芯片（包括華為的Ascend和Cambricon）執(zhí)行“推理”任務(wù)，即由大型語言模型進(jìn)行的計算以生成對提示的響應(yīng)。
字節(jié)跳動與臺積電合作設(shè)計了兩款A(yù)I芯片，據(jù)The Information援引未具名知情人士的消息稱，該公司計劃在2026年之前實現(xiàn)量產(chǎn)。通過生產(chǎn)專屬AI芯片，從而減少對英偉達(dá)AI芯片的依賴。
去年8月，字節(jié)跳動發(fā)布了人工智能聊天機器人“豆包”。據(jù)彭博社報道，在中國，豆包去年的下載量超過了Ernie Bot ，iOS月活躍用戶也更多。據(jù)The Information報道，字節(jié)跳動于5月推出了一系列面向企業(yè)的豆包大型語言模型（LLM），這些模型的價格低于競爭對手的模型，而競爭對手在競爭加劇的情況下不得不將價格降低高達(dá)97%。
另據(jù)報道，字節(jié)跳動已訂購了超過20萬塊NVIDIA H20芯片，然而，據(jù)The Information估計，字節(jié)跳動現(xiàn)在計劃從臺積電訂購用于訓(xùn)練和推理的芯片，這將為其節(jié)省數(shù)十億美元，但這些芯片仍在設(shè)計中，計劃尚未最終確定。
此外，一位知情人士向The Information透露，百度已經(jīng)設(shè)計了人工智能芯片昆侖3，并將很快在臺積電開始生產(chǎn)。
字節(jié)跳動推出了一批大型語言模型（LLM），其成本低于行業(yè)競爭對手，此舉可能會引發(fā)一場新的價格戰(zhàn)。
字節(jié)跳動豆包LLM家族與字節(jié)跳動去年推出的豆包聊天機器人同名，由至少8個版本組成。該公司在會上宣布，其中包括頂級的豆包Pro（可處理多達(dá)128000個令牌的輸入），以及入門級豆包Lite和其他專注于識別音頻或創(chuàng)建虛擬角色的版本。
字節(jié)跳動云計算服務(wù)部門火山引擎總裁譚待表示，使用豆包Pro LLM的成本低至每1000個“Token”0.0008元（0.011美分）。在人工智能中，“Token”是算法處理的基本數(shù)據(jù)單位，這使得1000個“Token”相當(dāng)于約 750個英文單詞。
譚待表示，周三通過Volcano Engine推出的Doubao LLM的使用成本比ChatGPT的GPT-4模型低99.8%，后者的價格為每1000“Token”0.42元。
另外，百度Ernie LLM和阿里通義千問LLM每1000“Token”各收取0.12元。字節(jié)跳動對豆包LLM的激進(jìn)定價反映了國內(nèi)人工智能市場機會的增加，越來越多的公司——包括初創(chuàng)企業(yè)、大型科技公司和國有企業(yè)——正在爭先恐后采用GenAI工具來幫助推動人工智能市場的發(fā)展。
經(jīng)過大量數(shù)據(jù)訓(xùn)練的LLM正在徹底改變 GenAI應(yīng)用，例如聊天機器人、虛擬助理和Sora等高級內(nèi)容生成工具。GenAI是用于創(chuàng)建新內(nèi)容的算法，包括音頻、代碼、圖像、文本、模擬和視頻。
截至今年1月，獲批的LLM和相關(guān)人工智能應(yīng)用的數(shù)量總計超過40個。但目前，市場上有超過200個LLM，這可能導(dǎo)致其他廠商與百度展開價格戰(zhàn)。
除了低成本LLM，字節(jié)跳動還宣布了其他與人工智能相關(guān)的投入，包括Coze平臺企業(yè)版，該平臺使用戶能定制聊天機器人。
此外，字節(jié)跳動還宣布與三星電子、小米和榮耀建立“智能設(shè)備LLM聯(lián)盟”，以及與本土汽車制造商吉利和長城汽車建立汽車LLM生態(tài)系統(tǒng)聯(lián)盟”。
字節(jié)跳動產(chǎn)品與戰(zhàn)略部副總裁朱駿表示，豆包應(yīng)用每月活躍用戶已超過2600萬。
而阿里上周表示，其LLM系列通義千問（又名“Qwen”）已被消費電子、汽車和網(wǎng)絡(luò)游戲等行業(yè)超過9萬家企業(yè)客戶采用。
阿里表示，超過220萬企業(yè)用戶還可通過阿里辦公協(xié)作平臺釘釘獲得由通義千問支持的人工智能服務(wù)。
在更廣闊的全球市場中，人工智能模型的門檻仍然很高。OpenAI宣布了GPT-4o，該LLM能夠進(jìn)行真實的語音對話，并能夠跨文本和圖像進(jìn)行交互，這是其在主導(dǎo)人工智能技術(shù)的競賽中保持領(lǐng)先地位的最新舉措。
空間計算醫(yī)療平臺和治療性擴展現(xiàn)實（XR）解決方案商XRHealth宣布，字節(jié)跳動將為其員工提供來自XRHealth的虛擬現(xiàn)實（VR）治療福利。
XRHealt稱，字節(jié)跳動員工將可以在舒適的家中或字節(jié)跳動診所接受XRHealth物理、職業(yè)和行為療法解決方案。
XRHealth首席執(zhí)行官Eran Orr表示：“XRHealth是企業(yè)員工的首選解決方案，我們的解決方案有趣、有吸引力且方便，因此員工對治療計劃的遵守率更高，而高水平的治療依從性還意味著員工將更健康、更快樂，從而提高工作效率?！?/p>
XRHealth提供針對身體狀況的治療，如康復(fù)和物理治療，以及心理健康狀況的治療，如焦慮、創(chuàng)傷后應(yīng)激障礙、壓力緩解等。該公司公告表示，字節(jié)跳動員工將能在家中獲得既有吸引力又身臨其境的按需治療。
不僅如此，XRHealth平臺提供的交互式虛擬環(huán)境還提高了治療計劃的參與度和依從性，同時讓患者和臨床醫(yī)生能獲取數(shù)據(jù)見解，從而評估和調(diào)整治療結(jié)果。
字節(jié)跳動美洲福利負(fù)責(zé)人Todd Wells表示：“字節(jié)跳動的目標(biāo)是為員工提供有意義且有效的福利，XRHealth虛擬現(xiàn)實治療服務(wù)使我們的員工能夠在舒適的家中方便使用有效的工具來改善身心健康。”
除了字節(jié)，吳德周還曾在錘子科技任職，曾任錘子科技COO，錘子科技產(chǎn)品線、硬件研發(fā)副總裁，負(fù)責(zé)錘子科技的產(chǎn)品線以及全部硬件研發(fā)工作。吳德周認(rèn)為AR將會是繼PC、手機的下一個通用計算平臺，而后者又是已經(jīng)得到驗證的萬億級大蛋糕。不僅是未來市場的誘惑，在AR目前百花齊放的產(chǎn)品定義過程中，成為”下一個蘋果”、”下一個喬布斯”，也在吸引著手機行業(yè)的高管們出走創(chuàng)業(yè)。
吳德周認(rèn)為手機行業(yè)出身的人具有對先天對AR用戶群了解的優(yōu)勢，因為手機供應(yīng)鏈和AR供應(yīng)鏈重合度非常高，因此對手機、用戶、供應(yīng)鏈的了解，可以達(dá)到無縫切換。
吳德周表示，明年上半年預(yù)計會發(fā)布第一款A(yù)R眼鏡產(chǎn)品。”全球最輕”、”可以戴出門”、”能夠真正做到可以和現(xiàn)實互動，而不僅僅是信息提示”是這款產(chǎn)品三個最核心的競爭力。
]]>
專利摘要顯示，本申請方法應(yīng)用于控制設(shè)備，包括：在確定視頻錄制功能啟動時，獲取用戶操作數(shù)據(jù)、應(yīng)用數(shù)據(jù)以及外部設(shè)備拍攝的真實視頻；根據(jù)所操作數(shù)據(jù)和應(yīng)用數(shù)據(jù)，生成虛擬視頻；根據(jù)真實視頻和所述虛擬視頻，合成混合現(xiàn)實（MR）視頻。本申請能夠優(yōu)化VR頭戴設(shè)備的實時性能消耗，避免VR頭戴設(shè)備出現(xiàn)畫面顯示卡頓和幀率下降的風(fēng)險，使得用戶在體驗VR應(yīng)用時，沉浸感更強，從而為提高用戶的沉浸體驗提供了條件。
]]>