上周在波士頓召開的Splunk Conf25大會上，Splunk及其母公司思科（Cisco）推出了思科數(shù)據(jù)經(jīng)緯（Data Fabric），這是一種新的架構(gòu)，旨在將機器數(shù)據(jù)轉(zhuǎn)化為人工智能的“可用燃料”。

該系統(tǒng)基于Splunk平臺，旨在使企業(yè)更容易、更低成本地收集、管理和分析來自服務(wù)器、網(wǎng)絡(luò)、應(yīng)用程序和邊緣設(shè)備的巨大機器數(shù)據(jù)流。如果得到有效利用，這些數(shù)據(jù)流可以成為從訓(xùn)練自定義AI模型到編排代理工作流程的所有內(nèi)容的原料。

公司高管將這一發(fā)布視為Splunk發(fā)展的下一步。思科總裁兼首席產(chǎn)品官Jeetu Patel稱機器數(shù)據(jù)是一座“金礦”，傳統(tǒng)上對于人工智能來說，激活機器數(shù)據(jù)過于繁瑣和昂貴。Patel表示，新結(jié)構(gòu)將Splunk在云數(shù)據(jù)分析中的原始角色擴展到了人工智能時代，為企業(yè)提供了一種使用自己的專有機器數(shù)據(jù)構(gòu)建模型的方法。

分解功能

在發(fā)布時，思科和Splunk概述了數(shù)據(jù)結(jié)構(gòu)的幾個新組件，展示了該架構(gòu)在實踐中的工作方式。發(fā)布會上強調(diào)的功能包括：

時間序列基礎(chǔ)模型（TSFM）：支持高級模式分析和時態(tài)分析。對時間序列數(shù)據(jù)進行推理，實現(xiàn)高級異常檢測、預(yù)測和思科數(shù)據(jù)結(jié)構(gòu)中的自動根本原因分析。它推動主動運營，加速事件響應(yīng)，并將機器數(shù)據(jù)轉(zhuǎn)化為可操作的情報信息。

統(tǒng)一、智能的數(shù)據(jù)基礎(chǔ)：無縫地跨邊緣、云和內(nèi)部部署，包括SecOps、ITOps、DevOps和NetOps，轉(zhuǎn)化為實時、可操作的見解同時優(yōu)化成本和效率。

無邊界實時搜索和分析：無論數(shù)據(jù)位于何處，都可以立即搜索和分析數(shù)據(jù)，跨Amazon S3、Apache Iceberg、Delta Lake（帶Spark）、Snowflake以及Microsoft Azure，同時智能地將數(shù)據(jù)路由到最合適的存儲或分析引擎用于工作負(fù)載。

推動人工智能創(chuàng)新：Splunk Machine Data Lake等獨特功能將提供為模型訓(xùn)練和企業(yè)分析提供持久的、人工智能就緒的基礎(chǔ)。連同Splunk AI Toolkit和MCP服務(wù)器，這些創(chuàng)新有助于將機器數(shù)據(jù)轉(zhuǎn)化為先進人工智能能力的燃料來源。

全周期AI原生：在數(shù)據(jù)生命周期的每個階段（從輸入到輸出）提供內(nèi)置AI以及對自我修復(fù)操作的持續(xù)監(jiān)控——推動前所未有的生產(chǎn)力，敏捷性和創(chuàng)新性。

靈活、開放的架構(gòu)：適應(yīng)任何具有開放標(biāo)準(zhǔn)、即插即用的環(huán)境。

集成和自助服務(wù)工具：廣泛推動創(chuàng)新。

Splunk高級副總裁兼平臺總經(jīng)理Mangesh Pimpalkare稱：“思科Data Fabric的戰(zhàn)略愿景最終是幫助企業(yè)為人工智能時代提供統(tǒng)一的運營解決方案。”這意味著統(tǒng)一企業(yè)如何應(yīng)對跨安全、IT、DevOps和網(wǎng)絡(luò)團隊的運營挑戰(zhàn)。Pimpalkhare說，這些工作幾乎不可能用傳統(tǒng)的儀表板和查詢來管理。企業(yè)的復(fù)雜性，以及人工智能工具和機器數(shù)據(jù)的激增，使得解決問題變得被動和緩慢。Data Fabric背后的愿景是翻轉(zhuǎn)該模型，使用在機器數(shù)據(jù)上訓(xùn)練的人工智能及早發(fā)現(xiàn)問題，并協(xié)助人類操作員更快地解決問題。

他解釋說，這與早期Splunk架構(gòu)的不同之處在于，它是人工智能優(yōu)先，而不是人類優(yōu)先。之前的迭代側(cè)重于通過減少查詢數(shù)量或?qū)⑵浞g成自然語言來提高人類工作流程的效率。相比之下，Data Fabric設(shè)想的人工智能代理可以主動監(jiān)控企業(yè)系統(tǒng)，根據(jù)每個行業(yè)或組織的獨特模式進行微調(diào)，并能夠在異常成為問題之前檢測到異常。這就是思科在談?wù)摗凹せ睢睓C器數(shù)據(jù)時的意思：從被動的信息存儲轉(zhuǎn)向數(shù)據(jù)持續(xù)訓(xùn)練實時監(jiān)控和響應(yīng)模型的系統(tǒng)。

這種方法的核心是Splunk機器數(shù)據(jù)湖。與將所有內(nèi)容整合到一個物理存儲庫中的傳統(tǒng)數(shù)據(jù)湖不同，這是一個分布式數(shù)據(jù)湖，對機器數(shù)據(jù)進行編目和連接。其中一些數(shù)據(jù)可能存儲在Splunk或Cisco中，但其中大部分存儲在客戶存儲庫或Snowflake和ServiceNow等系統(tǒng)中。通過聯(lián)合查詢并跨這些來源構(gòu)建知識圖譜，Splunk旨在讓人類操作員和人工智能代理能夠按需匯集所需的數(shù)據(jù)。

啟用此功能的是Splunk模型上下文協(xié)議（MCP）服務(wù)器，Pimpalkare將其描述為Splunk功能的自然語言接口。與過去的API非常相似，MCP為外部代理和應(yīng)用程序調(diào)用Splunk函數(shù)提供了一種標(biāo)準(zhǔn)化的方法。這不僅為Splunk自己的代理AI產(chǎn)品提供了動力，還允許外部AI系統(tǒng)使用自然語言提示訪問Splunk平臺。

展望未來，Pimpalkhare認(rèn)為Data Fabric將朝著三個重要方向發(fā)展。首先，采用Apache Iceberg等開放標(biāo)準(zhǔn)和接口對于整個行業(yè)的互操作性至關(guān)重要。其次，他預(yù)計特定領(lǐng)域模型將興起，而不是巨大的通用基礎(chǔ)模型。最后，他強調(diào)了客戶微調(diào)的必要性：雖然Data Fabric提供了工具包，但企業(yè)需要根據(jù)其在金融、零售和媒體等領(lǐng)域的獨特需求進行調(diào)整。

對于Pimpalkare來說，Data Fabric本身是思科和Splunk本周發(fā)布的最令人興奮的產(chǎn)品。他說：“如果我們把所有的精力都集中在一件事上，那就是Data Fabric，因為它為所有可觀察性用例、所有安全用例驅(qū)動了平臺效應(yīng)，并創(chuàng)造了一個自然的飛輪。”

時間序列數(shù)據(jù)的基礎(chǔ)模型

思科數(shù)據(jù)結(jié)構(gòu)最有趣的功能之一是它的時間序列基礎(chǔ)模型。機器數(shù)據(jù)通常以時間序列的形式出現(xiàn)，每分鐘或每秒收集一次指標(biāo)，有時跨越數(shù)月或數(shù)年。構(gòu)建一個基礎(chǔ)模型來解釋這些序列具有重要意義，因為它允許人工智能捕捉復(fù)雜系統(tǒng)的節(jié)奏和相關(guān)性，就像大型語言模型捕捉人類文本的結(jié)構(gòu)一樣。

盡管LLM已經(jīng)席卷了世界，但它們并不總是每個用例的答案。機器數(shù)據(jù)需要一種不同的方法。LLM可以回答與IT相關(guān)的問題，因為他們已經(jīng)接受了來自互聯(lián)網(wǎng)的日志式數(shù)據(jù)的訓(xùn)練，但他們?nèi)狈T和安全基礎(chǔ)設(shè)施系統(tǒng)隨時間推移的內(nèi)在模式或真實行為。 “這就是為什么我們認(rèn)為，對我們來說，有一個真正的領(lǐng)域特定模型來理解這些不同系統(tǒng)是如何工作的，尤其是這些系統(tǒng)是如何協(xié)同工作的，這一點很重要?！?/p>

將于今年晚些時候發(fā)布的時間序列基礎(chǔ)模型旨在捕捉這些內(nèi)在模式，重點關(guān)注系統(tǒng)和時間之間的相關(guān)性。該模型不是預(yù)測句子中的下一個單詞，而是學(xué)習(xí)預(yù)測一系列系統(tǒng)讀數(shù)中的下個點。通過將大量時間序列數(shù)據(jù)分解為可管理的片段，該模型生成了捕獲底層模式的嵌入。正如GPT預(yù)測最有可能的下一個令牌一樣，Splunk的模型學(xué)習(xí)預(yù)測下一段運營數(shù)據(jù)。

但處理時間序列會帶來獨特的問題。在人類語言中，相同的單詞和規(guī)則不斷重復(fù)出現(xiàn)。與人類語言不同，機器數(shù)據(jù)既具有高度的重復(fù)性，又具有高度的不穩(wěn)定性。在模型正式發(fā)布之前很謹(jǐn)慎，沒有透露太多關(guān)于模型架構(gòu)的細(xì)節(jié)，但概述了團隊在構(gòu)建模型時面臨的挑戰(zhàn)范圍。LLM通常在維基百科和書籍等相對穩(wěn)定和定義明確的數(shù)據(jù)上進行訓(xùn)練，但機器數(shù)據(jù)沒有規(guī)范的參考集。系統(tǒng)指標(biāo)因工作負(fù)載而異，模式也在不斷變化?！皺C器一直在發(fā)明新的模式”，這使得確定時間序列數(shù)據(jù)的“語言”變得更加困難。例如，在溫度傳感器上訓(xùn)練的模型將看到一組與在網(wǎng)絡(luò)流量上訓(xùn)練的模式截然不同的模式，在不產(chǎn)生不穩(wěn)定預(yù)測的情況下調(diào)和這種多樣性可能很困難。

另一個障礙是缺乏標(biāo)記的數(shù)據(jù)集。語言模型可以利用精心策劃的知識來源，但時間序列模型必須篩選數(shù)十億個未標(biāo)記的原始信號。多樣性和規(guī)模的挑戰(zhàn)要求團隊仔細(xì)考慮數(shù)據(jù)準(zhǔn)備，以及哪種架構(gòu)最適合這些問題。

核心方法是分層：“這幾乎就像一個分層模型，你學(xué)習(xí)一些局部結(jié)構(gòu)，然后你學(xué)習(xí)這些局部結(jié)構(gòu)中的一些可以拼接在一起得到更大的結(jié)構(gòu)，然后逐漸引入這種粒度和規(guī)模。這就是我們將一個相當(dāng)復(fù)雜的問題分解為更容易學(xué)習(xí)和處理的方法?！?/p>

盡管如此，這一過程在很大程度上依賴于數(shù)據(jù)工程。在訓(xùn)練開始之前，必須清理和組織原始機器數(shù)據(jù)，這是一項資源密集型和必不可少的工作。這一經(jīng)歷突顯了為什么思科Data Fabric是人工智能全景中的關(guān)鍵部分。如果Splunk自己的人工智能團隊不得不如此深入地投資于為其基礎(chǔ)模型準(zhǔn)備數(shù)據(jù)，那么試圖在自己的專有數(shù)據(jù)上訓(xùn)練模型的企業(yè)將面臨同樣的障礙。通過在數(shù)據(jù)結(jié)構(gòu)中嵌入聯(lián)合、過濾和結(jié)構(gòu)工具，思科旨在為客戶提供管理這些挑戰(zhàn)的工具，而無需重新發(fā)明輪子。Splunk計劃在今年晚些時候發(fā)布其方法論，并將基礎(chǔ)模型納入AI工具包，以便客戶可以將相同的技術(shù)應(yīng)用于自己的機器數(shù)據(jù)。

Splunk作為人工智能的戰(zhàn)略支柱

在概述了Data Fabric背后的技術(shù)愿景后，公司高管轉(zhuǎn)向了更大的圖景：Splunk如何融入公司的未來戰(zhàn)略，以及自收購以來發(fā)生了什么變化。

思科于2024年3月正式收購Splunk。當(dāng)時，思科總裁兼首席產(chǎn)品官Jeetu Patel曾承諾不會“搞砸”Splunk，以回應(yīng)客戶對公司可能因新所有權(quán)而改變的擔(dān)憂。在一次新聞發(fā)布會上，Patel解釋了自收購Splunk以來，思科如何重塑其內(nèi)部結(jié)構(gòu)，以更好地滿足人工智能的需求。今年早些時候，該公司圍繞三個優(yōu)先事項重組了團隊——人工智能就緒的數(shù)據(jù)、面向未來的工作場所和數(shù)字彈性——并將其產(chǎn)品工作整合到一個組織中。他說，目標(biāo)是消除團隊之間的低效，確保數(shù)據(jù)和決策在整個公司內(nèi)快速流動，使思科和Splunk能夠“以啟動速度、大規(guī)模地發(fā)展”。

在簡報會上，Patel重申了公司對Splunk的承諾，并指出其技術(shù)有可能重新定義人工智能為市場增值的方式。

他說：“Splunk對思科的未來具有極其重要的戰(zhàn)略意義。我們將堅定確保通過Splunk加快創(chuàng)新速度?！薄澳銘?yīng)該期待我們有更高水平的創(chuàng)新。我們所做的一切都將以人工智能為先，我們要解決的問題是確保人工智能成為機器數(shù)據(jù)的準(zhǔn)備?！?/p>

與Ai時代前沿合作，將大門向更多普通用戶敞開！無論你是對新技術(shù)充滿好奇心的愛好者，還是希望提升自己技能的職場人士，這里都有適合你的課程和資源。