Logstash是一個應用程序日志、事件的傳輸、處理、管理和搜索的平臺,是免費且開放的服務器端數(shù)據(jù)處理管道,能夠從多個來源采集數(shù)據(jù),轉(zhuǎn)換數(shù)據(jù),然后將數(shù)據(jù)發(fā)送到您最喜歡的“存儲庫”中。
功能介紹
輸入、過濾器和輸出
Logstash 能夠動態(tài)地采集、轉(zhuǎn)換和傳輸數(shù)據(jù),不受格式或復雜度的影響。利用 Grok 從非結構化數(shù)據(jù)中派生出結構,從 IP 地址解碼出地理坐標,匿名化或排除敏感字段,并簡化整體處理過程。
輸入
采集各種樣式、大小和來源的數(shù)據(jù)
數(shù)據(jù)往往以各種各樣的形式,或分散或集中地存在于很多系統(tǒng)中。Logstash 支持各種輸入選擇,可以同時從眾多常用來源捕捉事件。能夠以連續(xù)的流式傳輸方式,輕松地從您的日志、指標、Web 應用、數(shù)據(jù)存儲以及各種 AWS 服務采集數(shù)據(jù)。
篩選
實時解析和轉(zhuǎn)換數(shù)據(jù)
數(shù)據(jù)從源傳輸?shù)酱鎯斓倪^程中,Logstash 過濾器能夠解析各個事件,識別已命名的字段以構建結構,并將它們轉(zhuǎn)換成通用格式,以便進行更強大的分析和實現(xiàn)商業(yè)價值。
Logstash 能夠動態(tài)地轉(zhuǎn)換和解析數(shù)據(jù),不受格式或復雜度的影響:
利用 Grok 從非結構化數(shù)據(jù)中派生出結構
從 IP 地址破譯出地理坐標
將 PII 數(shù)據(jù)匿名化,完全排除敏感字段
簡化整體處理,不受數(shù)據(jù)源、格式或架構的影響
使用我們豐富的過濾器庫和功能多樣的 Elastic Common Schema,您可以實現(xiàn)無限豐富的可能。
輸出
選擇您的存儲庫,導出您的數(shù)據(jù)
盡管 Elasticsearch 是我們的首選輸出方向,能夠為我們的搜索和分析帶來無限可能,但它并非唯一選擇。
Logstash 提供眾多輸出選擇,您可以將數(shù)據(jù)發(fā)送到您要指定的地方,并且能夠靈活地解鎖眾多下游用例。
可擴展
以您自己的方式創(chuàng)建和配置管道
Logstash 采用可插拔框架,擁有 200 多個插件。您可以將不同的輸入選擇、過濾器和輸出選擇混合搭配、精心安排,讓它們在管道中和諧地運行。
從自定義應用程序采集數(shù)據(jù)?沒有看到所需的插件?Logstash 插件很容易構建。我們有一個極好的插件開發(fā) API 和插件生成器,可幫助您開始創(chuàng)作并分享成果。
即插即用
使用 Elastic Stack 更快獲得洞察
Logstash 模塊通過熱門的數(shù)據(jù)源(如 ArcSight 和 Netflow )呈現(xiàn)瞬間可視化的體驗。通過立即部署采集管道和復雜的儀表板,您在短短幾分鐘內(nèi)便可開始數(shù)據(jù)探索。
可靠性與安全性
構建可信的交付管道
假如 Logstash 節(jié)點發(fā)生故障,Logstash 會通過持久化隊列來保證至少將運行中的事件送達一次。那些未被正常處理的消息會被送往死信隊列 (dead letter queue) 以便做進一步處理。由于具備了這種吸收吞吐量的能力,現(xiàn)在您無需采用額外的隊列層,Logstash 就能平穩(wěn)度過高峰期。此外,我們還能讓您充分確保自己采集管道的安全性。
MONITORING
全方位監(jiān)視您的部署
Logstash 管道通常服務于多種用途,會變得非常復雜,因此充分了解管道性能、可用性和瓶頸異常重要。借助監(jiān)測和管道查看器功能,您可以輕松觀察和研究處于活動狀態(tài)的 Logstash 節(jié)點或整個部署。