Luigi是一個Python軟件包,幫助你建立復雜的批處理作業(yè)管道,它可以處理依賴性解決、工作流管理、可視化、處理失敗、命令行集成等等,Luigi的目的是解決通常與長期運行的批處理過程相關的所有管道問題。
功能介紹
建立復雜的批處理作業(yè)管道
很容易建立起由成千上萬個任務組成的長期運行的流水線。
Luigi幫助你把許多任務連接起來
Luigi負責大量的工作流程管理
你的數(shù)據(jù)管道不會在包含部分數(shù)據(jù)的狀態(tài)下崩潰
使用Luigi的可視化器,你可以對工作流的依賴關系圖有一個很好的可視化概述。