PowerJob是新一代分布式任務(wù)調(diào)度與計(jì)算框架,支持CRON、API、固定頻率、固定延遲等調(diào)度策略,提供工作流來編排任務(wù)解決依賴關(guān)系,使用簡單,功能強(qiáng)大,文檔齊全。
軟件特色
使用簡單:提供前端Web界面,允許開發(fā)者可視化地完成調(diào)度任務(wù)的管理(增、刪、改、查)、任務(wù)運(yùn)行狀態(tài)監(jiān)控和運(yùn)行日志查看等功能。
定時(shí)策略完善:支持CRON表達(dá)式、固定頻率、固定延遲和API四種定時(shí)調(diào)度策略。
執(zhí)行模式豐富:支持單機(jī)、廣播、Map、MapReduce四種執(zhí)行模式,其中Map/MapReduce處理器能使開發(fā)者寥寥數(shù)行代碼便獲得集群分布式計(jì)算的能力。
DAG工作流支持:支持在線配置任務(wù)依賴關(guān)系,可視化得對任務(wù)進(jìn)行編排,同時(shí)還支持上下游任務(wù)間的數(shù)據(jù)傳遞
執(zhí)行器支持廣泛:支持Spring Bean、內(nèi)置/外置Java類、Shell、Python等處理器,應(yīng)用范圍廣。
運(yùn)維便捷:支持在線日志功能,執(zhí)行器產(chǎn)生的日志可以在前端控制臺頁面實(shí)時(shí)顯示,降低debug成本,極大地提高開發(fā)效率。
依賴精簡:最小僅依賴關(guān)系型數(shù)據(jù)庫(MySQL/Oracle/MS SQLServer...),擴(kuò)展依賴為MongoDB(用于存儲龐大的在線日志)。
高可用&高性能:調(diào)度服務(wù)器經(jīng)過精心設(shè)計(jì),一改其他調(diào)度框架基于數(shù)據(jù)庫鎖的策略,實(shí)現(xiàn)了無鎖化調(diào)度。部署多個(gè)調(diào)度服務(wù)器可以同時(shí)實(shí)現(xiàn)高可用和性能的提升(支持無限的水平擴(kuò)展)。
故障轉(zhuǎn)移與恢復(fù):任務(wù)執(zhí)行失敗后,可根據(jù)配置的重試策略完成重試,只要執(zhí)行器集群有足夠的計(jì)算節(jié)點(diǎn),任務(wù)就能順利完成。
運(yùn)用場景
有定時(shí)執(zhí)行需求的業(yè)務(wù)場景:如每天凌晨全量同步數(shù)據(jù)、生成業(yè)務(wù)報(bào)表等。
有需要全部機(jī)器一同執(zhí)行的業(yè)務(wù)場景:如使用廣播執(zhí)行模式清理集群日志。
有需要分布式處理的業(yè)務(wù)場景:比如需要更新一大批數(shù)據(jù),單機(jī)執(zhí)行耗時(shí)非常長,可以使用Map/MapReduce處理器完成任務(wù)的分發(fā),調(diào)動整個(gè)集群加速計(jì)算。
有需要延遲執(zhí)行某些任務(wù)的業(yè)務(wù)場景:比如訂單過期處理等。