BML CodeLab是百度團隊自主研發(fā)的面向機器學習的端云協(xié)同開發(fā)環(huán)境,包括本地客戶端和云端兩部分,CodeLab提供端云協(xié)同開發(fā)的機制,支持高性價比云端算力購買,提供本地高性能機器學習端到端處理能力,為用戶帶來順暢的編碼體驗同時,還可以靈活調(diào)用云端算力,多人共享算力,使用戶更專注于數(shù)據(jù)處理與建模工作。
產(chǎn)品優(yōu)勢
01、高性價比云端算力和免費存儲空間
對接多家云端算力提供商,助您選擇最高性價比的算力,支持算力分享,更有專業(yè)運維和客服團隊,確保服務質(zhì)量和穩(wěn)定性。
高性價比算力:按需付費,極大降低算力成本
一人購買,多人共享
服務穩(wěn)定:專業(yè)客服隨時在線
02、交互式開發(fā)環(huán)境和機器學習插件
基于JupyterLab進行深度優(yōu)化,集成豐富的機器學習研發(fā)插件。
集成VSCode里的代碼編輯器:支持代碼高亮,自動補全
任務管理插件:管理本地和云端任務,支持自動周期運行
性能監(jiān)控插件:實時可視化CPU、內(nèi)存、顯卡、硬盤的運行數(shù)據(jù)
03、多人協(xié)作和版本控制
內(nèi)置多人協(xié)作開發(fā)插件,實現(xiàn)數(shù)據(jù)和代碼的版本控制。
文件版本控制:可管理代碼、數(shù)據(jù)、模型等類型的文件
Python包管理:多人協(xié)作工作,避免安裝包沖突
高擴展性:支持主流的文件系統(tǒng),例如BOS和HDFS等
04、自研高性能計算引擎
內(nèi)置百度自研的高性能計算引擎,提供機器學習和數(shù)據(jù)分析加速能力。
異構(gòu)加速計算:利用GPU和CPU并行及混合加速計算
超大數(shù)據(jù)處理:單機可處理1GB-10TB數(shù)據(jù)
高效數(shù)據(jù)存儲:利用Parquet和Arrow實現(xiàn)高效磁盤和內(nèi)存存儲
軟件特色
本地主機與遠程機器協(xié)同開發(fā)模式
BML CodeLab 不改變用戶的本地編碼習慣,本地調(diào)試后,就可調(diào)用云端算力進行訓練,即解決了本地機器算力能力不足問題,也幫助用戶省去本地編碼環(huán)境與云端不斷切換的繁瑣操作。
增強的交互式開發(fā)
為給用戶帶來順暢、人性化的開發(fā)體驗,在集成 JupyterLab 優(yōu)秀功能基礎上,引入微軟 Monaco 編輯器,支持任何編程語言的代碼補全、用法提示、多光標等 IDE 功能。
高性能計算引擎
BML CodeLab 內(nèi)置了百度自研的高性能數(shù)據(jù)科學引擎 Blackhole,利用單機 GPU 和 CPU 進行異構(gòu)加速計算,相比開源 Pandas/Sklearn 性能可提升6倍以上,同時擁有處理 10TB 的單機超大數(shù)據(jù)處理能力,如下圖對比結(jié)果:
同時提供和 Pandas、Sklearn 基本一致的易用接口。
高性價比算力資源
為給用戶提供充裕經(jīng)濟的算力,解決資源不夠用,排隊時間長、運行時長受限等痛點問題,百度提供了智星云2080 Ti 算力能力,且支持算力共享,即一方購買了算力,可分享給其他用戶使用,多人共享算力,最大化利用閑置資源。(說明:當前支持 Mac/Linux 系統(tǒng)版客戶端使用算力提交云端任務,Windows 版本客戶端該功能目前在升級中,但可正常使用本地資源)
內(nèi)置百度文心(ERINE)強大的語義理解技術(shù)
BML CodeLab 內(nèi)置百度 NLP 自研的基于知識增強的語義理解技術(shù),將大數(shù)據(jù)預訓練與多源豐富知識相結(jié)合,通過持續(xù)學習技術(shù),不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構(gòu)、語義等方面的新知識,實現(xiàn)模型效果的不斷進化。
此外,BML CodeLab 支持對代碼、數(shù)據(jù)、模型等類型文件的版本控制;可通過不同文件顏色區(qū)分新建文件、已刪除文件、已修改文件,方便用戶監(jiān)控文件變化,把控版本生成。
BML CodeLab 還有很多功能值得開發(fā)者探索使用,在用 AI 服務大眾的道路上,百度 BML CodeLab 團隊一直在快速奔跑,不斷探索,攻破一個個技術(shù)難題,相信團隊會用先進的技術(shù)帶給用戶最好的體驗。