阿里云代運維:什么是阿里云批量計算,有什么作用?
阿里云代運維:什么是阿里云批量計算,有什么作用?
批量計算(BatchCompute)是一種適用于大規(guī)模并行批處理作業(yè)的分布式云服務。BatchCompute 可支持海量作業(yè)并發(fā)規(guī)模,系統(tǒng)自動完成資源管理、作業(yè)調(diào)度和數(shù)據(jù)加載,并按實際使用量計費。
通俗的講,就是您可以提交一個任意的計算機程序,讓它在阿里云的多個 VM 實例上同時運行,然后把結果寫入到指定的持久化存儲位置(如阿里云對象存儲 OSS 或者文件存儲 NAS),然后您可以去指定的位置查看結果。
批量計算功能特性
1. 提交作業(yè)
用戶使用工具(如 SDK,命令行工具等)向 BatchCompute 提交作業(yè),BatchCompute 使用用戶指定的鏡像(如:ubuntu)啟動虛擬機(VM), 在虛擬機中運行用戶程序, 運行完成后釋放虛擬機(VM)。
BatchCompute 中使用 OSS 作為持久化存儲。您可以在程序運行完成時將結果數(shù)據(jù)保存到 OSS 中。在批量計算中,也可以通過文件接口的方式訪問 OSS 上的數(shù)據(jù),請參閱 OSS 掛載功能。
BatchCompute 程序默認運行在 VM 中,也支持 Docker容器。 也就是說,您可以自定義 ECS 鏡像或者使用 Docker,在鏡像中安裝自己需要的任何軟件,用來運行您的任何程序。
作業(yè)描述
用戶需要提交一個作業(yè)(Job)描述 JSON 文件到批量計算服務,該 JSON 文件中詳細描述了需要執(zhí)行哪些程序(支持多個程序),運行哪些程序需要啟動多少臺機器,機器的規(guī)格(內(nèi)存和CPU等),運行日志打印到哪里,完成后結果輸出到哪里等。
一個作業(yè)(Job)包含多個任務(Task), 按照您指定 DAG 描述的順序執(zhí)行。
每個任務定義了使用哪個鏡像,使用什么實例規(guī)格,運行哪個程序,需要多少臺機器運行,還有結果存儲在哪里等。
2. 管理我的作業(yè)
您可以使用工具(控制臺,命令行工具等),查看我提交的作業(yè),可以停止,重啟,或刪除作業(yè)。 查看各個任務的情況,各個實例(VM 實例)的情況和日志。下圖是控制臺的作業(yè)管理界面:
3. 使用集群
由于每次運行程序前需要啟動虛擬機,會占用一定的時間(一般幾分鐘左右),遇到忙時有可能申請不到資源(虛擬機被其他客戶使用了),您提交作業(yè)后可能需要等待一段時間才能運行。
如果您想要提高運行效率,可以先創(chuàng)建好集群,指定需要的虛擬機數(shù)量(比如:5臺)和鏡像ID,BatchCompute 會為您分配好機器并啟動,這些機器會一直處于運行狀態(tài),一旦您提交作業(yè)上來,就可以直接運行,效率較高。
4. 自定義鏡像
您提交作業(yè)或者創(chuàng)建集群時,可以使用批量計算官方提供的鏡像,也可以使用自定義鏡像。自定義鏡像的好處是,可以自己安裝需要的軟件。
阿里云(www.aliyun.com)創(chuàng)立于2009年,是全球領先的云計算及人工智能科技公司,為200多個國家和地區(qū)的企業(yè)、開發(fā)者和政府機構提供服務。2017年1月阿里云成為奧運會全球指定云服務商。2017年8月阿里巴巴財報數(shù)據(jù)顯示,阿里云付費云計算用戶超過100萬。阿里云致力于以在線公共服務的方式,提供安全、可靠的計算和數(shù)據(jù)處理能力,讓計算和人工智能成為普惠科技。阿里云在全球18個地域開放了49個可用區(qū)(了解全球基礎設施),為全球數(shù)十億用戶提供可靠的計算支持。此外,阿里云為全球客戶部署200多個飛天數(shù)據(jù)中心,通過底層統(tǒng)一的飛天操作系統(tǒng),為客戶提供全球獨有的混合云體驗。
認識阿里云數(shù)據(jù)智能
數(shù)據(jù)智能是阿里云研發(fā)的超級智能,用突破性的技術,解決社會和商業(yè)中的棘手問題。目前已具備智能語音交互、圖像/視頻識別、機器學習、情感分析等技能, 數(shù)據(jù)智能的核心能力在于多維感知、全局洞察、實時決策、持續(xù)進化在復雜局面下快速做出最優(yōu)決定。針對各行各業(yè),阿里云的科學家對數(shù)據(jù)智能進行專項訓練,研發(fā)出了城市大腦、工業(yè)大腦、醫(yī)療大腦、環(huán)境大腦等,在各行各業(yè)成為人類的強大助手。
阿里云飛天系統(tǒng)
飛天(Apsara)是由阿里云自主研發(fā)、服務全球的超大規(guī)模通用計算操作系統(tǒng)。 它可以將遍布全球的百萬級服務器連成一臺超級計算機,以在線公共服務的方式為社會提供計算能力。 從PC互聯(lián)網(wǎng)到移動互聯(lián)網(wǎng)到萬物互聯(lián)網(wǎng),互聯(lián)網(wǎng)成為世界新的基礎設施。飛天希望解決人類計算的規(guī)模、效率和安全問題。飛天的革命性在于將云計算的三個方向整合起來:提供足夠強大的計算能力,提供通用的計算能力,提供普惠的計算能力。 飛天誕生于2009年2月,目前為全球200多個國家和地區(qū)的創(chuàng)新創(chuàng)業(yè)企業(yè)、政府、機構等提供服務。
選擇云服務器ECS,您可以輕松構建具有以下優(yōu)勢的計算資源:
無需自建機房,無需采購以及配置硬件設施。
分鐘級交付,快速部署,縮短應用上線周期。
快速接入部署在全球范圍內(nèi)的數(shù)據(jù)中心和BGP機房。
成本透明,按需使用,支持根據(jù)業(yè)務波動隨時擴展和釋放資源。
提供GPU和FPGA等異構計算服務器、彈性裸金屬服務器以及通用的x86架構服務器。
支持通過內(nèi)網(wǎng)訪問其他阿里云服務,形成豐富的行業(yè)解決方案,降低公網(wǎng)流量成本。
提供虛擬防火墻、角色權限控制、內(nèi)網(wǎng)隔離、防病毒攻擊及流量監(jiān)控等多重安全方案。
提供性能監(jiān)控框架和主動運維體系。
提供行業(yè)通用標準API,提高易用性和適用性。
標簽
熱門文章更多>
- 阿里云國際站代理商:怎樣利用搶占式實例處理批處理任務?
- 阿里云國際站代理商:如何通過預留實例券降低長期業(yè)務成本?
- 阿里云國際站代理商:怎樣通過日志審計追蹤服務器異常操作?
- 阿里云國際站代理商:如何利用密鑰管理服務(KMS)加密敏感數(shù)據(jù)?
- 阿里云國際站代理商:怎樣配置RAM實現(xiàn)細粒度權限管理?
- 阿里云國際站代理商:如何通過阿里云WAF防御OWASP Top 10攻擊?
- 阿里云國際站代理商:怎樣使用Cloud Toolkit插件提升本地開發(fā)與云端聯(lián)調(diào)效率?
- 阿里云國際站代理商:阿里云彈性裸金屬服務器適合哪些高性能計算場景?
- 騰訊云國際站代理商:如何構建云原生應用的本地開發(fā)沙箱?
- 騰訊云國際站代理商:如何用Cloud IDE實現(xiàn)云端協(xié)同編程?
- 騰訊云國際站代理商:如何通過邊緣節(jié)點實現(xiàn)AR/VR低延遲渲染?
- 騰訊云國際站代理商:怎樣在5G基站側部署輕量級云服務器?
- 騰訊云國際站代理商:怎樣通過數(shù)據(jù)分類分級管控敏感信息?
- 騰訊云國際站代理商:GDPR合規(guī)下如何設計跨境數(shù)據(jù)存儲方案?
- 騰訊云國際站代理商:騰訊云服務器突然不能上傳文件了怎么辦?
- 騰訊云國際站代理商:騰訊云服務器怎么查找ip?
- 騰訊云國際站代理商:騰訊云服務器怎么看云主機面板?
- 騰訊云國際站代理商:騰訊云服務器域名驗證錯誤怎么辦?
- 騰訊云國際站代理商:騰訊云子網(wǎng)站不能綁定域名怎么辦?
- 騰訊云國際站代理商:騰訊云服務器怎么調(diào)試主題tob?

