摘要： 由阿里巴巴統(tǒng)一大數據計算平臺MaxCompute研發(fā)團隊，歷經1年多研發(fā)，打破大數據、科學計算領域邊界，完成第一個版本并開源。 Mars，一個基于張量的統(tǒng)一分布式計算框架。使用 Mars 進行科學計算，不僅使得完成大規(guī)?？茖W計算任務從MapReduce實現上千行代碼降低到Mars數行代碼，更在性能上有大幅提升。

日前，阿里巴巴正式對外發(fā)布了分布式科學計算引擎 Mars 的開源代碼地址，開發(fā)者們可以在pypi上自主下載安裝，或在Github上獲取源代碼并參與開發(fā)。

此前，早在2018年9月的杭州云棲大會上，阿里巴巴就公布了這項開源計劃。Mars 突破了現有大數據計算引擎的關系代數為主的計算模型，將分布式技術引入科學計算/數值計算領域，極大地擴展了科學計算的計算規(guī)模和效率。目前已應用于阿里巴巴及其云上客戶的業(yè)務和生產場景。本文將為大家詳細介紹Mars的設計初衷和技術架構。

概述

科學計算即數值計算，是指應用計算機處理科學研究和工程技術中所遇到的數學計算問題。比如圖像處理、機器學習、深度學習等很多領域都會用到科學計算。有很多語言和庫都提供了科學計算工具。這其中，Numpy以其簡潔易用的語法和強大的性能成為佼佼者，并以此為基礎形成了龐大的技術棧。（下圖所示）

Numpy的核心概念多維數組是各種上層工具的基礎。多維數組也被稱為張量，相較于二維表/矩陣，張量具有更強大的表達能力。因此，現在流行的深度學習框架也都廣泛的基于張量的數據結構。

隨著機器學習/深度學習的熱潮，張量的概念已逐漸為人所熟知，對張量進行通用計算的規(guī)模需求也與日俱增。但現實是如Numpy這樣優(yōu)秀的科學計算庫仍舊停留在單機時代，無法突破規(guī)模瓶頸。當下流行的分布式計算引擎也并非為科學計算而生，上層接口不匹配導致科學計算任務很難用傳統(tǒng)的SQL/MapReduce編寫，執(zhí)行引擎本身沒有針對科學計算優(yōu)化更使得計算效率難以令人滿意。

基于以上科學計算現狀，由阿里巴巴統(tǒng)一大數據計算平臺MaxCompute研發(fā)團隊，歷經1年多研發(fā)，打破大數據、科學計算領域邊界，完成第一個版本并開源。 Mars，一個基于張量的統(tǒng)一分布式計算框架。使用 Mars 進行科學計算，不僅使得完成大規(guī)模科學計算任務從MapReduce實現上千行代碼降低到Mars數行代碼，更在性能上有大幅提升。目前，Mars 實現了 tensor 的部分，即numpy 分布式化， 實現了 70% 常見的 numpy 接口。后續(xù)，在 Mars 0.2 的版本中， 正在將 pandas 分布式化，即將提供完全兼容 pandas 的接口，以構建整個生態(tài)。

Mars作為新一代超大規(guī)?？茖W計算引擎，不僅普惠科學計算進入分布式時代，更讓大數據進行高效的科學計算成為可能。

Mars的核心能力

• 符合使用習慣的接口
• Mars 通過 tensor 模塊提供兼容 Numpy 的接口，用戶可以將已有的基于 Numpy 編寫的代碼，只需替換 import，就可將代碼邏輯移植到 Mars，并直接獲得比原來大數萬倍規(guī)模，同時處理能力提高數十倍的能力。目前，Mars 實現了大約 70% 的常見 Numpy 接口。

• 充分利用gpu加速
• 除此之外，Mars 還擴展了 Numpy，充分利用了GPU在科學計算領域的已有成果。創(chuàng)建張量時，通過指定 gpu=True 就可以讓后續(xù)計算在GPU上執(zhí)行。比如：

a = mt.random.rand(1000, 2000, gpu=True) # 指定在 GPU 上創(chuàng)建(a 1).sum(axis=1).execute()

• 稀疏矩陣
• Mars 還支持二維稀疏矩陣，創(chuàng)建稀疏矩陣的時候，通過指定 sparse=True 即可。以eye 接口為例，它創(chuàng)建了一個單位對角矩陣，這個矩陣只有對角線上有值，其他位置上都是 0，所以，我們可以用稀疏的方式存儲。

a = mt.eye(1000, sparse=True) # 指定創(chuàng)建稀疏矩陣(a 1).sum(axis=1).execute()

系統(tǒng)設計

接下來介紹 Mars 的系統(tǒng)設計，讓大家了解 Mars 是如何讓科學計算任務自動并行化并擁有強大的性能。

• 分而治之—tile
• Mars 通常對科學計算任務采用分而治之的方式。給定一個張量，Mars 會自動將其在各個維度上切分成小的 Chunk 來分別處理。對于 Mars 實現的所有的算子，都支持自動切分任務并行。這個自動切分的過程在Mars里被稱為 tile。

比如，給定一個 1000 2000 的張量，如果每個維度上的 chunk 大小為 500，那么這個張量就會被 tile 成 2 4 一共 8 個 chunk。對于后續(xù)的算子，比如加法(Add)和求和(SUM)，也都會自動執(zhí)行 tile 操作。一個張量的運算的 tile 過程如下圖所示。

• 延遲執(zhí)行和 Fusion 優(yōu)化
• 目前 Mars 編寫的代碼需要顯式調用 execute 觸發(fā)，這是基于 Mars 的延遲執(zhí)行機制。用戶在寫中間代碼時，并不會需要任何的實際數據計算。這樣的好處是可以對中間過程做更多優(yōu)化，讓整個任務的執(zhí)行更優(yōu)。目前 Mars 里主要用到了 fusion 優(yōu)化，即把多個操作合并成一個執(zhí)行。

對于前面一個圖的例子，在 tile 完成之后，Mars 會對細粒度的 Chunk 級別圖進行 fusion 優(yōu)化，比如8個 RAND ADD SUM，每個可以被分別合并成一個節(jié)點，一方面可以通過調用如 numexpr 庫來生成加速代碼，另一方面，減少實際運行節(jié)點的數量也可以有效減少調度執(zhí)行圖的開銷。

• 多種調度方式
• Mars 支持多種調度方式：

| 多線程模式：Mars 可以使用多線程來在本地調度執(zhí)行 Chunk 級別的圖。對于 Numpy 來說，大部分算子都是使用單線程執(zhí)行，僅使用這種調度方式，也可以使得 Mars 在單機即可獲得 tile 化的執(zhí)行圖的能力，突破 Numpy 的單機內存限制，同時充分利用單機所有 CPU/GPU 資源，獲得比 Numpy 快數倍的性能。

| 單機集群模式： Mars 可以在單機啟動整個分布式運行時，利用多進程來加速任務的執(zhí)行；這種模式適合模擬面向分布式環(huán)境的開發(fā)調試。

| 分布式 ： Mars 可以啟動一個或者多個 scheduler，以及多個 worker，scheduler 會調度 Chunk 級別的算子到各個 worker 去執(zhí)行。

下圖是 Mars 分布式的執(zhí)行架構：

Mars 分布式執(zhí)行時會啟動多個 scheduler 和 多個 worker，圖中是3個 scheduler 和5個 worker，這些 scheduler 組成一致性哈希環(huán)。用戶在客戶端顯式或隱式創(chuàng)建一個 session，會根據一致性哈希在其中一個 scheduler 上分配 SessionActor，然后用戶通過 execute 提交了一個張量的計算，會創(chuàng)建 GraphActor 來管理這個張量的執(zhí)行，這個張量會在 GraphActor 中被 tile 成 chunk 級別的圖。這里假設有3個 chunk，那么會在 scheduler 上創(chuàng)建3個 OperandActor 分別對應。這些 OperandActor 會根據自己的依賴是否完成、以及集群資源是否足夠來提交到各個 worker 上執(zhí)行。在所有 OperandActor 都完成后會通知 GraphActor 任務完成，然后客戶端就可以拉取數據來展示或者繪圖。

• 向內和向外伸縮
• Mars 靈活的 tile 化執(zhí)行圖配合多種調度模式，可以使得相同的 Mars 編寫的代碼隨意向內（scale in）和向外（scale out）伸縮。向內伸縮到單機，可以利用多核來并行執(zhí)行科學計算任務；向外伸縮到分布式集群，可以支持到上千臺 worker 規(guī)模來完成單機無論如何都難以完成的任務。

Benchmark

在一個真實的場景中，我們遇到了巨型矩陣乘法的計算需求，需要完成兩個均為千億元素，大小約為2.25T的矩陣相乘。Mars通過5行代碼，使用1600 CU（200個 worker，每 worker 為 8核 32G內存），在2個半小時內完成計算。在此之前，同類計算只能使用 MapReduce 編寫千余行代碼模擬進行，完成同樣的任務需要動用 9000 CU 并耗時10個小時。

讓我們再看兩個對比。下圖是對36億數據矩陣的每個元素加一再乘以二，紅色的叉表示 Numpy 的計算時間，綠色的實線是 Mars 的計算時間，藍色虛線是理論計算時間?？梢钥吹絾螜C Mars 就比 Numpy 快數倍，隨著 Worker 的增加，可以獲得幾乎線性的加速比。

下圖是進一步擴大計算規(guī)模，把數據擴大到144億元素，對這些元素加一乘以二以后再求和。這時候輸入數據就有 115G，單機的 Numpy 已經無法完成運算，Mars 依然可以完成運算，且隨著機器的增多可以獲得還不錯的加速比。

開源地址

Mars 已經在 Github 開源：https://github.com/mars-project/mars ，且后續(xù)會全部在 Github 上使用標準開源軟件的方式來進行開發(fā)，歡迎大家使用 Mars，并成為 Mars 的 contributor。

Mars科學計算引擎產品發(fā)布會

發(fā)布直播回放>>https://yq.aliyun.com/live/800

發(fā)布活動頁>> https://promotion.aliyun.com/ntms/act/cloud/marsfbh.html

大數據計算服務MaxCompute官網>>https://www.aliyun.com/product/odps

MaxCompute試用申請頁面>>https://i.aliyun.com/inviteapplyagent_id=183

聚能聊>>https://yq.aliyun.com/roundtable/493400

作者：晉恒