精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

國產調度器之光——Fsched到底有多能打?

jf_01684537 ? 來源:jf_01684537 ? 作者:jf_01684537 ? 2023-08-30 22:01 ? 次閱讀

這是一篇推薦我們速石自研調度器——Fsched的文章。看起來在專門寫調度器,但又不完全在寫。往下看,你就懂了。

本篇一共五個章節:

一、介紹一下主角——速石自研調度器Fsched

二、只要有個調度器,就夠了嗎?

三、全面對比:速石研發平臺 VS LSF Suite

四、如果你想嘗試AI——

五、不止半導體領域。。。。

介紹一下主角——速石自研調度器Fsched

fastone Scheduler,簡稱Fsched,是速石科技所有產品的核心調度組件。Ta是面向HPC集群的操作系統,是HPC集群的“大腦”,用于對HPC集群內的計算資源進行管理、監控,對用戶提交的任務進行統一管理、分發和遠程執行。Fsched是速石科技基于開源的Slurm版本進化而來的全新產品。

1、我們的Fsched調度器到底厲害在哪?

先看一組我們在半導體領域用戶的真實驗證數據:

5個月時間內:

CPU調度峰值達到5萬核;

提交了超過8000萬Jobs;

構建超過700臺機器組成的大規模集群;

使用量約3000萬核時。

Fsched性能指標

吞吐量:

1000 jobs/second

響應時間:

1 ms

集群規模:

單個Fsched集群能夠支持的最大節點數:1000

單個Fsched集群能夠支持的最大CPU核數:30000

總結一下,Fsched調度器優勢:

1. 完全由速石獨立開發,性能卓越;

2. 我們能提供代碼級技術支持;

3. 支持市面上幾乎所有EDA工具

4. 服務了100+家不同類型的半導體行業用戶;

5. 兼容LSF/SGE等調度器,使用體驗不變。

關于調度器科普和不同流派近二十年的發展歷程,可以點擊回顧:億萬打工人的夢:16萬個CPU隨你用

2、代碼級技術支持有什么不一樣?

代碼級技術支持的特別之處主要體現在解決問題的路徑上。一句話,我們能做很多人做不到的事情。

一般問題:我們站在產品視角來解決

特殊問題:我們以開發者身份來解決比如一些特殊調度策略的改造與優化,我們是開發者,所以能做。包括各種調度器日志的監控分析,優化調度器的提交方式和腳本等等。

DEBUG:深入代碼級的技術支持舉一個典型例子:當研發提交任務出現異常狀態,怎么辦?

我們首先需要定位與任務相關的日志。日志分為:基礎設施層日志、中間件層日志、應用層日志等。IT和研發工程師的關注點不一樣:IT工程師一般看基礎設施層日志,CAD和研發工程師看中間件層日志和應用層日志。不同角色各看各的,定位問題效率低。

wKgZomToBFaAK9sWAAWuaFWSRyE761.png

我們通過Fsched調度器:

1. 把調度任務的異常日志分類,找出是哪一層的問題;

2. 任務狀態跟蹤,通過異常應用找出相應進程和IO信息,方便判斷;

3. 通過數據分析抓取日志中的關鍵信息。

找到問題,over。

3、Slurm之上,我們還做了什么?

Slurm是厲害的:全球60%的TOP500超算中心和超大規模集群(包括我國的天河二號等)都采用Slurm作為調度系統。它擁有容錯率高、支持異構資源、高度可擴展等優點,適用性相當強。

那么,基于Slurm之上,我們還做了些什么?

從0到1,幫助用戶更快,更簡單地用起來

1.產品級IT自動化管理,標準化地調用資源,保證環境一致性,降低用戶配置復雜度和出錯率,上手更容易;

2. 從業務出發,Fsched與底層資源的聯動性強,根據任務需求自動伸縮,更符合云上使用方式。

wKgaomToBGCAVRlrABMXmD6kJMQ537.png

從1到10,讓用戶用得穩定,用得放心

1.對Slurm開源版進行修復與增強。修復Slurm開源版在復雜環境下任務異常崩潰等問題,增加了混合云智能調度能力;

2. 基于Wrapper組件,Fsched對上層EDA應用進行了兼容與優化,保證用戶使用體驗不變;PS:同樣是Wrapper,水平也是有高下的。要達到多年戰斗在一線的專業高級口譯的經驗和水平,只能說:有難度。

3. 根據最佳實踐經驗總結的流程與規則,能優化EDA Workflow,提高調度器使用效率;

4.代碼級支持能力讓用戶無后顧之憂。

只要有個調度器,就夠了嗎?

答案自然是否定的。

為什么?

或許,我們可以換個角度來回答這個問題。

就像汽車出現之前,用戶的期望永遠是——1匹更快的馬一樣。

在當下芯片設計研發領域,我們如果把調度器類比馬,那么汽車是什么呢?

我們給大家簡單描繪一下:

一個站在整個芯片設計研發體系和架構視角來滿足EDA行業用戶性能、功能、體驗的產品。

1. Ta是完整的一體化產品,功能緊密耦合,且經過層層實戰考驗;

2. Ta解決的是完整生命周期的芯片設計業務問題,調度器只是其中一個模塊;

3. Ta具有對企業未來發展的彈性,能擴展至不同規模和更多業務路線,比如AI。

而這,正是我們與其他很多產品最大的區別之一。

我們的產品在設計之初就是面向EDA應用,服務芯片設計研發業務場景的。這也決定了我們解決問題的出發點永遠是:是否滿足研發業務需求,然后從上至下地解決問題。

1、我們提供的是一整套上中下層聯動的芯片設計研發環境:

1. 連接上層EDA應用,對應用本身的運行提供支持和優化;

2. 連接底層資源,給用戶提供更靈活,更高效使用資源的能力;

3. 結合EDA應用和底層資源的聯動和適配,給出最佳實踐經驗。

2、我們的功能都是面向實際業務場景設計和提供的:

1.License調度優化,可幫助企業用戶最大化提升License利用率,更好地規劃License購買策略,控制整體使用成本;

2. 我們能多維度監控任務狀態,提供基于EDA任務層的監控、告警、數據統計分析功能與服務,讓團隊管理者監控各個重要指標變化,從全局角度掌握項目的整體任務及資源情況,為未來項目合理規劃、集群生命周期管理、成本優化提供支持;

wKgaomToBG2AewSGAAVEoZWWhpo810.png

3.日常數據統計與運營分析管理,實現問題可追溯,可追蹤,降低成本,提升整體項目管理效率。

3、我們的交互方式不改變EDA用戶使用習慣。

原來怎么用,現在還怎么用。

速石研發平臺 VS LSF Suite

半導體行業用戶最熟悉的調度器是LSF,就不多介紹了。

不過,它背后的LSF Suite大家就不一定熟悉了。

來來,我們盤一下,我們速石研發平臺跟LSF Suite的區別是什么?

1、根本區別:設計理念不一樣

我們是站在整個芯片設計研發體系和架構視角來設計的一體化產品,解決的是完整生命周期的芯片設計業務問題,功能緊密耦合,且經過層層實戰考驗。而Fsched調度器只是其中一個模塊,不單獨售賣,在我們的全線企業級產品均屬內置,且與產品其他功能深度綁定。這正是我們上一節提到的面向EDA業務的產品定位決定的。

而LSF Suite里的核心調度器LSF與其他組件是不關聯的,屬于可選項。這也導致了用戶大多只接觸過LSF,而對它的其他組件沒有什么概念。

而且,因為各種功能組件之間獨立存在的,用戶使用的時候需要根據自己業務需要進行二次開發組裝,從零開始進行功能模塊需求評估、采購、對接、開發和測試驗證兼容性,才能搭建出一個完整的研發環境,時間周期也會比較長。另外還有期間的運維、后續的更新升級和功能擴展等事項。

2、性價比:速石研發平臺TCO更低

下圖是我們研發平臺與LSF Suite的橫向對比圖,可以清楚地看到,兩者的收費模式差別很大。

wKgZomToBHqAdpOlAAYDHGqwZRM432.png

我們Fsched調度器是包含在平臺費用里的,相關組件也都是隨產品一起內置的,不單獨收費。

而LSF Suite除了核心調度器按使用核數收費以外,所有功能組件都需要額外收費。

從總擁有成本來看,對用戶來說,速石研發平臺付出的成本更低,獲得的東西更多。還有很多隱性成本沒有列在表格里,比如對接調試時間成本,人工成本,售后支持成本等等。

總結一下,我們跟LSF Suite的五大主要區別:

1. 核心調度器Fsched完全國產自研,有代碼級支持能力;

2. 我們的產品設計初衷就是提供面向EDA業務的一整套研發環境,可擴展性強;

3. 各功能模塊緊密耦合,不單獨收費,整體性價比高;

4. 我們的CAD能力與經驗,能有效提高上中下層整體聯動效率;

5. 我們兼容LSF/SGE等調度器,使用體驗不變。

如果你想嘗試AI——

目前,AI在芯片設計領域的應用主要有兩條路線:

路線一:AI+EDA工具

Synopsys、Cadence與Siemens等公司紛紛在其最新工具中使用了AI技術,覆蓋先進數字與模擬芯片的設計、驗證、測試和制造環節,讓開發者在芯片開發的每一個階段都可以采用借助AI的自主學習能力,提供芯片設計生產力。

當然,越來越多EDA工具也支持借助GPU進行運算加速。

路線二:AI算法模型訓練

Google研究人員使用10,000個芯片布局圖來訓練他們的深度學習模型——PRIME,人工智能生成的芯片的設計時間不到六個小時。

而NVIDIA設計了另一種用于芯片設計的深度學習方法——PrefixRL模型,NVIDIA使用其RL工具設計的電路比人類使用當今EDA工具設計的電路小25%,但性能相似。

路線一需要支持全流程EDA工具的一整套研發環境,以及構建異構資源(CPU+GPU、本地+云上)的調度及管理平臺的能力。

路線二需要的支持企業從ML/LLM模型構建、大規模訓練到最終部署需求的MLOps模塊。

我們都有。

另外,我們剛剛發布的一款行業知識庫聊天應用Megrez,面向企業客戶提供大語言模型的私有化部署能力,允許用戶自定義行業知識庫,實現領域知識的問答

wKgZomToBIeAUOKKAADsKkdSWsM022.png

Megrez基于芯片設計領域提供的支持

不止半導體領域。。。。

在半導體以外的其他行業,如生命科學、汽車/智能制造,我們也表現不錯:

汽車/智能制造

這樣跑COMSOL,是不是就可以發Nature了

LS-DYNA求解效率深度測評 │ 六種規模,本地VS云端5種不同硬件配置

怎么把需要45天的突發性Fluent仿真計算縮短到4天之內?

從4天到1.75小時,如何讓Bladed仿真效率提升55倍?

生命科學

王者帶飛LeDock!開箱即用&一鍵定位分子庫+全流程自動化,3.5小時完成20萬分子對接

1分鐘告訴你用MOE模擬200000個分子要花多少錢

155個GPU!多云場景下的Amber自由能計算

提速2920倍!用AutoDock Vina對接2800萬個分子

關于fastone云平臺在各種EDA應用上的表現,可以點擊以下應用名稱查看:

HSPICE│OPC│VCS│Virtuoso│Calibre

速石科技芯片設計五部曲,前三部先睹為快:

模擬IC│數字IC│算法仿真

- END -

我們有個IC設計研發云平臺

IC設計全生命周期一站式覆蓋

調度器Fsched國產化替代、專業IT-CAD服務

100+行業客戶落地實踐

支持海內外多地協同研發與辦公

多層安全框架層層保障

現在免費試用,送200元體驗金,入股不虧~

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 仿真
    +關注

    關注

    50

    文章

    4047

    瀏覽量

    133429
  • eda
    eda
    +關注

    關注

    71

    文章

    2711

    瀏覽量

    172919
  • AI
    AI
    +關注

    關注

    87

    文章

    30212

    瀏覽量

    268451
  • 調度器
    +關注

    關注

    0

    文章

    98

    瀏覽量

    5241
收藏 人收藏

    評論

    相關推薦

    5G到底有什么作用?

    國內三大運營商的4G建設正在火熱的進行中,前幾天報道5G的先期技術規劃已經開始,華為等公司已經開始投入開發工作。作為一種典型的延續性技術,5G的到來看來是不可避免的,但是其到底有什么作用呢?
    發表于 08-16 06:49

    Linux與Unix到底有什么不同

    Linux 與 Unix 到底有什么不同?
    發表于 05-08 14:36

    反碼位是什么?到底有什么用?

    反碼位是什么?到底有什么用?
    發表于 05-07 07:16

    請問車規級芯片到底有哪些要求?

    請問車規級芯片到底有哪些要求?
    發表于 06-18 07:56

    ARM與單片機到底有啥區別?

    ARM與單片機到底有啥區別?
    發表于 11-05 07:29

    模擬看門狗到底有什么用處呢

    到底什么是模擬看門狗呢?模擬看門狗到底有什么用處呢?
    發表于 01-17 07:33

    ARM和DSP到底有什么區別?

    現在在學ARM,想知道ARM和DSP到底有什么區別?為什么有些地方用DSP有些用ARM
    發表于 10-19 07:20

    PCB板顏色到底有什么講究

    冷知識:PCB板顏色到底有哪些講究?
    的頭像 發表于 08-19 17:15 ?1.8w次閱讀

    工業互聯網, 你到底有啥用?

    工業互聯網,你到底有啥用?
    的頭像 發表于 03-01 12:32 ?3379次閱讀
    工業互聯網, 你<b class='flag-5'>到底有</b>啥用?

    光纖衰減到底有什么作用

    電子發燒友網站提供《光纖衰減到底有什么作用.pdf》資料免費下載
    發表于 11-26 02:23 ?11次下載

    電源管理總線 (PMBus)—到底有什么價值?

    電源管理總線 (PMBus)—到底有什么價值?
    發表于 11-04 09:51 ?8次下載
    電源管理總線 (PMBus)—<b class='flag-5'>到底有</b>什么價值?

    智能家居或樓宇的“智商”到底有多高?

    智能家居或樓宇的“智商”到底有多高?
    發表于 11-04 09:51 ?4次下載
    智能家居或樓宇的“智商”<b class='flag-5'>到底有</b>多高?

    FPC與傳統PCB到底有什么區別.zip

    FPC與傳統PCB到底有什么區別
    發表于 03-01 15:37 ?4次下載

    COB與SMD到底有什么不同

    如今在應用領域,COB和SMD兩種技術正在“平分春色”,但在微小間距LED領域,COB正在成為各大廠商都在爭相研發的行業主流技術。那么COB與SMD到底有什么不同呢?
    的頭像 發表于 11-02 09:37 ?2493次閱讀
    COB與SMD<b class='flag-5'>到底有</b>什么不同

    RTOS與Linux到底有什么區別

    很多做嵌入式開發的小伙伴都存在這樣的疑惑:RTOS與Linux到底有什么區別?
    的頭像 發表于 10-29 09:53 ?328次閱讀