哥本哈根的KubeCon 巨浪,要把云計(jì)算帶向何處?
5月2日 - 5月4日,容器領(lǐng)域最具影響力的技術(shù)峰會(huì)之一 KubeCon + CloudNativeCon Europe 2018 在丹麥哥本哈根召開。來自華為、AWS、Azure、Google、IBM、Red Hat、VMWare等IT巨頭的專家們分享了各自在Kubernetes、微服務(wù)、容器、容器存儲(chǔ)、DevOps、Logging、Serverless、GPU加速等領(lǐng)域的技術(shù)發(fā)現(xiàn)。除了技術(shù)研討,本次大會(huì)也非常重視客戶案例,包括歐洲粒子研究中心(CERN),Spotify、維基百科、Booking.com、YouTube、NVIDIA、阿迪達(dá)斯、金融時(shí)報(bào)、eBay、挪威稅務(wù)管理中心等企業(yè)客戶分享了他們?cè)谏a(chǎn)環(huán)境中使用容器及其周邊技術(shù)的實(shí)踐經(jīng)驗(yàn)。
Kubernetes 商用成熟,多云成為必然趨勢(shì)
Kubernetes作為CNCF的核心項(xiàng)目,也是第一個(gè)順利進(jìn)入商用的項(xiàng)目,圍繞它的生產(chǎn)實(shí)踐在本次大會(huì)上成為分享焦點(diǎn)。
在第一天的Keynote上,來自歐洲核子研究中心(CERN)的生產(chǎn)實(shí)踐案例分享驚艷了全場(chǎng)。。作為世界上最大的粒子物理研究中心,CERN有著非常龐大的計(jì)算需求,對(duì)撞機(jī)每秒可產(chǎn)生PB級(jí)的數(shù)據(jù),而即使經(jīng)過了硬件和軟件過濾器的兩級(jí)處理,仍然擁有每秒幾個(gè)G的數(shù)據(jù)量。這些數(shù)據(jù)仍然很龐大,但卻已經(jīng)能夠用于分析處理了。
在一個(gè)自建的數(shù)據(jù)中心,CERN已經(jīng)搭建了210多個(gè)K8S集群,來調(diào)度、管理?yè)碛?2萬核、1萬多hypervisor的基礎(chǔ)設(shè)施。這些集群部署規(guī)模大小不一,最小的只有幾十個(gè)節(jié)點(diǎn),而最大的已經(jīng)到了上千節(jié)點(diǎn)。該數(shù)據(jù)中心保存了250PB的數(shù)據(jù)科研數(shù)據(jù),并且保持每年60-70PB的速度增長(zhǎng);服務(wù)著3千多個(gè)用戶,進(jìn)行4千多個(gè)項(xiàng)目的分析和研究。
為了便于統(tǒng)一管理這些集群中的工作負(fù)載,CERN使用了Kubernetes federation(集群聯(lián)邦)項(xiàng)目作為統(tǒng)一的平臺(tái)入口。同時(shí)CERN還在華為伙伴公有云 Open Telekom Cloud、Google Cloud、Azure、AWS等云平臺(tái)上創(chuàng)建K8S集群并接入了他們的平臺(tái),以便于快速響應(yīng)技術(shù)峰會(huì)等大型活動(dòng)期間暴漲的計(jì)算量。
在兩個(gè)或更多的云平臺(tái)上創(chuàng)建K8S集群,并部署工作負(fù)載,已經(jīng)成為許多K8S采用者的常規(guī)做法。較之以往,用戶可以相對(duì)容易地在云平臺(tái)上同時(shí)部署業(yè)務(wù),而享受到不同云平臺(tái)的優(yōu)勢(shì)服務(wù)。
不難發(fā)現(xiàn),當(dāng)下基于Kubernetes的容器服務(wù),已經(jīng)幾乎成為各家云廠商的標(biāo)配。得益于K8S一致性認(rèn)證項(xiàng)目的推動(dòng),包括Google、Azure、AWS,以及國(guó)內(nèi)的華為云、阿里云、騰訊云在內(nèi)的55個(gè)提供商都提供了認(rèn)證的K8S發(fā)行版。多云的支持,已成為必然趨勢(shì)。而隨著CloudNative的發(fā)展,相信在不久的將來,以K8S為核心的云原生平臺(tái)將真正實(shí)現(xiàn)cloud agnostic。用戶可以真正輕松地實(shí)現(xiàn),跨云,跨集群的workload遷移。
核心與基礎(chǔ)問題已經(jīng)解決,如何消除CloudNative背景下的安全焦慮?
過去兩年是CNCF的創(chuàng)業(yè)期,社區(qū)以Kubernetes和容器為平臺(tái)核心,圍繞可觀測(cè)性,可運(yùn)維性,微服務(wù)發(fā)現(xiàn)等領(lǐng)域進(jìn)行能力補(bǔ)齊,構(gòu)建了靈活易擴(kuò)展的基礎(chǔ)平臺(tái)。
隨著容器、微服務(wù)等技術(shù)被越來越多地采用實(shí)施,運(yùn)行于生產(chǎn)環(huán)境。越來越多的人關(guān)注到新興技術(shù)背景下的安全問題。如何消除這些顧慮,也正是CNCF在接下來的時(shí)間內(nèi)發(fā)力的重點(diǎn)。
Runtime方面,Google帶來了他們自己的全容器方案 —— gVisor。gVisor提供新型沙箱容器運(yùn)行時(shí)環(huán)境,能夠在保證輕量化優(yōu)勢(shì)的同時(shí),提供與虛擬機(jī)類似的隔離效果。這與去年在Austin的KubeCon上宣布成立的KataContainer項(xiàng)目定位十分類似。
KataContainer源自于Intel的ClearContainer和hyper的runV,是一種基于輕量級(jí)虛擬化的容器技術(shù)。它通過在容器外加裝一層經(jīng)過大量裁剪和優(yōu)化的虛擬化內(nèi)核,實(shí)現(xiàn)容器間的內(nèi)核隔離。
與KataContainer略微不同,gVisor通過在用戶空間內(nèi)攔截應(yīng)用程序系統(tǒng)調(diào)用并充當(dāng)訪客內(nèi)核(guest kernel),來提供強(qiáng)大的隔離邊界。另一處不同是gVisor不需要固定資源,它能夠隨時(shí)適應(yīng)不斷變化的資源條件,這一點(diǎn)更像是普通Linux進(jìn)程。gVisor很像是一種超虛擬化操作系統(tǒng),其與完整虛擬機(jī)相比擁有更靈活的資源利用方式與更低的固定成本,但這種靈活性的代價(jià)是其系統(tǒng)調(diào)用成本更高且應(yīng)用程序兼容性略差。
gVisor項(xiàng)目為容器安全性提供了新思路,豐富了安全容器技術(shù)的生態(tài),雖然距離商用還有一段路要走,但就將安全容器推向主流市場(chǎng)而言,它未來帶來的幫助無疑會(huì)是巨大的。
Kubeflow發(fā)布0.1版本,大幅降低K8S上部署ML平臺(tái)門檻
近年來,機(jī)器學(xué)習(xí)的發(fā)展可謂突飛猛進(jìn)。如何發(fā)揮Kubernetes的優(yōu)勢(shì),將其作為部署平臺(tái)來提供便捷、可擴(kuò)展的機(jī)器學(xué)習(xí)框架,是其中一個(gè)重點(diǎn)話題。Kubeflow項(xiàng)目的發(fā)起,正是試圖找到一種最簡(jiǎn)便的開源解決方案。
自去年北美的KubeCon + CloudNativeCon宣布項(xiàng)目成立之后,Kubeflow已經(jīng)吸引了來自包括Google、微軟、Redhat、華為、阿里云等在內(nèi)的20多個(gè)組織的70多個(gè)貢獻(xiàn)者貢獻(xiàn)了700多條代碼,并獲得了3.1k的star,增長(zhǎng)速度之快躍居Github前2%。本次發(fā)布的0.1版本提供了一套最精簡(jiǎn)的軟件包,方便用戶開發(fā)、訓(xùn)練和部署機(jī)器學(xué)習(xí)框架。
在之后的幾個(gè)月里,Kubeflow項(xiàng)目將致力于0.2的發(fā)布,屆時(shí)將提供:
通過引導(dǎo)容器簡(jiǎn)化設(shè)置
優(yōu)化GPU集成
支持更多的機(jī)器學(xué)習(xí)框架,如Spark ML,XGBoost,sklearn
支持TF服務(wù)的自動(dòng)伸縮
編程數(shù)據(jù)轉(zhuǎn)換,如tf.transform
今年年底Kubeflow發(fā)布1.0版本之后,kubeflow項(xiàng)目將尋求一個(gè)正式的治理社區(qū),托管在CNCF或其他社區(qū)下。
Serverless領(lǐng)域發(fā)布事件標(biāo)準(zhǔn)CloudEvents 0.1
隨著云技術(shù)的發(fā)展和越來越廣泛的采用,應(yīng)用程序變得越來越分散,集成的數(shù)量也在不斷增長(zhǎng)。人們?cè)絹碓蕉嗟匕l(fā)布事件,利用事件驅(qū)動(dòng)的設(shè)計(jì)模式,并且在各種環(huán)境之間傳遞事件。而另一方面,Serverless概念興起,各大云平臺(tái)開始提供函數(shù)服務(wù)(事件驅(qū)動(dòng)計(jì)算服務(wù)),支持的事件數(shù)量也在不斷增加。然而各個(gè)平臺(tái)對(duì)于事件的描述卻各不相同。開發(fā)人員必須先學(xué)習(xí)平臺(tái)特定的術(shù)語和語義。事件的傳輸也頗受阻礙,因?yàn)檫壿嫼突A(chǔ)設(shè)施沒有一致的信息來支持智能決策如何處理并轉(zhuǎn)發(fā)事件。
為了解決Serverless的互操作性問題,CNCF Serverless工作組自去年年底完成白皮書之后,便致力于Serverless事件標(biāo)準(zhǔn)規(guī)范 —— CloudEvent 的制定。開源玩家包括華為、谷歌、微軟、IBM、紅帽等,都積極投入其中,為該項(xiàng)目做出了貢獻(xiàn)。
本次大會(huì)上發(fā)布的CloudEvents 0.1的范圍很簡(jiǎn)單:提供一組一致的元數(shù)據(jù),可以將其包含在事件數(shù)據(jù)中,使事件更容易適用于發(fā)布者、中間件、訂閱者和應(yīng)用程序。簡(jiǎn)而言之,就是一個(gè)標(biāo)準(zhǔn)的事件信封。
CloudEvents的通用元數(shù)據(jù)使得事件更易于路由,扇出,追蹤,重放,并且通常保持“在線”。它們更便攜,更流暢,更易于跨環(huán)境傳輸。項(xiàng)目同時(shí)還在制定適用于每種協(xié)議的CloudEvents元數(shù)據(jù)映射到現(xiàn)有協(xié)議的規(guī)范。目前,網(wǎng)絡(luò)帶寬,成本和延遲仍然是主要挑戰(zhàn)。但CloudEvents簡(jiǎn)單的元數(shù)據(jù)定義已經(jīng)可以在諸多場(chǎng)景中為數(shù)據(jù)帶來不錯(cuò)的可移植性。
聚焦K8S加速創(chuàng)新,CloudNative編程框架應(yīng)運(yùn)而生
眾所周知,kubernetes早在設(shè)計(jì)之初就做到了架構(gòu)上的松耦合,在而后的演進(jìn)中又進(jìn)行了多處插件化框架和可擴(kuò)展性的改進(jìn)和增強(qiáng)。Operator概念的引入,更是標(biāo)準(zhǔn)化了一大部分對(duì)K8S有定制擴(kuò)展需求的場(chǎng)景。
然而,Operator本身的開發(fā)、測(cè)試、運(yùn)維等,仍然有一定的門檻。開發(fā)者往往是尋找一個(gè)現(xiàn)有的Operator實(shí)現(xiàn),刨除原有的業(yè)務(wù)代碼,填入自己應(yīng)用相關(guān)的管理邏輯。完成這個(gè)過程往往需要對(duì)K8S的API有比較深入的了解,并且具備相當(dāng)?shù)慕?jīng)驗(yàn)和技術(shù)知識(shí)。而想要完整地實(shí)現(xiàn)Operator的測(cè)試和運(yùn)維,所需的額外工作就更多了。
Operator開發(fā)框架旨在歸納已有實(shí)現(xiàn)中優(yōu)秀的實(shí)踐經(jīng)驗(yàn),形成一套標(biāo)準(zhǔn),來幫助降低K8S上應(yīng)用程序的開發(fā)、測(cè)試和運(yùn)維的門檻。開發(fā)框架包含3部分 —— SDK、生命周期管理以及監(jiān)控度量。
Operator SDK提供了開發(fā)者構(gòu)建、測(cè)試和封裝Operators的工具。生命管理組件提供監(jiān)督跨Kubernetes集群運(yùn)行的所有Operator(及其關(guān)聯(lián)服務(wù))的生命周期的安裝,更新和管理。而未來幾個(gè)月內(nèi)將會(huì)實(shí)現(xiàn)的監(jiān)控度量組件,則會(huì)提供CPU、內(nèi)存等基礎(chǔ)指標(biāo)以及自定義指標(biāo)的監(jiān)控采集。
Operator開發(fā)運(yùn)維門檻的降低,對(duì)那些些苦于業(yè)務(wù)改造上云后運(yùn)維難、對(duì)K8S有定制需求的企業(yè)用戶來說,是一大福音。
大幕拉開,真正的好戲才剛剛開始
在過去,面向分布式應(yīng)用開發(fā),我們看到的是諸如Erlang、容錯(cuò)編程和框架等,更多的是綁定于不同的編程社區(qū)和軟件棧。
可以欣喜地看到,Kubernetes憑借著它許多驚艷的特性,和龐大的生態(tài)力量,已經(jīng)進(jìn)入諸多分布式系統(tǒng)走向商業(yè)化相似的發(fā)展歷程,日漸變得適合日常的開發(fā)者,適合日常的企業(yè),最終成為被業(yè)界普遍采用的橫向技術(shù)。
而在以K8S為核心的基座之上,良好的開發(fā)監(jiān)控和運(yùn)維體驗(yàn),使得創(chuàng)新越來越快。眼下,諸如在微服務(wù)治理、機(jī)器學(xué)習(xí)等領(lǐng)域生態(tài)中,我們已經(jīng)可以見到K8S被用作標(biāo)配的底座和強(qiáng)力的助推器。
在接下來的幾年里,市面上各類應(yīng)用定義工具與服務(wù)將呈現(xiàn)爆發(fā)式增長(zhǎng),大大簡(jiǎn)化云上部署運(yùn)維應(yīng)用的門檻。毫無疑問,將來如果一個(gè)軟件不能以某種形式直接或者插件化運(yùn)行在K8S上,將沒有人為它們買單。
而在未來,K8S的使用門檻將從白盒轉(zhuǎn)向黑盒,開發(fā)者甚至不用掌握太多K8S的知識(shí),只需基于一套標(biāo)準(zhǔn)化原語,便可實(shí)現(xiàn)分布式系統(tǒng)風(fēng)格的編程。人們不必在糾結(jié)代碼如何編譯,鏡像如何構(gòu)建,測(cè)試與生產(chǎn)環(huán)境的配置有何不同,或者甚至連“kubernetes just run my code” 這樣的命令都不用執(zhí)行,尋常的一個(gè)代碼提交動(dòng)作便可以觸發(fā)從編譯構(gòu)建測(cè)試到生產(chǎn)運(yùn)維全流程的交付流水線。而出現(xiàn)問題時(shí)的回滾也會(huì)是如此的簡(jiǎn)單,因?yàn)榇a提交的操作都是原子的。
今天,許多人或許會(huì)說K8S已經(jīng)逐漸穩(wěn)定,也逐漸變得無聊,但縱觀整個(gè)CloudNative生態(tài),許多新鮮有趣的項(xiàng)目正在雨后春筍般地涌現(xiàn) —— 畢竟,我們只是搭好了云原生的大舞臺(tái),真正的好戲,才剛剛開始。
相關(guān)知識(shí)
哥本哈根簡(jiǎn)介
哥本哈根瘦身
根本哈根(哥本哈根是哪國(guó))
哥本哈根減肥原理,哥本哈根減肥法害人
哥本哈根飲食法,一個(gè)月內(nèi)兩次哥本哈根減肥法
哥本哈根減肥
哥本哈根食譜大全
哥本哈根
哥本哈根13天減肥法食譜(哥本哈根14天減肥法)
哥本哈根減肥法危害
網(wǎng)址: 哥本哈根的KubeCon 巨浪,要把云計(jì)算帶向何處? http://www.u1s5d6.cn/newsview1796825.html
推薦資訊
- 1發(fā)朋友圈對(duì)老公徹底失望的心情 12775
- 2BMI體重指數(shù)計(jì)算公式是什么 11235
- 3補(bǔ)腎吃什么 補(bǔ)腎最佳食物推薦 11199
- 4性生活姿勢(shì)有哪些 盤點(diǎn)夫妻性 10428
- 5BMI正常值范圍一般是多少? 10137
- 6在線基礎(chǔ)代謝率(BMR)計(jì)算 9652
- 7一邊做飯一邊躁狂怎么辦 9138
- 8從出汗看健康 出汗透露你的健 9063
- 9早上怎么喝水最健康? 8613
- 10五大原因危害女性健康 如何保 7828
- 擴(kuò)大品牌供應(yīng)鏈優(yōu)勢(shì),絕味鴨脖領(lǐng)跑休閑鹵味
- 絕味鴨脖:營(yíng)銷網(wǎng)絡(luò)蓬勃發(fā)展,引領(lǐng)鹵制休閑
- 鴨脖賣不動(dòng)背后:休閑鹵味“三劍客”劍斷了
- 休閑食品千億市場(chǎng),周黑鴨鴨脖如何掘金?
- 休閑肉制品市場(chǎng)再現(xiàn)爆品,高品質(zhì),動(dòng)銷快,
- 【供應(yīng)絕味鴨脖加盟總部】?jī)r(jià)格,廠家,其他
- 【鴨嘴怪休閑鴨脖加盟
- 鴨嘴怪休閑鴨脖加盟
- 居家減脂塑型一周計(jì)劃@道養(yǎng)生的動(dòng)態(tài)
- 在家輕松瘦:揭秘高效居家減脂法,輕松掉秤