當下“打破數據孤島”與“深入挖掘數據價值”的理念被更廣泛認知,數據與智能的融合被視作企業發展的新引擎。一個顯見的問題是,在數據科技與人工智能關注不同要素,沿兩條不同的技術路線越走越遠背景下,融合如何充分實現。
作為全球領先的云服務解決方案供應商,以及云上數智融合的推動者,亞馬遜云科技日前就“企業在云中打造統一數據基礎底座,實現大數據和機器學習的雙劍合璧”的相關內容分享了自身的理念與成果,并對提供數智化技術的“智能湖倉”架構的新變化進行了說明。
(圖:亞馬遜云科技大中華區產品部總經理陳曉建)
企業“數智融合”過三關
亞馬遜云科技大中華區產品部總經理陳曉建分享了亞馬遜云科技在多年服務中歸納的企業數智融合共性問題,主要有三點,且相互關聯:
一是,大數據和機器學習“分而治之”。一方面,既表現在技術路線的差異上,又表現在負責團隊的各自獨立上;另一方面,也存在專業數據在不同業務部門間缺少流轉的情況,這也給機器學習中數據采集和解構的過程帶來了額外的負擔。
二是。數據處理能力整體不足?,F實情況中,負責機器學習的團隊更關注算法,缺少對海量規模數據處理的能力,這對算法的后續優化與后續應用的有效性都有影響。
三是,數據分析人員參與度低。陳曉建介紹稱,現實情況很可能是,一個算法在研發和測試階段表現非常好,但一到使用環節就暴露很多問題,因為測試環節只是真實環境的簡單模擬,真實環境復雜度會高很多。
以上問題的存在,也是亞馬遜云科技認為“企業在云中要打造統一的數據基礎底座,實現大數據和機器學習的雙劍合璧”的原因。
亞馬遜的“云上數智融合”
就陳曉建的描述,一個好的、合理的大數據和機器學習融合架構要具備三點關鍵的能力特征,這也是亞馬遜云科技努力實現的:
其一,能夠建立統一融合的數據底座。其中包括數據質量、權限、開發、可視化,通過大數據與AI機器學習之間高效、充分的雙向互動與循環,實現數據融合。重點在于,實現統一的數據共享,避免重復工作、增加復雜度、浪費成本;建立統一的數據采集、存儲、質量權衡標準、權限控制,推進數據流動;統一開發和流程編排。
其二,能夠為機器學習提供生產級的數據處理能力。重點是能夠通過開放的引擎,對異構的、多元的數據進行處理;具備彈性,能夠根據業務的負載進行靈活的底層資源收縮;優化數據質量,為機器學習提供高質量的數據源。
其三,能夠通過智能數據分析,統一技術和業務價值。通過為用戶提供更智能的數據分析服務,讓業務人員可以完成智能分析、模型效果驗證以及自主式創新,進一步是吸納研發與業務之間的協同。
“智能湖倉”的能力迭代
根據亞馬遜云科技大中華區產品部技術專家團隊總監王曉野的描述,亞馬遜云科技認為,企業在現代化數據進程中,需要的不是單一的產品,而是需要靈活開放的架構,通過可擴展、安全可靠的數據服務,專門構建帶來高效分析能力的數據分析引擎以及AI工具,從而提供極致性能。
至于近一年來的具體升級,則是在關聯前述關鍵能力的前提下展開:
亞馬遜云科技統一的數據治理底座不僅能提升大數據和機器學習的高效融合,還能減少大數據和機器學習重復構建的工作,并且顯著降低成本。
其中,Amazon Lake Formation推出諸多新功能,實現了數據網格跨部門的數據資產共享,以及基于單元格的最細粒度的權限控制機制;Amazon SageMaker Studio可一站式地完成數據開發、模型開發及相關的生產任務,該服務基于多種專門構建的服務為大數據和機器學習提供統一的開發平臺。
亞馬遜云科技提供多種靈活可擴展、專門構建的大數據服務,幫助客戶進行復雜的數據加工及處理,應對數據規模的動態變化,優化數據質量。
其中,Amazon Athena能夠對支持多種開源框架的大數據平臺,包括多種數據源,對這些數據源進行聯邦查詢,快速完成機器學習建模的數據加工。數據源中以Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)和 Amazon EMR 為代表的無服務器分析能力,可以讓客戶無需配置、擴展或管理底層基礎設施,即可輕松地處理任何規模的數據,為機器學習項目提供兼具性能和成本效益的特征數據準備。
亞馬遜云科技還不斷提供更加智能的數據分析服務,賦能業務人員進行智能分析、模型效果驗證以及自主式創新。
例如,在日常分析工具中集成機器學習模型預測能力,其中深度集成機器學習Amazon SageMaker模型預測能力的Amazon QuickSight 、在分析結果中添加基于模型預測的Amazon Athena ML,可幫助用戶使用熟悉的技術,甚至通過自然語言來使用機器學習;還提供如Amazon Redshift ML、可視數據準備工具Amazon Glue DataBrew、零代碼化的機器學習模型工具 Amazon SageMaker Canvas等服務,讓業務人員探索機器學習建模。
目前來看,在企業轉型縱深推進、數智融合加速進行的過程中,“建立統一的數據基礎底座”是可行路徑,統一底座在“云”中落實,能夠極大限度地保障融合的有效性,亞馬遜云科技的“云、數、智三位一體”服務組合將為相關企業提供更多有效助力。(釘科技原創,轉載請務必注明出處“釘科技網”)
文章詳情:?助力企業高效數智化,亞馬遜云科技縱深“云、數、智三位一體”服務