數(shù)據(jù)湖這個詞在21世紀10年代初出現(xiàn)的時候,有些人認為它是在恰當?shù)臅r間出現(xiàn)的一種恰當?shù)募軜嫛?shù)據(jù)湖是一種非結(jié)構化的數(shù)據(jù)存儲庫,利用了新的低成本云對象存儲格式(如Amazon S3),可以容納來自網(wǎng)絡的大量數(shù)據(jù)。
云巨頭AWS選擇通過表格式Apache Iceberg將Redshift數(shù)據(jù)倉庫向數(shù)據(jù)湖延伸,IBM Netezza也是如此。
數(shù)據(jù)湖誕生至今已有十多年的歷史,為全球一些最大的企業(yè)提供了數(shù)據(jù)分析的支持。然而,也有人認為,絕大多數(shù)數(shù)據(jù)湖部署已經(jīng)演變成為“數(shù)據(jù)沼澤”。
作為全球領先的云上數(shù)據(jù)平臺“智能湖倉”架構的提出者,3月14日,亞馬遜云原生數(shù)據(jù)湖S3迎來17周歲。Amazon S3將繼續(xù)引領云原生技術的革新,推動云計算技術的廣泛應用和發(fā)展。
本周,在HPE業(yè)務中增速可觀的這一Alletra產(chǎn)品家族迎來更新,正式接納“Sapphire Rapids”至強SP處理器。
滕昱受邀接受至頂網(wǎng)的采訪,分享了高性能對象數(shù)據(jù)湖對于現(xiàn)代化應用的價值以及戴爾科技在高性能對象數(shù)據(jù)湖領域的創(chuàng)新。
當IT領導者們試圖從企業(yè)收集的數(shù)據(jù)中獲取商業(yè)價值的時候,他們面臨著無數(shù)挑戰(zhàn);蛟S最不為人知的是,沒有很好地利用那些已經(jīng)生成的、頻繁保存的、但卻被很少使用的數(shù)據(jù),正在讓他們錯失各種機會。
技術體系繁雜,存在著很多“平行宇宙”。今天,潭主跟大家分享最近學習的一個數(shù)據(jù)湖存儲技術,Ozone。
數(shù)據(jù)湖的起源,應該追溯到2010年10月,由 Pentaho 的創(chuàng)始人兼 CTO, James Dixon 所提出
5月13日,在北京舉辦的“騰訊云原生智能數(shù)據(jù)湖”發(fā)布會上,騰訊云首次對外展示完整云端數(shù)據(jù)湖產(chǎn)品圖譜,并推出兩款“開箱即用”數(shù)據(jù)湖產(chǎn)品,數(shù)據(jù)湖計算服務DLC和數(shù)據(jù)湖構建DLF。
單靠數(shù)據(jù)倉庫已經(jīng)無法滿足當下的數(shù)據(jù)分析需求,借助數(shù)據(jù)湖可以更從容應對這一需求更從容些。
隨著全球企業(yè)手中數(shù)據(jù)量的快速增長,高級分析正成為各類業(yè)務活動的核心。消化數(shù)據(jù)、運用數(shù)據(jù),企業(yè)才能夠做出更明智的業(yè)務決策。
大數(shù)據(jù)公司Databricks希望通過一個全新的開源項目來清理企業(yè)凌亂的數(shù)據(jù)湖。