在2024 AWS re:Invent大會上,亞馬遜宣布推出新一代 Amazon SageMaker,可滿足客戶數(shù)據(jù)、分析及人工智能需求的核心平臺。Amazon SageMaker集成了廣泛應(yīng)用的AWS機(jī)器學(xué)習(xí)(ML)和分析功能,通過內(nèi)置的治理功能統(tǒng)一對工具和數(shù)據(jù)的訪問,解決了利用組織數(shù)據(jù)進(jìn)行分析和人工智能應(yīng)用時面臨的難題。它使團(tuán)隊(duì)能夠安全地發(fā)現(xiàn)、準(zhǔn)備數(shù)據(jù)資產(chǎn)并開展協(xié)作,通過單一的操作體驗(yàn)構(gòu)建分析和人工智能應(yīng)用程序,從而加快從數(shù)據(jù)到價值實(shí)現(xiàn)的進(jìn)程。?
下一代Amazon SageMaker的核心是Amazon SageMaker Unified Studio,這是一個單一的數(shù)據(jù)和人工智能開發(fā)環(huán)境。在這個環(huán)境中,用戶幾乎可以在任何用例場景下,定位并訪問組織內(nèi)的數(shù)據(jù),同時使用最適合任務(wù)的工具對數(shù)據(jù)進(jìn)行處理。
SageMaker Unified Studio整合了現(xiàn)有AWS分析以及人工智能/機(jī)器學(xué)習(xí)服務(wù)的功能與工具,其中包括Amazon EMR、AWS Glue、Amazon Athena、Amazon Redshift、Amazon Bedrock和 Amazon SageMaker AI。
在這個統(tǒng)一工作室中,用戶可以發(fā)現(xiàn)整個組織的數(shù)據(jù)和人工智能資產(chǎn),隨后在項(xiàng)目中開展協(xié)作,安全地構(gòu)建和共享分析及人工智能產(chǎn)物,其中涵蓋數(shù)據(jù)、模型以及生成式人工智能應(yīng)用程序。借助Amazon SageMaker Catalog,SageMaker Unified Studio具備了包括細(xì)粒度訪問控制在內(nèi)的內(nèi)置治理功能,助力您滿足整個數(shù)據(jù)資產(chǎn)的企業(yè)安全要求。?
Amazon SageMaker Lakehouse為用戶數(shù)據(jù)提供統(tǒng)一訪問服務(wù),這是一個基于Apache Iceberg 開放標(biāo)準(zhǔn)構(gòu)建的統(tǒng)一、開放且安全的數(shù)據(jù)湖倉。無論用戶的數(shù)據(jù)存儲在Amazon Simple Storage Service(Amazon S3)數(shù)據(jù)湖、Redshift數(shù)據(jù)倉庫,還是第三方和聯(lián)合數(shù)據(jù)源中,都能從單一位置訪問這些數(shù)據(jù),并將其與兼容Iceberg的引擎和工具配合使用。
此外,SageMaker Lakehouse目前已與Amazon S3 Tables集成,后者是首個原生支持Apache Iceberg的云對象存儲。因此,用戶可以使用SageMaker Lakehouse,在SageMaker Unified Studio 中通過各種分析引擎,以及諸如Apache Spark和PyIceberg等兼容Iceberg的引擎,高效創(chuàng)建、查詢和處理S3表。
亞馬遜在美國拉斯維加斯舉行的re:Invent大會上推出了新一代SageMaker,將分析和人工智能融為一體。
SageMaker Unified Studio現(xiàn)已推出預(yù)覽版,涵蓋模型開發(fā)、數(shù)據(jù)、分析和構(gòu)建生成式AI應(yīng)用。
然而,舊版SageMaker仍然存在,現(xiàn)已更名為SageMaker AI,不同之處在于SageMaker AI的重點(diǎn)更窄,專注于構(gòu)建和訓(xùn)練ML模型。話雖如此,SageMaker AI也被視為 Unified Studio 的一部分,Bedrock也是如此,后者是一種用于構(gòu)建生成式 AI應(yīng)用程序的工具。Unified Studio 也可以通過DataZone API以編程方式使用。
亞馬遜計(jì)劃為Unified Studio增加更多功能,包括訪問來自Amazon Kinesis等的流數(shù)據(jù)、與 Amazon Quicksight商業(yè)智能集成以及與OpenSearch搜索分析(Amazon Elasticsearch和 Kibana分支)集成。
據(jù)AWS數(shù)據(jù)庫服務(wù)副總裁G2 Krishnamoorthy介紹,下一代SageMaker的核心是Lakehouse,這是re:Invent大會上推出的一項(xiàng)服務(wù)?!拔覀兘⒘艘粋€開放的可互操作的數(shù)據(jù)基礎(chǔ),客戶管理起來非常方便。”
SageMaker Lakehouse將S3數(shù)據(jù)湖和Redshift(AWS數(shù)據(jù)倉庫)中的數(shù)據(jù)結(jié)合起來,因此可以使用AWS Athena或Apache Spark等工具將其作為Apache Iceberg數(shù)據(jù)庫通過SQL進(jìn)行查詢。Lakehouse還支持與DynamoDB、Google BigQuery、MySQL、PostgreSQL和Snowflake的連接??梢跃偷貙?dǎo)入或分析數(shù)據(jù),通過Lakehouse和Unified Studio,相同的數(shù)據(jù)可用于分析以及機(jī)器學(xué)習(xí)和開發(fā)生成式AI應(yīng)用程序。