【AWS re:Invent 2023】re:invent 2023 Wrap-up session part 2

パート1はこちら

https://iret.media/88789/

パート2では、パート1に続き、Wrap-upセッションの後半パートの紹介となります。

Amazon Q

こちら今イベントの目玉の一つとなるAmazon Qです。
今までAWSのテックアドバイザーに質問することがありました。
ここでAmazon Qは代理で返答してくれて、人の温かみはなくなりますが、
ものによっては回答速度が爆あがりし、アドバイザーの苦労も解消されます。

Amazon Q（コードの改善機能）

改善の道筋が常に提示されるのは、開発の効率化につながります。
またCode catalistと併用でコードの改善機能も保持しています
Copilotなどを使用した経験もあるのですが、非常に体験の良いものですので、
ぜひ試しましょう

Amazon Q is your buiness expert

この3つのビジネスをchatGPTで開発しようとしていた企業も多いのではないのでしょうか
AWSがそれを先回り開発することで、AWSリソースの開発を行うことなく、無理なく連携ができるのは単純にありがたいです

zero-ETL

まずzero-ETLとは、データパイプラインの構築をなくともできる機能となります。
昨年発表自体はされていたのですが、Aurora dynamoDB への対応が開始したものとなります。

with OpenSearch Service

DynamoDBに格納されたデータのテーブル検索、ベクトル検索を簡易に実施できるようになります
結合の実装などをマネージドサービスとして提供してくれるのは非常にありがたいですね。

DataZone AI recommendations

SwamiのKeynote

下記のような3層アーキテクチャで、AWSが複数のレイヤーで顧客をサポートすることが強調されていました

Amazon Q（高レイヤー）
↓
bedrock
↓
titanium

また、PartyrockというgenAIを作成できるサービスについての紹介も行われました。

マルチモーダルアプリケーションの簡素化

リコメンデーションもベクトル化したデータを用いているということです。
このベクトル距離を使用してリコメンデーションを行うことができます
興味深いですね。

Bedrockの最新モデルの提供開始

直近その利用が拡大し続けているstable diffusion X1.0の一般利用開始や
アジアパシフィックリージョンの対応は嬉しいです。ぜひトライアルしてみましょう

様々なLlama 2.0の一般利用開始など、より利用シーンが拡大しています。

evaluation on Amazon Bedrock

bedrockによるモデルの評価というのは、
モデルによるモデルの評価と人間の評価を組み合わせることも可能
GroudTruthでの人間のワークフローに回すことも可能

Amazon SageMaker HyperPod

大規模なトレーニングといってもピンとこないかもだが、基盤モデルなどパワーが必要なものに適応する。
数百台、数千台を並べる場合、複数のノードに分散ができるライブラリを使うのだが、
それがやはり障害が起こる。
GPUやAcceralaterなど処理が過度に優れたものはバグが起こりやすい。
また、数週間での処理などを数日にし、ログを集約するなども大規模なモデル学習では非常にハードルが高い。
このHyperPodを用いれば、大規模な学習をマネージドし提供してくれる

Amazon SageMaker Innovations

暗黙的なアップデートも含みますが、Sagemakerの機能が複数種アップデートされています。
基盤モデルのファインチューニングなどの強化は目覚ましいものがあります

Vector engine for OpenSearch

ベクトル表現検索にOpenSearchが用いることができます。
langchainと組み合わせて開発を加速化させましょう！

MemoryDB for Rediesがベクター検索に対応

Bedrockとの相性が良いベクトルデータのデータ保存処理が強化されます。

Amazon DocumentDB, Amazon DynamoDBが ベクトル検索に対応

DocumentDBなど、より見知ったDBを用いて検索をしてみることで、ベクトル検索の利点を実感するのが良いかと思います。

Vector engine for OpenSearch

OpenSearchでベクトルデータも対象に検索ができるようになります。
これは実際に使用感を得るとわかりやすいと思うので、早く使用してみたいです

Amazon Neputune Analytics

グラフデータ(GraphQLなど)とベクトルによる類似度の組み合わせで、さらに詳しいレコメンデーションが行えるのは顧客体験をさらに拡大させますね

Amazon Clean Rooms ML

Clean Roomsとは無菌場のこと、企業を跨いでデータを組み合わせたい
セキュアに見せたいデータだけを適切にシェアする仕組みがAWS Clean Rooms
これにMLの機能を加えたのが、この機能
AWS のモデルトレーニングには使用されないのは重要となる

Amazon OpenSearch Service zero-ETL integration with Amazon S3

OpenSearch Serviceとはなんぞや、というユーザーもこの機能を使えば、
OpenSearchがいかに便利か実感できると思います。
そういったトライアルとしても大変有用なアップデートかと

Amazon Q generative SQL in Amazon Redshift

QueryEditorを便利にする機能
SQLクエリのリコメンデーションや提供を行ってくれるのは大変ありがたい

Amazon Q Glue

Glueにも自然言語でのサポート機能を提供
データの処理や統合を実行できるようになる
ただし後日アップデート予定
本当にQはどこにもいる

wernerのセッション

コストを基にアーキテクチャを考える

基本wernerのセッションではサステナビリティに関しての話が出ていました。
基本EC2でやればいいというのは安牌ではあるが逃げであり、袋小路なのだと思います。

最適化のためにトレードオフのTierを設計する

スクラムでもジャッジされやすい、ビジネス優先度の話はamazonでも実施されています。

myApplications in the AWS Management Console

アプリケーションを指定しcostなどを包括的に見ることが可能となるサービス
今まではちょっとどこか手が届かないものだったコストのアプリケーション包括を可能とするものです

Amazon CloudWatch Application Signals

アプリケーションのモニタリングがより柔軟、簡易に行えるようになりました。
モニタリングの第一歩がアプリエンジニアでも簡易に行えるのは大事なステップだと思います。

Amazon SageMaker Studio Code Editor

SageMaker Studioは機械学習開発のプラットフォームサービスであり、
その中でコーディングも見知った環境で行えるのは、さらなるワンストップ開発をサポートします。
大人気のvscodeでテスト訓練を加速させる新サービスです。
vscodeのローカル開発によってショートカットの継続使用も可能となり、
AWS toolkit for Visual Studio Code が組み込まれCocdeWispererやCodeGuruのセキュリティスキャン機能を提供している

ApplicationComposer in VS Code

VS Codeとの統合が止まりません
サービスを左から持ってくると、右にcloudformationのテンプレートが構築されます。
それを出力とするとcloudformationのテンプレートが出てくる機能がVScodeで実施できる。

Inspector CI/CD Container Scanning

push、build、テストの流れとなるのだが、
そこでセキュリティスキャンは多くのアプリが実施するCICD。
ジェンキンスなどにプラグインを入れ込み、Inspectorによるコンテナスキャンが簡易に実施できるようになった。
Inspectorを有効化する必要がないので、AWSに精通していないユーザーにとっては特に有効なもの！

終わりに

今回のreinventでは、主にサーバーレスと機械学習を取り巻く環境やサービスが、
望まれる順に一新していった印象を受けました。
また、AWSが顧客にビジネスの改善に集中してほしいと考える姿勢も垣間見えたと思います。
機械学習の民営化に取り残されないように、フォローアップが欠かせないと再確認できたと思います。