こんにちは、皆さん！マイクです。今日は2024年8月7日、火曜日ですね。今週も「zenncast」へようこそ！今日はZennでトレンドの記事をいくつかご紹介していきますよ。
では、早速ですが、前回紹介した記事のタイトルを振り返ってみましょう。「App Router で1年間開発した知見と後悔」「Cloudflare D1 を使った日本語の全文検索を実装する」「事例別！Strict Concurrency対応方法」これらの内容、気になりますね。
さて、次は「おたより」のコーナーですが、今日はおたよりは届いていないようですので、今日の内容紹介に移りましょう！
今日は、全部で5本の記事をご紹介します。まず最初の記事は「RAGエージェントを10倍速くする『REAPER』」です。
この「REAPER」は、株式会社ナレッジセンスが提案した手法で、Retrieval-Augmented Generation、略してRAGを活用してAIエージェントの回答速度をなんと10倍に向上させるというものです！2024年7月にAmazonの研究者によって提案されたこの手法は、特にECサイトのチャットボットにおいて、複雑な質問に迅速に対応するために設計されています。
従来のRAGでは、Chain of Thought、略してCoTを用い、ステップバイステップで回答を生成するために時間がかかっていました。しかし、REAPERでは最初に一度だけ「情報収集の計画」を生成し、その後はその計画に基づいて情報収集を並行して行うことができるんです。このアプローチによって、LLMへの問い合わせが1回で済むため、全体の処理速度が大幅に向上します。
さらに、REAPERは小さな言語モデル、Mistral 7Bをファインチューニングし、ハルシネーションを抑制した上で計画を生成します。ユーザーの質問に対して必要なツールや関数を特定し、並行処理を行うことで迅速な回答を実現するんですね。
成果として、REAPERはツール選択で96%、引数抽出で92%という高い正確性を示し、計画生成速度は従来のAIエージェント型システムと比較して10倍以上の向上を達成しました。この手法は、社外向けのRAGシステムにおいても回答速度の問題を解決する可能性が高いと期待されています。
続いて、2つ目の記事「LLMアプリケーションの評価入門〜基礎から運用まで徹底解説〜」についてお話しします。
LLMアプリケーションの評価は、出力の適切性を判断し、ビジネス上の目的を達成するためにとても重要です。LLMの出力は確率的で、ハルシネーションや意図しない出力が生じることがあるため、評価が必要になります。
評価は主に3つの観点から行われます。モデルそのもの、ファインチューニングしたモデル、そしてプロンプトや周辺処理を含む全体の評価です。評価方法にはオフライン評価とオンライン評価があり、オフライン評価は事前に準備したデータセットに基づいていますが、本番データと異なる傾向を持つことが多く、限界があります。
一方、オンライン評価は実ユーザーの反応をもとに行われるため、より実践的な結果を得ることができます。特にレベル3の評価がビジネス上の成果に直結するため重要です。また、期待するアウトプットとの比較や出力の妥当性評価も行われ、LLM-as-a-Judgeという手法を用いることで出力評価の効率を高めることができます。
続いて、3つ目の記事「社内利用浸透しきったLookerを1ヶ月でLookerStudioに移行した話」をご紹介します。
このプロジェクトでは、Lookerを解約し、LookerStudioへの移行を1ヶ月で完了させた経緯が語られています。背景には円安によるコスト高騰があり、各部門でLookerが広く利用されていたため、移行には大きなインパクトが伴いました。
移行は6月下旬に開始し、8月の頭にはLookerStudioを利用開始。社内での利用浸透度が高かったため、移行作業は大変でしたが、コスト改善の大きな可能性を見込んで取り組むことを決意しました。
移行にあたり、データ基盤とLookerStudioの設計を見直し、データの再利用とダッシュボードの再構築を行いました。特にダッシュボードの移行は多くの工数を要し、業務フローに基づいて優先度を見極めながら進めました。
移行プロジェクトは成功し、LookerStudioの機能を評価しつつ、今後の改善の余地も認識したとのことです。
さて、4つ目の記事「TypescriptベースのECフレームワークMedusaがアツい」についてお話しします。
Medusaは、Typescriptを利用したオープンソースのECフレームワークで、ヘッドレスコマースに特化しています。これにより、開発者は柔軟にフロントエンドを構築できるのが特徴です。
基本機能としてカート、支払い、顧客管理、商品管理などがあり、価格管理や在庫管理といった重要な機能もモジュールとして提供されています。ユースケースはD2CやB2B向けのECサイト、OMS、POSシステム、サブスクリプションモデルの実装が可能です。
Medusaの強みは、プラグインによる機能拡張の容易さです。さまざまなプラグインが公開されていて、決済方法や認証プロバイダの追加が簡単にできます。ただし、APIの機能が一部劣ることや、管理画面のユーザビリティが課題とされています。
最後に、5つ目の記事「AI Shift フロントエンドトーク 2024-07」についてお話ししましょう。
AI Shiftではフロントエンドエンジニアによる情報共有会が毎週開催され、2024年7月のトークでは多様な技術トピックが取り上げられました。内容は、Reactの内部構造、JavascriptのSetオブジェクトに対する集合演算、toB SaaSサービスのインフラアーキテクチャ、State of React 2023のアンケート結果、TanStack Formのリリース間近、React Flowの新バージョン、CloudflareのZarasの機能改善、Node.jsでのTypeScript実行、レンダリング戦略のまとめなど、多岐にわたります。
これらの情報を通じて、エンジニアたちが最新の技術トピックについて学び合い、成長する姿勢が伺えます。
さて、今日は5本の記事を紹介しました。内容を振り返ってみましょう。REAPERという手法がAIエージェントの回答速度を10倍にする可能性、LLMアプリケーションの評価方法、LookerからLookerStudioへの移行プロジェクト、そしてMedusaというECフレームワークの特長、AI Shiftのフロントエンドトークの内容についてお話ししました。
次回も皆さんとお会いできるのを楽しみにしています。詳しい内容はショーノートに書いてありますので、ぜひチェックしてくださいね！番組の感想もお待ちしています。それでは、また次回お会いしましょう！