#
373
2025/5/20
今日のトレンド

MOMIJIとRAGの進化

はい、こんにちは!マイクです!今日は2025年5月21日、火曜日です。今日はZennでトレンドの記事を紹介していきますよ!

さて、前回紹介した記事は「事業会社でマルウェア解析環境を構築」や「個人でDevinのCoreプランを一ヶ月使ってみたので感想を書く」、そして「指先で触る - MediaPipeとThree.jsで作る新感覚な体験を試してみた」などでしたね。

では、今日もたくさんの面白い記事を紹介していきます!今日紹介する記事は全部で5本です。それでは、早速内容に入っていきましょう!

まず最初の記事は、「Webスケールの日本語-画像のインターリーブデータセット『MOMIJI』の構築 /巨大テキストデータをAWSで高速に処理するパイプライン」です。

この内容では、チューリング基盤AIチームが開発している視覚と言語を統合的に理解できるAI「Heron」について話されています。このHeronのために、日本語環境での高性能なマルチモーダル基盤モデルを作るために、画像とテキストが交互に現れるデータセット「MOMIJI」が公開されたんです。なんと、このデータセットは約5,600万件もの日本語文書や約2億4,900万枚の画像を含んでいるんですよ!これは日本語の画像-テキストインターリーブデータセットとしては最大規模だそうです。

MOMIJIの構築にはAWSを活用したパイプラインが採用されていて、フィルタリングや解析処理を効率化しました。特に、日本語判定処理を簡易化することで、処理時間を大幅に短縮できたんです。これにより、数億枚の画像を持つ数千万ものWebページを短期間で収集することができるようになったということです。AI開発におけるエンジニアリングの重要性も強調されていて、今後のプロジェクトへの応用が期待されているんですね。

。.

続いて、2つ目の記事は「RAGに『狩猟本能』を搭載して、答えにたどり着くまで検索」です。

ここでは、RAG(Retrieval-Augmented Generation)の新手法「InForage」について解説されています。この手法は、動物が餌を探す行動になぞらえて、LLM(大規模言語モデル)が情報を動的に探索することを目指しているんです。従来のRAGでは一度だけの情報検索が行われるため、情報が複数の文書に散らばると精度が低下してしまうという問題がありました。

InForageでは、検索と推論を繰り返すプロセスを採用していて、LLMが不足している情報や次に探すべき情報を自己判断する仕組みです。ユーザーから質問があった際には、初期の情報検索を行い、得られた情報をもとに次の探索戦略を立てて、必要な情報を探し続けるんです。この繰り返しによって、最終的な回答を生成します。

この手法の成果として、HotpotQAなどのベンチマークで顕著な性能向上が見られたそうです。特に初回の検索クエリが曖昧な場合に効果を発揮するというのがポイントですね。

。.

次は、3つ目の記事「Honoでアイランドアーキテクチャを自前実装する」です。

この記事では、Honoフレームワークを使用してアイランドアーキテクチャを実装した体験が語られています。著者は、自前実装を選んだ理由として、shadcn/uiを利用するためにハイドレーションが必要だったからだと述べています。実装の過程で、ハイドレーション技術のチューニングの面白さに気づき、各フレームワークの意図をより深く理解できたそうです。

アイランドアーキテクチャの特長として、Viteを使って必要なコンポーネントのみを読み込むこと、IntersectionObserverを活用して表示されていないコンポーネントのハイドレーションを後回しにすること、そしてrequestIdleCallbackを使ってメインスレッドの利用を減少させることが挙げられています。

特に、ハイドレーションの実装ではViteのimport.meta.globを利用して必要なコンポーネントを動的にインポートしている点が面白いですね。これにより、パフォーマンスの向上を図ることができるんです。

。.

続いて、4つ目の記事は「Microsoftが新発表した『NLWeb』とは何か?」です。

Microsoftが発表した「NLWeb」は、ウェブサイトを数行のコードでAIアプリ化できるオープンプロジェクトです。この技術により、既存の構造化データと大規模言語モデルを組み合わせることで、サイト内容を自然言語で検索・対話できるようになるんです。

NLWebの特徴としては、完全オープンでMITライセンスであること、OSやLLMの選択に依存しない点が挙げられます。これにより、サイト運営者が自身のLLMやデータを利用して会話型UXを実装できるようになるんですね。

このプロジェクトは、AIと人間のインタラクションをより円滑にし、ウェブの形を変える重要な要素となるでしょう。Microsoftの発表も迅速で評価されています。

。.

最後に、5つ目の記事「TypeSpecを使ってOpenAPIを生成しよう」です。

TypeSpecはMicrosoftが開発したAPIスキーマ定義ツールで、APIスキーマを簡単に定義できるんです。TypeSpecの記述はTypeScriptのようにシンプルで、ストア情報を持つモデルやAPIインターフェースをTypeSpecで定義する方法が示されています。

TypeSpecの活用法としては、ネームスペースを使って契約会社と取引先のAPIエンドポイントを分ける方法や、APIをファイルごとに分割して見通しを良くする手法が紹介されています。また、共通のデータモデルを定義することで、異なるAPIでもコードの重複を減少させる工夫もされています。

TypeSpecを利用することで、OpenAPIをより効率的に、また可読性の高い形で作成できるため、エンジニアにとって扱いやすい選択肢となるでしょう。今後もTypeSpecに興味のあるエンジニアが増えることが期待されます。

。.

さて、今日の内容を駆け足でおさらいしてみました!たくさんの興味深い記事がありましたね。次回会えるのを楽しみにしています!詳しい内容はショーノートに書いてありますので、ぜひチェックしてください。そして、番組の感想もお待ちしています!それでは、また次回お会いしましょう!

Related episodes

内容の近いエピソードを推薦しています