ちょっと面白いものを見つけました。「The Grid」という新しいマーケットフレームワークが登場していて、インファレンスゲームに全く新しいアプローチを取っています。

従来のモデルAPIの仕組みに慣れ親しんでいる私たちとは違い、彼らはタスクベースのインファレンスに全体のアーキテクチャを構築しています。つまり、単にAPIエンドポイントを呼び出すのではなく、特定の計算タスクに基づいて作業を組み立てるという発想です。

技術設計書も公開されたばかりで、正直、その設計思想はかなり新鮮です。「なぜ今まで誰もこうしなかったのだろう」と思える瞬間です。システム全体が、一般的なAPIコールではなく、個別のタスクとしてインファレンスリクエストを扱うよう設計されています。

分散型コンピュート領域で開発している人にとっては、一見の価値があるかもしれません。タスク指向の構造は、従来型のモデルサービングで私たちが直面してきた効率性のボトルネックを解消してくれる可能性があります。

実際にインフラがストレステストされ始めたとき、これがどのように機能するのか、とても気になります。