Acabei de notar algo interessante – há uma nova framework de mercado chamada The Grid que está a adotar uma abordagem completamente diferente ao jogo da inferência.

Em vez da habitual configuração com API de modelos a que todos estamos habituados, construíram toda a sua arquitetura baseada em inferência orientada a tarefas. Pensa nisso: em vez de apenas chamar um endpoint de API, estás realmente a estruturar o trabalho em torno de tarefas computacionais específicas.

Os planos técnicos acabaram de ser lançados e, sinceramente, a filosofia de design é bastante refrescante. É daqueles momentos em que pensas “como é que ninguém pensou nisto antes”. Todo o sistema foi concebido para tratar pedidos de inferência como tarefas discretas em vez de chamadas genéricas de API.

Para quem estiver a construir no espaço de computação descentralizada, isto pode valer a pena explorar. A estrutura orientada a tarefas pode realmente resolver alguns dos estrangulamentos de eficiência com que temos lidado nas configurações tradicionais de serving de modelos.

Estou curioso para ver como isto se vai desenrolar na prática quando as pessoas começarem a testar a infraestrutura ao limite.