2025-09-07

Building a Simple Agent with MCP, Conversation history, Streaming and Smart Frontend using Locally Deployed Mistral over vLLM

Today we'll create an AI Agent with conversation history that can use an MCP Server (we'll write it ourselves), working with a Language Model deployed locally - Mistral over vLLM, all wrapped in FastAPI with Streaming support in Vercel AI SDK v5 format, connected to a frontend that handles collapsible Tool Calls, Streaming and persistence. Essentially, we'll make a ChatGPT clone. Czytaj dalej

2025-09-06

Polacy nie gęsi swój język mają cz. II: Bielik lata z Agenturą, vLLM, MCP, assistant-ui i streamingiem.

Dziś stworzymy sobie AI Agenta z historią konwersacji, który potrafi korzystać z MCP Servera (sami napiszemy), działającego z Polskim Modelem Językowym, odpalonym lokalnie Bielikiem, to wszystko owiniemy w FastAPI z obsługą Streamingu w formacie Vercel AI SDK v5, podepniemy frontend, który ogarnia collapsible Tool Calle, Streaming i persystencję. Czyli niejako zrobimy klona ChatGPT Czytaj dalej