我用\"纯\"Rust开发了一个大模型聊天工具(模型我用聊天工具胖子开发了)

界面截图

可以支持多种LLM模型

Rust 以其安全性、并发性和性能而闻名，但它在快速开发Web应用和大模型推理应用同样令人兴奋。
Moonweb 的创建，正是为了探索 Rust 在这些领域的潜力。

我后面会分多个文章介绍具体的实现过程。

想要体验的同学可以移步github

GitHub - Lyn-liyuan/moonweb: This project is a web-based LLM (Large Language Model) chat tool developed using Rust, the Dioxus framework, and the Candle framework. It supports multiple open-source LLM models and features dynamic model loading architecture. Each LLM operates as an independent process and communicates via ZeroMQ.