Atomic Chat:面向智能体的本地 AI 应用和推理引擎
面向智能代理的本地 AI 应用与推理引擎。在本机运行开源权重大语言模型,数据完全私有、仅在你的设备内处理。
✨ 功能特性
本地模型
- 本地运行来自 HuggingFace 的开源权重大语言模型,支持 Llama、Gemma、Qwen、Mistral、Phi 等系列
- Multi-Token Prediction (MTP) 推测解码:兼容模型吞吐量提升 30%–70%,Gemma 4 最高可达 3 倍
- DFlash 块扩散解码:Qwen 3.6、Gemma 4、Kimi K2.5 最高提速 6 倍
- Flash Attention 开关(
on / off / auto)
- 针对思维链模型自动追踪推理上下文
- 自动扩展上下文窗口,并提供溢出提醒
- Apple Silicon(MLX)平台为 Gemma 4 提供 EAGLE-3 推测解码
- MLX 环境下 Qwen 3.5 / 3.6、DeepSeek V4 支持 MTP
- llama.cpp 提供 TurboQuant KV 缓存(
turbo3 / turbo4):现已支持 Windows 和 Linux(不再仅限 macOS),KV 缓存占用最高缩减约 4.3 倍,兼容 CPU、GPU(CUDA / Vulkan)
- MLX-VLM 支持 TurboQuant KV 缓存:借助 RHT 校正快速路径降低内存占用
云端模型
- 内置服务商:OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot
- 自行填入 API Key,每条对话可切换模型,自由混用本地模型与云端模型
工具与集成能力
- 一键启动智能代理:在集成面板一键运行 Claude Code、Codex CLI、Cline、OpenCode、Droid、Goose、OpenHands、Copilot CLI、Kilo Code、Zed 等代码智能代理
- 工件预览(Artifacts):HTML/CSS/JS 代码实时预览面板,支持复制、下载与打印
- 可连接多个 MCP 服务端,接入自定义工具、文件访问、网页搜索能力
- 自定义助手,可为每个助手独立设置系统提示词
- 项目功能,侧边栏提供对话树视图
本地接口服务
- 兼容 OpenAI 协议的服务地址:
http://localhost:1337/v1,可直接替换 OpenAI SDK 使用
- 适配所有遵循 OpenAI API 规范的智能代理、命令行工具、IDE 插件
- 默认绑定
127.0.0.1;设置 host: 0.0.0.0 即可在局域网内暴露服务

https://github.com/AtomicBot-ai/Atomic-Chat
https://atomic.chat/