LocalAI 本地部署指南:没有显卡也能免费跑自己的AI助手
【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI
想用AI,却不想把公司文档传到云端?还是你的办公电脑没有显卡,跑不了云端那些"贵妇级"服务? LocalAI 就是来解决这两件事的:它是一个免费开源的本地部署AI引擎,大语言模型、图片、语音全能跑,而且不依赖GPU。 装好之后,它就在你电脑的 8080 端口上等着,浏览器一开就能用。
它是什么:一个能直接替换云端API的本地AI引擎
LocalAI 把"模型"和"服务"拆开了:核心服务只负责对外提供一个统一API,而 llama.cpp、vLLM、whisper.cpp、stable-diffusion 这些推理引擎各自打包成独立镜像,用到哪个才拉哪个,不装用不到的东西。 它兼容 OpenAI、Anthropic、ElevenLabs 的API格式,也就是说,你原来调云端的代码,把地址改成本地地址就能继续用,一行都不用重写。
一条命令装好:CPU版三步上手 🐳
第一步,确认电脑上装了 Docker(没有的话,看文档 docs/content/getting-started/install.md 里的说明)。
第二步,跑这条命令启动容器:
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest第三步,浏览器打开 8080 端口,聊天、生成图片、语音转换的页面都已经在等你了。
有 NVIDIA 显卡的话,加上--gpus all并换对应的 CUDA 镜像,速度更快;macOS 用户也可以跳过 Docker,直接下官方 DMG 应用。想先拉源码看看的,后面结尾会给你地址。
能帮你做什么:四个最常见的用法
纯CPU办公本也能聊天
LLM 对话、向量嵌入、重排序这些任务,纯 CPU 就能扛。因为接口和 OpenAI 一致,现有的工具链改个地址直接指过来。
文字变语音,不用出门买配音
选一个 TTS 语音模型,把文本贴进去,本地直接合成自然语音,适合做播客素材、有声读稿。
一句话生图
接上 stable diffusion 系列模型,写一句描述,图片就出来了,不排队、不限量、不上传你的描述词。
没有GPU也能跑
NVIDIA、AMD、Intel、Apple Silicon、Vulkan、纯CPU都在支持列表里。你的机器有多普通,它都能凑合干。
生态与下一步
- 官方文档:docs/content/getting-started/ 从安装到排错的完整步骤都在里面
- 功能说明:docs/content/features/ 逐一讲解嵌入、重排序器、P2P推理等玩法
- 模型库:内置模型市场一次收录 800 多个模型,想跑什么基本都有现成的
看到这里,下一步很简单:先跑上面那条 docker 命令,跟本地模型聊上第一句话;想深入再拉源码自己改:
git clone https://gitcode.com/GitHub_Trending/lo/LocalAI【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考