本地大模型部署和Spring AI接入本地部署的模型
2026/9/14 22:48:55 网站建设 项目流程

1. 部署模型方案

常见的部署方案是云服务部署和本地部署。

本地部署看重机器配置,如显卡、CPU等,部署参数较高的模型需要购买大量硬件,导致前期成本高;云部署在云服务器上部署大模型,花钱租云服务再在上面部署,前期成本低。

维度云部署本地部署
费用前期成本低,长期成本高前期成本高,长期成本低
维护简单复杂
弹性扩展简单复杂,定制性高
网络依赖网络,全球访问不依赖网络
数据安全隐私性差数据安全

2. 常见云服务平台介绍

模型提供商把自己的大模型部署到云服务上后,对外提供了API,用户可调用API使用模型,就不需要自己训练模型。(提供商如,DeepSeek、OpenAI和Anthropic)

国内几家头部大厂搭建了云服务模型广场,里面包含各类模型。

云平台公司网址
阿里百炼阿里巴巴大模型服务平台百炼控制台
千帆平台百度百度千帆 - 百度智能云控制台
腾讯TI平台腾讯
https://cloud.tencent.com/product/ti
华为昇腾云华为
https://www.huaweicloud.com/product/ecs/ascend.html

3. 本地部署

本地部署模型,就是拉取大模型到本机,由于模型的参数很多,使用普通方法部署模型对用户的技术要求比较高,因此可以借助本地部署框架/工具来帮助我们部署。

  • Transformers
  • vLLM
  • llama.cpp
  • Ollama
  • LM Studio
  • .......

下面使用Ollama部署模型。(Ollama的操作比较简单)

3.1 下载Ollama

官方地址:Ollama

3.2 验证是否安装成功

安装成功后,Ollama默认会启动。

访问:127.0.0.1:11434 ,出现下面的样子就是是安装成功了。

或者通过cmd检查安装情况:

3.3 拉取模型

第一步:

第二步:

挑选模型:https://ollama.com/search

第三步:

在终端输入指令,cmd或PowerShell,拉取模型 例:

ollama run deepseek-r1:1.5b


第一次运行"ollama run xxx" 指令会拉取模型,往后启用模型也是使用"ollama run xxx" 部署模型。


-----------------------------------------

4. Spring AI接入本地部署的模型

启动Ollama,并使用"ollama run xxx"本地部署模型后。(接入非常简单,核心在于依赖的添加和application文件的配置)

以下代码在:spring-ai-first-term-practice/spring-ollama-demo · 巨蛇神/JavaEE进阶 - 码云 - 开源中国

4.1 创建父子工程

用不用父子工程都可以。在独立项目中coding也一样,只要把依赖加好就行。

父工程的依赖:

<!-- 加入spring boot --> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>4.1.1</version> <relativePath/> <!-- lookup parent from repository --> </parent>

子工程的依赖:

<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> </dependency> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-starter-model-ollama</artifactId> </dependency> </dependencies> <!-- 依赖版本管理 --> <dependencyManagement> <dependencies> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-bom</artifactId> <version>2.0.1</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <!-- 添加组件 --> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> <version>4.0.5</version> </plugin> </plugins> </build>

依赖加入和application文件配置后,启动项目时引入的就是本地模型了,之后的更多操作就是关于Spring AI的运用了,详细请看:使用Spring AI配置聊天大模型实现人机交互(初阶)-CSDN博客

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询