1. 部署模型方案
常见的部署方案是云服务部署和本地部署。
本地部署看重机器配置,如显卡、CPU等,部署参数较高的模型需要购买大量硬件,导致前期成本高;云部署在云服务器上部署大模型,花钱租云服务再在上面部署,前期成本低。
| 维度 | 云部署 | 本地部署 |
| 费用 | 前期成本低,长期成本高 | 前期成本高,长期成本低 |
| 维护 | 简单 | 复杂 |
| 弹性扩展 | 简单 | 复杂,定制性高 |
| 网络 | 依赖网络,全球访问 | 不依赖网络 |
| 数据安全 | 隐私性差 | 数据安全 |
2. 常见云服务平台介绍
模型提供商把自己的大模型部署到云服务上后,对外提供了API,用户可调用API使用模型,就不需要自己训练模型。(提供商如,DeepSeek、OpenAI和Anthropic)
国内几家头部大厂搭建了云服务模型广场,里面包含各类模型。
| 云平台 | 公司 | 网址 |
| 阿里百炼 | 阿里巴巴 | 大模型服务平台百炼控制台 |
| 千帆平台 | 百度 | 百度千帆 - 百度智能云控制台 |
| 腾讯TI平台 | 腾讯 | https://cloud.tencent.com/product/ti |
| 华为昇腾云 | 华为 | https://www.huaweicloud.com/product/ecs/ascend.html |
3. 本地部署
本地部署模型,就是拉取大模型到本机,由于模型的参数很多,使用普通方法部署模型对用户的技术要求比较高,因此可以借助本地部署框架/工具来帮助我们部署。
- Transformers
- vLLM
- llama.cpp
- Ollama
- LM Studio
- .......
下面使用Ollama部署模型。(Ollama的操作比较简单)
3.1 下载Ollama
官方地址:Ollama
3.2 验证是否安装成功
安装成功后,Ollama默认会启动。
访问:127.0.0.1:11434 ,出现下面的样子就是是安装成功了。
或者通过cmd检查安装情况:
3.3 拉取模型
第一步:
第二步:
挑选模型:https://ollama.com/search
第三步:
在终端输入指令,cmd或PowerShell,拉取模型 例:
ollama run deepseek-r1:1.5b
第一次运行"ollama run xxx" 指令会拉取模型,往后启用模型也是使用"ollama run xxx" 部署模型。
-----------------------------------------
4. Spring AI接入本地部署的模型
启动Ollama,并使用"ollama run xxx"本地部署模型后。(接入非常简单,核心在于依赖的添加和application文件的配置)
以下代码在:spring-ai-first-term-practice/spring-ollama-demo · 巨蛇神/JavaEE进阶 - 码云 - 开源中国
4.1 创建父子工程
用不用父子工程都可以。在独立项目中coding也一样,只要把依赖加好就行。
父工程的依赖:
<!-- 加入spring boot --> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>4.1.1</version> <relativePath/> <!-- lookup parent from repository --> </parent>
子工程的依赖:
<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> </dependency> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-starter-model-ollama</artifactId> </dependency> </dependencies> <!-- 依赖版本管理 --> <dependencyManagement> <dependencies> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-bom</artifactId> <version>2.0.1</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <!-- 添加组件 --> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> <version>4.0.5</version> </plugin> </plugins> </build>
依赖加入和application文件配置后,启动项目时引入的就是本地模型了,之后的更多操作就是关于Spring AI的运用了,详细请看:使用Spring AI配置聊天大模型实现人机交互(初阶)-CSDN博客