大数据生态与技术基础知识
2026/9/15 8:47:00 网站建设 项目流程

大数据生态与技术栈

一、环境

点击创建虚拟机:



完成下面的配置之后,打开虚拟机

克隆虚拟机:



一共克隆3个:

新建文件夹📂:

二、虚拟机设置

1.更改主机名称

su -指令进入root目录

重新打开终端查看名称:
在虚拟机node2和node3进行同样的操作:

#### 2.修改为固定IP地址

su -进入root

然后:输:vim /etc/sysconfig/network-scripts/ifcfg-ens33


修改如下:

先按ESC等底部INSERT消失,退出插入模式后,输入:

:wq指令,按回车,保存💾并退出👋

输入指令:systemctl restart network重启🔄网卡

再输入:ifconfig查看IP地址

OK✅,IP地址更改完成

在node2和node3执行同样的操作

3.配置主机名映射

找到这个文件📃:

打开,在这里加上:

打开final Shell连接:


把它们都连接上:

if卡住了,可能是因为虚拟机网关默认的和咱们设置的不一样,再通过操作改回默认,去执行这三行操作:

systemctl start sshd systemctl enable sshd systemctl stop firewalld

并查看状态:systemctl status sshd

然后把刚才的删掉,主机名改为:192.168.62.101

再重新连接就好了:

剩下两个也是同样的操作


全部连接成功:

分别在node1/2/3窗口下输入:vim /etc/hosts

再输入:192.168.62.101 node1 192.168.62.102 node2 192.168.62.103 node3

按ESC退出插入模式,输入::wq保存💾并退出

4.配置SSH免密登录

生成密钥:

指令:ssh-keygen -t rsa -b 4096

然后一直回车就行了

通过指令:cd .ssh/ll

查看创建的公钥和私钥

通过:ssh-copy-id命令授权免密登录

实现三台服务器之间的免密登录

然后输入指令:ssh 主机号测试一下:


5.给每一台虚拟机配置普通用户

创建hadoop用户:

useradd hadoop

创建密码指令:

passwd hadoop

通过指令切换到hadoop用户:

su - hadoop


生成密钥:

指令:ssh-keygen -t rsa -b 4096

查看:


同样的操作:

通过:ssh-copy-id命令授权免密登录

实现三台服务器之间的免密登录

测试一下:
#### 6. 部署 JDK

6.1 创建文件夹

指令:mkdir -p /export/server

三个窗口都执行:

通过指令:rz找到安装包:

或者直接拖过来:

6.2 解压缩

通过指令:tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server

解压到/export/server中

查看:

6.3 配置软链接

指令:

ln -s /export/server/jdk1.8.0_361 jdk

6.4 配置环境变量

指令:

vim /etc/profile

然后再插入模式下输入:

环境变量:

export JAVA_HOME=/export/server/jdk

搜索路径:

export PATH=$PATH:$JAVA_HOME/bin


然后退出插入模式,输入::wq,退出并保存💾

配置完成之后输入指令:

source /etc/profile

加载环境变量,使之生效

6.5 配置Java执行程序的软链接

先删除系统自带的Java

指令:

rm -f /usr/bin/java

再去软链接到我们自己安装的Java程序:

指令:

ln -s /export/server/jdk/bin/java /usr/bin/java

通过指令验证一下:

java -version


javac -version


node2/3也是同样的操作,直接复制过去:

指令:cd /export/server/

ll

scp -r jdk1.8.0_361 node2:`pwd`/
scp -r jdk1.8.0_361 node3:`pwd`/

查看:已经复制过来了


同样的操作,配置软链接:

同样,配置环境变量,去node1 catch一下:

复制粘贴这两行:

然后再source一下

下面这些都是重复的步骤:

OK,node3也是同样的操作:

7. 关闭防火墙

集群化软件之间通过端口相互通讯,在集群内部关闭防火墙,避免出现网络不通的问题

指令:

systemctl stop firewalld

systemctl disable firewalld

8. 关闭 SELinux

Linux下的安全模块

指令:

vim /etc/sysconfig/selinux

要改的是这个地方:

改完之后,保存并重启🔄


验证:

指令:

systemctl status firewalld

9. 修改时区 配置自动同步时间⌚️
9.1 安装ntp软件

安装

指令:

yum install -y ntp

9.2 更新🔄时区

指令:

rm -f /etc/localtime

ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

改完之后输入date再去查看,时间就对咯:

9.3 同步时间⌚️

指令:

ntpdate -u ntp.aliyun.com

9.4 开启ntp服务 设置开机自启动

指令:

开启ntp服务:

systemctl start ntpd

设置开机自启动:

systemctl enable ntpd

查看状态:

10. 保存快照📷

关机📴之后右键选择快照:

在这里可以找到:

三、云平台

1. 云平台简介

云平台也称云计算平台。云计算,顾名思义,就是将计算在云上运行

云: 通俗的理解就是远程计算机, 并且是一组 一堆, 这些远程计算机协同工作构建出一个平台,对用户提供服务

计算:这是一个概念很大的名词,小了说可以认为是对业务数据进行计算分析的算力,不过通俗意义上,计算是指构建业务系统的各种需求

平台:将云(远程硬件资源)计算(远程软件资源)组合在一起,就形成了一个平台,对用户提供各种各样的服务

云平台是: 一个云上的平台,聚合了一些软硬件资源,为用户提供各种各样的远程服务

2. 云平台提供的服务类型

云平台主要提供软硬件等服务,这些服务可以划分为三个类别:

2.1 IaaS 服务(Infrastructure as a Service)

基础设施即服务,即将IT基础设施作为服务,构建一个实体服务器所需的:CPU、内存、磁盘、网络、公网IP、交换机等等一系列物理设备的云上化

IT基础设施是指:

①公网IP、带宽

②VPC(virtual private cloud)私有虚拟局域网

③ 云服务器(CPU、内存、磁盘等计算、存储资源)

2.2 PaaS 服务(Platform as a Service)

平台即服务,我们要学习的云平台,就是一种PaaS服务

2.3 SaaS 服务(Software as a Service)

软件即服务,将软件作为一种服务对外提供

无需关心维护、管理

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询