大数据生态与技术栈
一、环境
点击创建虚拟机:
完成下面的配置之后,打开虚拟机
克隆虚拟机:
一共克隆3个:
新建文件夹📂:
二、虚拟机设置
1.更改主机名称
su -指令进入root目录
重新打开终端查看名称:在虚拟机node2和node3进行同样的操作:
#### 2.修改为固定IP地址
su -进入root
然后:输:vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改如下:
先按ESC等底部INSERT消失,退出插入模式后,输入:
:wq指令,按回车,保存💾并退出👋
输入指令:systemctl restart network重启🔄网卡
再输入:ifconfig查看IP地址
OK✅,IP地址更改完成
在node2和node3执行同样的操作
3.配置主机名映射
找到这个文件📃:
打开,在这里加上:打开final Shell连接:
把它们都连接上:
if卡住了,可能是因为虚拟机网关默认的和咱们设置的不一样,再通过操作改回默认,去执行这三行操作:
systemctl start sshd systemctl enable sshd systemctl stop firewalld
并查看状态:systemctl status sshd
然后把刚才的删掉,主机名改为:192.168.62.101
再重新连接就好了:
剩下两个也是同样的操作
全部连接成功:
分别在node1/2/3窗口下输入:vim /etc/hosts
再输入:192.168.62.101 node1 192.168.62.102 node2 192.168.62.103 node3
按ESC退出插入模式,输入::wq保存💾并退出
4.配置SSH免密登录
生成密钥:
指令:ssh-keygen -t rsa -b 4096
然后一直回车就行了
通过指令:cd .ssh/ll
查看创建的公钥和私钥
通过:ssh-copy-id命令授权免密登录
实现三台服务器之间的免密登录
然后输入指令:ssh 主机号测试一下:
5.给每一台虚拟机配置普通用户
创建hadoop用户:
useradd hadoop
创建密码指令:
passwd hadoop
通过指令切换到hadoop用户:
su - hadoop
生成密钥:
指令:ssh-keygen -t rsa -b 4096
查看:
同样的操作:
通过:ssh-copy-id命令授权免密登录
实现三台服务器之间的免密登录
测试一下:#### 6. 部署 JDK
6.1 创建文件夹
指令:mkdir -p /export/server
三个窗口都执行:
通过指令:rz找到安装包:
或者直接拖过来:
6.2 解压缩
通过指令:tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server
解压到/export/server中
查看:
6.3 配置软链接
指令:
ln -s /export/server/jdk1.8.0_361 jdk
6.4 配置环境变量
指令:
vim /etc/profile
然后再插入模式下输入:
环境变量:
export JAVA_HOME=/export/server/jdk
搜索路径:
export PATH=$PATH:$JAVA_HOME/bin
然后退出插入模式,输入::wq,退出并保存💾
配置完成之后输入指令:
source /etc/profile
加载环境变量,使之生效
6.5 配置Java执行程序的软链接
先删除系统自带的Java
指令:
rm -f /usr/bin/java
再去软链接到我们自己安装的Java程序:
指令:
ln -s /export/server/jdk/bin/java /usr/bin/java
通过指令验证一下:
java -version
javac -version
node2/3也是同样的操作,直接复制过去:
指令:cd /export/server/
ll
scp -r jdk1.8.0_361 node2:`pwd`/scp -r jdk1.8.0_361 node3:`pwd`/查看:已经复制过来了
同样的操作,配置软链接:
同样,配置环境变量,去node1 catch一下:
复制粘贴这两行:
然后再source一下
下面这些都是重复的步骤:
OK,node3也是同样的操作:
7. 关闭防火墙
集群化软件之间通过端口相互通讯,在集群内部关闭防火墙,避免出现网络不通的问题
指令:
systemctl stop firewalld
systemctl disable firewalld
8. 关闭 SELinux
Linux下的安全模块
指令:
vim /etc/sysconfig/selinux
要改的是这个地方:
改完之后,保存并重启🔄
验证:
指令:
systemctl status firewalld
9. 修改时区 配置自动同步时间⌚️
9.1 安装ntp软件
安装
指令:
yum install -y ntp
9.2 更新🔄时区
指令:
rm -f /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
改完之后输入date再去查看,时间就对咯:
9.3 同步时间⌚️
指令:
ntpdate -u ntp.aliyun.com
9.4 开启ntp服务 设置开机自启动
指令:
开启ntp服务:
systemctl start ntpd
设置开机自启动:
systemctl enable ntpd
查看状态:
10. 保存快照📷
关机📴之后右键选择快照:
在这里可以找到:
三、云平台
1. 云平台简介
云平台也称云计算平台。云计算,顾名思义,就是将计算在云上运行
云: 通俗的理解就是远程计算机, 并且是一组 一堆, 这些远程计算机协同工作构建出一个平台,对用户提供服务
计算:这是一个概念很大的名词,小了说可以认为是对业务数据进行计算分析的算力,不过通俗意义上,计算是指构建业务系统的各种需求
平台:将云(远程硬件资源)和计算(远程软件资源)组合在一起,就形成了一个平台,对用户提供各种各样的服务
云平台是: 一个云上的平台,聚合了一些软硬件资源,为用户提供各种各样的远程服务
2. 云平台提供的服务类型
云平台主要提供软硬件等服务,这些服务可以划分为三个类别:
2.1 IaaS 服务(Infrastructure as a Service)
基础设施即服务,即将IT基础设施作为服务,构建一个实体服务器所需的:CPU、内存、磁盘、网络、公网IP、交换机等等一系列物理设备的云上化
IT基础设施是指:
①公网IP、带宽
②VPC(virtual private cloud)私有虚拟局域网
③ 云服务器(CPU、内存、磁盘等计算、存储资源)
2.2 PaaS 服务(Platform as a Service)
平台即服务,我们要学习的云平台,就是一种PaaS服务
2.3 SaaS 服务(Software as a Service)
软件即服务,将软件作为一种服务对外提供
无需关心维护、管理