作为一名大数据运维师是否会遇到1、A能上网B不能上网2、A能访问B反之不行3、给100台机器修改同一个参数4、IP地址可以访问主机名无法访问5、A给B发送一个信息B说没有收到集群出现的问题无数如何保证在不停机的情况下业务正常运行这是大数据运维师的职责。一.大数据技术回顾1.谷歌三驾马车GFS分布式文件系统MapReduce分布式计算Bigtable分布式数据库2.什么是HadoopHadoop 是一个分布式系统基础架构核心组件包括HDFS分布式文件系统MapReduce分布式计算框架HBase分布式数据库创始人Doug Cutting3.Hadoop生态系统4.Hadoop的运用场景二.分布式集群规划1.为什么要规划新手搭建Hadoop环境时常遇到各种问题提前规划可以大幅提高成功率。2.规划内容1.集群拓扑2.主机规划3.软件规划软件版本说明CentOS7Linux操作系统JDK1.8基础环境Hadoop是Java开发的Flume1.7.0非结构日志数据采集HIve2.2.0非结构化数据仓库Hadoop2.7.2HBaser1.2.6非结构化分布式面向列的数据库Sqoop1.4.6ZooKeeper3.4.6分布式应用程序协调器MySQL5.7.12小数据结构化数据4.数据目录规划5.WindowsIP映射1打开hosts文件 [roothadoop1 ~]# vi /etc/hosts2添加如下参数 172.16.206.16 master 172.16.206.26 masterback 172.16.206.27 slave1 172.16.206.29 slave2三.Windows环境下Linux仿真工具1.VMware Workstation Pro功能VMware Workstation中文名“威睿工作站”是一款功能强大的桌面虚拟计算机软件提供用户可在单一的桌面上同时运行不同的操作系统和进行开发、测试 、部署新的应用程序的最佳解决方案。VMware Workstation可在一部实体机器上模拟完整的网络环境以及可便于携带的虚拟机器其更好的灵活性与先进的技术胜过了市面上其他的虚拟计算机软件。对于企业的 IT开发人员和系统管理员而言 VMware在虚拟网路实时快照拖曳共享文件夹支持 PXE 等方面的特点使它成为必不可少的工具。2.下载软件安装包官方试用版地址http://www.vmware.com/cn/products/workstation/workstation-evaluation.htm 许可证密钥5A02H-AU243-TZJ49-GTC7K-3C61N百度网盘地址http://pan.baidu.com/s/1jI6WLvS3.安装方法 安装方法很简单直接双击安装程序默认安装即可。安装完成后点击桌面的快捷启动图标会提示你输入许可证密钥把上面的密钥输入就可以激活了。4.创建一台虚拟机虚拟机创建完成后就可以在VMware的主界面看到我们刚刚创建好的虚拟机CentOS6.6这样我们的虚拟机就创建好了。这个虚拟机就相当于一台真实的电脑只不过我们还没有给它安装操作系统。在安装操作系统之前如果有必要我们可以灵活更改该虚拟机的硬件设置如内存大小、处理器数量、网络适配器等等。可以点击主菜单栏的 “虚拟机 → 设置”来进行更改。最后点击完成即可。这样我们就可以在VMware的主界面看到两台一模一样的虚拟机了。2.给虚拟机安装Linux操作系统我们已经有了一台创建好的虚拟机CentOS6.6硬件设置也配置好了只差给该虚拟机安装操作系统了。1 点击VMware的虚拟机界面选择我们创建好的虚拟机CentOS6.6然后双击虚拟机中模拟的光驱设备。如下图2更改光驱设置使用ISO映像文件来安装linux系统。3开启该虚拟机相当于打开电脑的电源启动电脑。4 开启虚拟机后迅速将虚拟机的光盘设置改为下面的设置即勾选“已连接”和“启动时连接”如下图5 如果都正常的话就会进入linux的图形安装界面。如下图6 设置虚拟PC的计算机名称用默认值即可。点击“下一步”。7 设置根账号root用户即超级管理员的密码。这里为了方便就设置为123456。点击“下一步”。8 安装完成后出现下面的界面告知你CentOS系统已经安装好了并提示你重启。点击“重新引导”即可。9重启后的CentOS系统界面如下https://blog.csdn.net/lamp_yang_3533/article/details/531368953.SecureCRT功能终端仿真程序支持SSH、Telnet等协议用途在Windows上远程管理Linux服务器下载地址http://download.csdn.net/detail/u014079773/9803964创建一个普通的Session1点击File→Connect出现Connect窗口创建Sessions创建一个目录名字叫linux。如图:2然后选中linux建立一个session。弹出一个new session向导创建成功4.美化终端 设置主题常用快捷键 1鼠标左键有选中功能单击选中的内容为复制。鼠标右键单击空白处为粘贴剪贴板内容到光标处单击选中内容为复制和粘贴内容到光标处。 2altenter 全屏 3altp 调出sftp窗口 4ctrlf4 关闭当前session 5altf4关闭SecureCRT软件 6altc 打开连接标签然后选择自己的session即可。4.SecureFX功能安全文件传输工具用途支持拖拽上传/下载与SecureCRT无缝集成打开SecureFX,在Session Manager右键选择你要连接的服务器如果没有的话还是按照之前的步骤新建一个点击“Connect File Transfer”输入你连接的服务器的用户名和密码看到如下界面就代表连接成功了。四.重点知识点回顾课点内容集群规划内容主机、软件、数据目录、网络映射重要数据目录HDFS数据目录、日志目录、临时目录Hosts位置及作用/etc/hosts用于主机名与IP映射VMware功能虚拟机管理、快照、网络模拟SecureCRT功能SSH/Telnet远程终端管理SecureFX功能图形化SFTP文件传输分布式集群的稳定运行离不开前期的详细规划与后期的精细化运维。