magmasfu3.5硬件需求-教育资源网

magmasfu3.5硬件需求

无桌面的系统：RAM(**要求)256MB，RAM(推荐配置)512MB，硬盘2GB。桌面系统：RAM(**要求)512MB，RAM(推荐配置)2GB，硬盘10GB。

Magma安装步骤：1.安装Exceed。

2.安装SFU。3.安装完SFU后需重启电脑。4.安装magma。5.将MAGNiTUDE下的MAGMAnode.exe**到*:\\magma-v4.4\\v4.4\\NT_INTEL\\bin\\下替换原MAGMAnode.exe文件。

6.启动Exceed(开始-程序-HummingbirdConnectivityV。7.1.1-Exceed-Exceed)。

MAGMA——是全球**的专业铸造模拟分析软件公司，为全球超过1000家客户提供铸造生产、工艺解决方案，铸型及模具设计的全面工具。

两台服务器手动部署大数据平台

两台服务器手动部署大数据平台 ##### 初始服务器数量 – 2台centos7 ##### 建议配置 – 32G(RAM) – 24cpu – 10t(SATA) ### 1.环境 – 系统centos7 – jdk：1.8.0_171（64位） – zookeeper：3.4.8 – spark-2.1.0-bin-hadoop2.6 – kafka_2.10-0.10.2.1 – hadoop-2.7.0 – hbase-1.2.6 – elasticsearch-6.3.0 ### 2.系统准备对应的安装包文件： elasticsearch-6.3.0.tar.gz hadoop-2.7.0.tar.gz hbase-1.2.6-bin.tar.gz jdk-8u171-linux-x64.tar.gz kafka_2.10-0.10.2.1.tgz mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar spark2.1.0hadoop2.6.tgz.gz zookeeper-3.4.8.tar.gz 一、配置好hosts “` 两台设备的host ip1 hello1 ip2 hello2 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 二、机器之间做好免密 1. 在hello1服务器中，cd /root/ 2. ssh-keygen -trsa (全部按回车，走默认配置) 3. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 4. chmod 600 ~/.ssh/authorized_keys 5. scp ~/.ssh/authorized_keys root@hello2:~/.ssh/ 到此处时可以实现hello1机器上通过root账户登录到hello2中，但从hello2中无法通过免密码登录到hello1服务器。 6. 在hello2服务器中，cd /root/ 7. ssh-keygen -trsa (全部按回车，走默认配置) 8. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 9. scp ~/.ssh/authorized_keys root@hello1:~/.ssh/ 到此处时可以实现hello1机器与hello2机器之间免密码互通三、建立一个用户操作elasticsearch用户，后期所有安装软件放在该目录下（当前使用root账户安装） 1.添加用户： useradd -m -s /bin/bash es 2.为该用户设置密码： password es 四、安装JDK 如果系统自带openjdk，先将其卸载掉！ 1.创建jdk安装路径(hello1、hello2都执行) 执行： mkdir /usr/java 2.解压缩jdk到安装目录执行： tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/ 3.添加环境变量 vi /etc/profile,添加以下语句 export JAVA_HOME=/usr/java/jdk1.8.0_171 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin 执行：source /etc/profile 4.**安装包和数据目录到hello2 scp -r /usr/java/jdk1.8.0_171 hello2:/usr/java/ scp /etc/profile hello2:/etc/ 登录到hello2上，进入/home/es目录执行： source /etc/profile 5、验证：两台服务器上分别执行： java -version,查看输出的版本是否与安装的版本一致。

五、安装mysql 1.如果centos系统中自带mariadb，先卸载mariadb。

2.解压mysql安装包程序执行：tar -xvf mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar 3.依次安装里面rpm包组建 rpm -ivh mysql-community-common-5.7.23-1.el7.x86_64.rpm rpm -ivh mysql-community-libs-5.7.23-1.el7.x86_64.rpm rpm -ivh mysql-community-client-5.7.23-1.el7.x86_64.rpm rpm -ivh mysql-community-server-5.7.23-1.el7.x86_64.rpm rpm -ivh mysql-community-devel-5.7.23-1.el7.x86_64.rpm 4.启动MySQL 执行： systemctl start mysqld 5.登录mysql服务器这种方式安装好后，会再my.cnf文件中自动生成一个密码，执行：cat /var/log/mysqld.log | grep password，出现如下记录： 2017-09-15T01:58:11.863301Z 1 [Note] A temporary password is generated for root@localhost: m-NdrSG4ipuO 其中“m-NdrSG4ipuO”为mysql root账户的初始密码。登录：执行： mysql -uroot -p 输入密码： m-NdrSG4ipuO，即可进入mysql服务器。后续可自行修改root密码，创建新账户等操作。六、安装zookeeper 1.解压zookeeper安装包到指定目录（/home/es） tar -zxvf zookeeper-3.4.8.tar.gz -C /home/es 2.创建程序软连接 cd /home/es/ ln -s zookeeper-3.4.8 zookeeper 3.添加执行路径环境 vi /etc/profile 添加 export ZOOKEEPER_HOME=/home/es/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin 执行 source /etc/profile 4.修改配置文件 cd /home/es/zookeeper cp conf/zoo_sample.cfg conf/zoo.cfg 在/home/data下创建对应的zookeeper数据存储目录 mkdir /home/data/zookeeper mkdir /home/data/zookeeper/data mkdir /home/data/zookeeper/log 修改配置文件：conf/zoo.cfg，添加以下语句 dataDir=/home/data/zookeeper/data dataLogDir=/home/data/zookeeper/log server.1=hello1:2888:3888 server.2=hello2:2888:3888 5.创建server表示符文件 touch /home/data/zookeeper/data/myid echo echo 1>/home/data/zookeeper/data/myid 6.**安装包和数据目录到hello2 scp -r /home/es/zookeeper-3.4.8 es@hello2:/home/es scp -r /home/data/zookeeper es@hello2:/home/data scp /etc/profile es@hello2:/etc 登录到hello2上 cd /home/es ln -s zookeeper-3.4.8 zookeeper echo echo 2>/home/data/zookeeper/data/myid 执行 source /etc/profile 7.两台机器上分别执行 zkServer.sh start 8.验证 jps | grep QuorumPeerMain,查看是否有该进程 zkServer.sh status,查看服务状态六、安装kafka 1.解压kafka安装包到指定目录（/home/es） tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/es 2.创建程序软连接 cd /home/es/ ln -s kafka_2.10-0.10.2.1 kafka 3.修改配置文件备份： cp config/server.properties config/server.properties.bak 创建kafka日志目录： mkdir /home/data/kafka mkdir /home/data/kafka/kafka-logs 修改:config/server.properties,具体对应字段如下： broker.id=0 delete.topic.enable=true num.network.threads=10 num.io.threads=32 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/home/data/kafka/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=hello1:2181,hello2:2181 zookeeper.connection.timeout.ms=6000 6.**安装包和数据目录到hello2 scp -r /home/es/kafka_2.10-0.10.2.1 es@hello2:/home/es scp -r /home/data/kafka es@hello2:/home/data 修改hello2中的配置登录到hello2上，cd /home/es/kafka,修改config/server.properties中broker.id值为2. 7.启动kafka 在两台机器的/home/es/kafka中，创建一个日志存放目录：mkdir start_log，执行以下命令： nohup bin/kafka-server-start.sh config/server.properties > start_log/kafka_start_log 2>&1 & 8.验证运行情况 jps | grep Kafka,查看进程通过kafka命令查看topic。

七、安装hadoop 1.解压hadoop安装包到指定目录（/home/es） tar -zxvf hadoop-2.7.0.tar.gz -C /home/es 2.创建程序软连接 cd /home/es/ ln -s hadoop-2.7.0 hadoop 3.创建数据存放目录 mkdir /home/data/hadoop mkdir /home/data/hadoop/tmp mkdir /home/data/hadoop/dfs mkdir /home/data/hadoop/dfs/data mkdir /home/data/hadoop/dfs/name 4.修改配置文件修改/home/es/hadoop/etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hello1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/data/hadoop/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property> </configuration> 修改/home/es/hadoop/etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/data/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/data/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hello1:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration> 修改/home/es/hadoop/etc/hadoop/mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>hello1:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hello1:19888</value> </property> </configuration> 修改/home/es/hadoop/etc/hadoop/yarn-site.xml <configuration> <!– Site specific YARN configuration properties –> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>hello1:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>hello1:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>hello1:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>hello1:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>hello1:8088</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>768</value> </property> </configuration> 配置/home/es/hadoop/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME（不设置的话，启动不了） export JAVA_HOME=/usr/java/jdk1.8.0_171 配置/home/es/hadoop/etc/hadoop目录下的slaves，删除默认的localhost，增加2个从节点， hello1 hello2 5、将配置好的Hadoop**到各个节点对应位置上，通过scp传送 scp -r /home/es/hadoop-2.7.0 hello2:/home/es/ scp -r /home/data/hadoop hello2:/home/data/ 登录到hello2上，进入/home/es目录执行： ln -s hadoop-2.7.0 hadoop 6、格式化nameNode及启动hadoop 在主服务器启动hadoop，从节点会自动启动，进入/home/es/hadoop目录初始化，输入命令，bin/hdfs namenode -format 全部启动**in/start-all.sh，也可以分开**in/start-dfs.sh、**in/start-yarn.sh 输入命令，jps，可以看到相关信息 7、验证hadoop运行情况浏览器打开http://hello1:8088/ 浏览器打开http://hello1:50070/ 8、添加hadoop环境变量到/etc/profile export HADOOP_HOME=/home/es/hadoop export PATH=$PATH:$HADOOP_HOME/**in export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS=\”-Djava.library.path=$HADOOP_HOME/lib/native\” 执行： source /etc/profile 八、安装Hbase 1.解压hbase安装包到指定目录（/home/es） tar -zxvf hbase-1.2.6-bin.tar.gz -C /home/es 2.创建程序软连接 cd /home/es/ ln -s hbase-1.2.6 hbase 3.添加hbase环境变量到/etc/profile export HBASE_HOME=/home/es/hbase export PATH=$HBASE_HOME/bin:$PATH 执行：source /etc/profile 4.修改HBASE配置文件 vi /home/es/hbase/conf/hbase-env.sh 增加： export JAVA_HOME=/usr/java/jdk1.8.0_171 修改： export HBASE_MANAGES_ZK=false vi /home/es/hbase/conf/hbase-site.xml 修改类容： <configuration> <property> <name>hbase.rootdir</name> <!– hbase存放数据目录 –> <value>hdfs://hello1:9000/hbase/hbase_db</value> <!– 端口要和Hadoop的fs.defaultFS端口一致–> </property> <property> <name>hbase.cluster.distributed</name> <!– 是否分布式部署 –> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <!– list of zookooper –> <value>hello1,hello2</value> </property> <property><!–zookooper配置、日志等的存储位置 –> <name>hbase.zookeeper.property.dataDir</name> <value>/home/es/hbase/zookeeper</value> </property> </configuration> 配置regionservers，vi /home/es/hbase/conf/regionservers 去掉默认的localhost，加入hello1、hello2 5、将配置好的hbase**到各个节点对应位置上，通过scp传送 scp -r /home/es/hbase-1.2.6 hello2:/home/es/ scp /etc/profile hello2:/etc/ 登录到hello2上，进入/home/es目录执行： ln -s hbase-1.2.6 hbase source /etc/profile 6、hbase的启动 hello1中执行： start-hbase.sh 7、验证hbase运行情况输入jps命令查看进程是否启动成功，若 hello1上出现HMaster、HRegionServer、HQuormPeer，hello2上出现HRegionServer、HQuorumPeer，就是启动成功了。输入hbase shell 命令进入hbase命令模式，输入status命令，查看运行状态。在浏览器中输入http://hello1:16010就可以在界面上看到hbase的配置注意事项：正常安装后，创建普通不带压缩表可以正常读写，当使用snappy进行压缩创建表时，该表无法再regionServer中启动！解决方法： 1.在hbase-site.xml文件中添加一下属性 <property> <name>hbase.regionserver.codecs</name> <value>snappy</value> </property> 2.每台机器中将hadoop_native.zip解压缩到hbase安装目录的lib下，执行 unzip hadoop_native.zip $HBASE_HOME/lib/ 3.在$HBASE_HOME/conf/hbase-env.sh 中添加：export HBASE_LIBRARY_PATH=/home/es/hbase/lib/native 4.重启Hbase服务即可九、Spark安装 1.解压hbase安装包到指定目录（/home/es） tar -zxvf spark2.1.0hadoop2.6.tgz.gz -C /home/es 2.创建程序软连接 cd /home/es/ ln -s spark2.1.0hadoop2.6 spark 3.修改配置文件 mv /home/es/spark/conf/spark-env.sh.template /home/es/spark/conf/spark-env.sh vi /home/es/spark/conf/spark-env.sh 修改对应配置： export JAVA_HOME=/usr/java/jdk1.8.0_171 export SPARK_MASTER_IP=hello1 export SPARK_MASTER_PORT=7077 export SPARK_LOCAL_IP=hello1 修改slaves文件 mv /home/es/spark/conf/slaves.template /home/es/spark/conf/slaves vi /home/es/spark/conf/slaves 将localhost修改成： hello1 hello2 5、将配置好的hbase**到各个节点对应位置上，通过scp传送 scp -r /home/es/spark2.1.0hadoop2.6 hello2:/home/es/ 登录到hello2上，进入/home/es目录执行： ln -s spark2.1.0hadoop2.6 spark 在hello2中修改/home/es/spark/conf/spark-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_171 export SPARK_MASTER_IP=hello1 export SPARK_MASTER_PORT=7077 export SPARK_LOCAL_IP=hello2 6、启动spark cd /home/es/spark 执行： **in/start-all.sh 7、检测执行结果 jps | grep Worker,看是否有相应的进程。

十、安装elasticsearch 由于elasticsearch，用root账户无法启动，故该组件用es账户安装 1、切换到es账户： su es 2、解压hbase安装包到指定目录（/home/es） tar -zxvf elasticsearch-6.3.0.tar.gz -C /home/es/ 创建程序软连接 cd /home/es/ ln -s elasticsearch-6.3.0 elasticsearch 3、修改配置文件 vi /home/es/elasticsearch/config/elasticsearch.yml # 集群的名字 cluster.name: crrc-health # 节点名字 node.name: node-1 # 数据存储目录（多个路径用逗号分隔） path.data: /home/data1/elasticsearch/data # 日志目录 path.logs: /home/data1/elasticsearch/logs #本机的ip地址 network.host: hello1 #设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点 discovery.zen.ping.unicast.hosts: [\”hello1\”, \”hello2\”] # 设置节点间交互的tcp端口（集群）,(默认9300) transport.tcp.port: 9300 # 监听端口（默认） http.port: 9200 # 增加参数，使head插件可以访问es http.cors.enabled: true http.cors.allow-origin: \”*\” 4、创建elasticsearch数据和存储目录 mkdir /home/data1/elasticsearch mkdir /home/data1/elasticsearch/data mkdir /home/data1/elasticsearch/logs 5、修改linux系统的默认硬限制参数切换至root用户： su root vim /etc/security/limits.conf 添加： es soft nofile 65536 es hard nofile 65536 退出es登录，重新用es账户登录，使用命令：ulimit -Hn查看硬限制参数。