Hadoop集群共91篇

OGG的Oracle与Hadoop集群准实时同步详解

OGG的Oracle与Hadoop集群准实时同步详解-星哥说事

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍。 Oracle作为商业化的数据库解决方案,自...

数据库技术# MySQL# 数据库# PostgreSQL

星锅星锅4月前
0510

RedHat 6.8 搭建 Hadoop 集群

RedHat 6.8 搭建 Hadoop 集群-星哥说事

Hadoop基本简介 是一个由Apache基金会所开发的分布式系统基础架构。 广义上来说,是一个Hadoop生态圈(由一堆框架、软件组成) 版本介绍 分为社区版和商业版 1.x,2.x,-是并行发展的 1...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0570

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境-星哥说事

Hadoop在整个大数据技术体系中占有至关重要的地位,是大数据技术的基础和敲门砖,对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。 最近想要学习Spark,首先需要搭建...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0530

AWS EC2 搭建 Hadoop 和 Spark 集群

AWS EC2 搭建 Hadoop 和 Spark 集群-星哥说事

前言 本篇演示如何使用 AWS EC2 云服务搭建集群。当然在只有一台计算机的情况下搭建完全分布式集群,还有另外几种方法:一种是本地搭建多台虚拟机,好处是免费易操控,坏处是虚拟机对宿主机配置...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0440

部署Hadoop2.0高性能集群

部署Hadoop2.0高性能集群-星哥说事

部署Hadoop高性能集群: 拓扑图: 一、实验前期环境准备: 1、三台主机配置hosts文件:(复制到另外两台主机上) [root@tiandong63 ~]# more /etc/hosts  192.168.199.3 tiandong63192.168.1...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0510

Ubuntu 18.04.1上安装Hadoop 3.1.1集群详解

Ubuntu 18.04.1上安装Hadoop 3.1.1集群详解-星哥说事

本文将介绍如何在基于Ubuntu的系统上安装多节点Hadoop 3.1.1集群,作者将在Ubuntu 18.04.1上安装一个包含HDFS的三节点Hadoop集群。 首先,我们需要为集群创建三个虚拟机,创建一个具有4个vCPU,...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0460

CentOS 7下CDH搭建Hadoop集群

CentOS 7下CDH搭建Hadoop集群-星哥说事

一、说明  节点(CentOS7.5) Server  || Agent CPU node11 Server  || Agent 4G node12 Agent 2G node13 Agent 2G 二、系统环境搭建 1、网络配置(所有节点) 1.设置主机名和IP 2...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0480

Hadoop2.0完全分布式集群搭建方法(CentOS7+Hadoop2.7.7)

Hadoop2.0完全分布式集群搭建方法(CentOS7+Hadoop2.7.7)-星哥说事

本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法,Linux系统版本是CentOS 7,Hadoop版本是2.7.7,JDK版本是1.8。 一、准备环境 1. 在VMware workstations上创建4个Linux虚拟机,并配置其...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0600

Hadoop集群配置免密登录方法

Hadoop集群配置免密登录方法-星哥说事

Hadoop集群包含1个主节点和3个从节点,需要实现各节点之间的免密码登录,下面介绍具体的实现方法。 一、Hadoop集群环境 二、免密登录原理 每台主机authorized_keys文件里面包含的主机(ssh密钥...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0600

使用Docker部署Hadoop集群

使用Docker部署Hadoop集群-星哥说事

一、主机规划 3台主机:1个master、2个slaver/worker ip地址使用docker默认的分配地址: master: 主机名: Hadoop2、ip地址: 172.17.0.2 slaver1: 主机名: hadoop3、ip地址: 172.17.0.3 主...

服务器应用# Nginx# 服务器# Apache

星锅星锅4月前
0480