hadoop

hadoop

idea远程连接hadoop(macOS)

windows系统可直接参考因为mac系统的idea中图标位置不太一样, hadoop安装位置也不一样, 所以这里补充我在mac上的配置方式. 前提是电脑中已经安装有hadoop 首先下载安装jdk8官网下载JDK8我的电脑上原本有JDK11, 但是hadoop对于JDK9以上的配置对于我这个新手

5年前 51

hadoop

hadoop3.2.2的start-yarn.sh启动失败

根据尚硅谷的hadoop3.2.2分布式教程分三台机子102开启Namenode 103开启ResoucreManager104开启SecondaryNamenodejps情况 namenode和datanode均以配置成功。hadoop102hadoop103hadoop104 在hadoop10

5年前 36

hadoop

使用spark-submit部署程序时的java.lang.NoSuchMethodError

我正在编写一个程序来将数据上传到某个s3a：//链接。该计划是通过mvn install编制的。在本地运行程序（如使用java -jar jarfile.jar）没有返回任何错误。但是，当我使用spark-submit（如使用spark-submit jarfile.jar）时，它返回了这样的错误：

6年前 58

hadoop

Hadoop是否会被Spark取代？Hadoop生态组件原理解析

首页专栏数据库文章详情 1 Hadoop是否会被Spark取代？Hadoop生态组件原理解析录信数软发布于 4 月 19 日 Hadoop和Spark都是目前主流的大数据框架，但是随着Spark在速度和易用性方面表现出的优势，一些国内外专家逐渐推崇S

5年前 37

hadoop

Hadoop 入门

首页专栏 hadoop 文章详情 0 Hadoop 入门想你就写信发布于 2 月 1 日 1 大数据概率大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多

5年前 52

hadoop

如何在写入hive orc表时合并spark中的小文件

我正在从s3读取csv文件并将其作为orc写入hive表。在写作时，它写的是很多小文件。我需要合并所有这些文件。我有以下属性集： spark.sql("SET hive.merge.sparkfiles = true") spark.sql("SET hive.merge.mapredfiles

6年前 132

hadoop

livy 安装并集成kerberos

使用原因：因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。版本说明: Livy版本0.7 spark版本CDH6.2-spark2.4 安装（1）下载apache livy 下载地址：https://github.com/apache/incubator-l

5年前 62

hadoop

Hive在哪里存储HDFS中的文件？

我想知道如何找到Hive表与它们所代表的实际HDFS文件（或更确切地说，目录）之间的映射。我需要直接访问表文件。 Hive将文件存储在HDFS中的哪个位置？ 51 投票一旦知道了要查看的位置，它们存储在HDFS上的位置就很容易识别出来。 :) 如果你在浏览器中访问http:

6年前 27

hadoop

启动yarn失败，明明端口没有被占用，但是仍然无法连接？

如题，用vm虚拟机创建了几个linux主机，hadoop102机器为master，slave机器hadoop103上指定ResourceManager。在hadoop102上启动yarn失败，log中报错： cause: org.apache.hadoop.yarn.exceptions.YarnR

5年前 41