主頁 > 資料庫 > “遠程客戶端操作hdfs創建檔案夾”,驗證環境是否配置成功,以及HDFS錯誤整改

“遠程客戶端操作hdfs創建檔案夾”,驗證環境是否配置成功,以及HDFS錯誤整改

2023-07-05 08:55:55 資料庫

HDFS錯誤整改

撰寫“遠程客戶端操作hdfs創建檔案夾”代碼,驗證環境是否配置成功!

1、錯誤點1:

uTools_1688458820777

改正方法:

第一步:點擊 檔案>專案檔案>模塊

uTools_1688475020930

第二步:會發現紅色框里的顯示的是15,這里我們需要改成8,如下圖:

uTools_1688475074761

uTools_1688475089040

2、錯誤點2:

uTools_1688475402227

改正方法:

第一步:點擊 檔案>專案檔案>設定,后按照圖中步驟點擊:

uTools_1688475476096

第二步:將目標位元組碼版本同樣換成8,如下圖:

uTools_1688475754674

第三步:這個問題解決了

3、錯誤點3:

這里出現了uri爆紅了,因該是可能是導包的時候出錯的?
如果你是第一次將以上代碼寫入環境,會出現很多包顯示紅色,說明包沒有被安裝,需要點擊maven,點擊重繪鍵,自動檢測安裝!

uTools_1688458896288

改正方法:

第一步:點擊側面的Maven,后點擊旋轉按鈕,后再次運行可以解決(?)

uTools_1688476242278

4、錯誤點4:

雖然網頁中已經顯示出xiyou,代表成功了,但是......

uTools_1688476999712

出現了如下警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

警告util.NativeCodeLoader:無法為您的平臺加載本機Hadoop庫…在適用的情況下使用內置的java類

uTools_1688476887272

改正方法:

此處參考網上查找的文章,因為我第一步的檔案就沒找到,可能之前的步驟不一樣,

(44條訊息) 解決 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告_青玄葉鶴的博客-CSDN博客

uTools_1688479091597

uTools_1688479079271

實驗目的:

撰寫“遠程客戶端操作hdfs創建檔案夾”代碼,驗證環境是否配置成功!

實作步驟:

1.首先要確保集群群起成功

uTools_1688475955032

uTools_1688475984182

2.在瀏覽器打開hadoop151:9870

uTools_1688476550533

3.撰寫如下圖示代碼

直接復制:

package org.example.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.FileSystem;

public class HdfsClient {


    private FileSystem fs;

    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        // 連接的集群nn地址
        URI uri = new URI("hdfs://hadoop151:8020");
        // 創建一個組態檔
        Configuration configuration = new Configuration();

        // 用戶
        String user = "root";

        // 1 獲取到了客戶端物件

        fs = FileSystem.get(uri, configuration, user);
    }

    @After
    public void close() throws IOException {
        // 3 關閉資源
        fs.close();
    }

    @Test
    public void testmkdir() throws  URISyntaxException, IOException, InterruptedException {
        // 2 創建一個檔案夾
        fs.mkdirs(new Path("/xiyou/huaguoshan1"));
    }

}

4.運行代碼,在網頁端察看遠程客戶端操作hdfs創建檔案夾成功

uTools_1688476999712

如果友友們有疑問和指導,歡迎在評論區指出!

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/556615.html

標籤:大數據

上一篇:sql server 資料庫自動備份

下一篇:返回列表

標籤雲
其他(162083) Python(38266) JavaScript(25523) Java(18289) C(15238) 區塊鏈(8275) C#(7972) AI(7469) 爪哇(7425) MySQL(7285) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5876) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4610) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2438) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) HtmlCss(1987) .NET技术(1985) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1882) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • “遠程客戶端操作hdfs創建檔案夾”,驗證環境是否配置成功,以及HDFS

    文章中包含我所遇到的錯誤,進行了HDFS錯誤整改,以及后面有操作創建“遠程客戶端操作hdfs創建檔案夾”,驗證環境是否配置成功的程序。 ......

    uj5u.com 2023-07-05 08:55:55 more
  • sql server 資料庫自動備份

    一丶打開客戶端: 物件資源管理器->管理->維護計劃(右鍵點擊)->維護計劃向導 二丶打開后點擊下一步, 填寫名稱與說明并更改備份計劃 三丶點下一步, 選擇維護任務 四丶點擊下一步, 選擇需要備份的資料庫, 和備份檔案路徑 五丶點擊下一步, 選擇報告檔案保存路徑 六丶點擊下一步, 查看維護計劃, 沒 ......

    uj5u.com 2023-07-04 09:24:50 more
  • Mysql基礎篇(四)之事務

    # 一. 事務簡介 **事務是一組操作的集合,它是一個不可分隔的作業單位,事務會把所有的操作作為一個整體一起向系統提交或撤銷操作請求,即這些操作要么同時成功,要么同時失敗。** **就比如:張三給李四轉賬1000塊錢,張三銀行賬戶的錢減少了1000,而李四銀行賬戶的錢要增加1000。這一組操作就必須 ......

    uj5u.com 2023-07-04 09:24:11 more
  • 完全兼容DynamoDB協議!GaussDB(for Cassandra)為NoSQL注入新活力

    摘要:DynamoDB是一款托管式的NoSQL資料庫服務,支持多種資料模型,廣泛應用于電商、社交媒體、游戲、IoT等場景。 本文分享自華為云社區《完全兼容DynamoDB協議!GaussDB(for Cassandra)為NoSQL注入新活力》,作者:GaussDB 資料庫 。 DynamoDB是一 ......

    uj5u.com 2023-07-04 09:23:41 more
  • SQL Server中的NULL值處理:判斷與解決方案

    摘要: 在SQL Server資料庫中,NULL是表示缺少資料或未知值的特殊標記。處理NULL值是SQL開發人員經常遇到的問題之一。本文將介紹SQL Server中判斷和處理NULL值的不同方法,以及一些解決方案,幫助您更好地處理資料庫中的NULL值情況。 文章內容: 引言: 在資料庫開發中,經常會 ......

    uj5u.com 2023-07-04 09:23:31 more
  • Mysql基礎篇(三)之多表查詢

    # 一. 多表關系 - **一對多(多對一)** - **多對一** - **一對一** ## 1. 一對多 ### (1). 案例:部門與員工的關系 ### (2). 關系:一個部門對應多個員工,一個員工對應一個部門 ### (3). 實作:在多的一方建立外建,指向一的一方的主鍵 ![](http ......

    uj5u.com 2023-07-04 09:22:11 more
  • Mysql基礎篇(二)之函式和約束

    # 一. 函式 **Mysql中的函式主要分為四類:字串函式、數值函式、日期函式、流程函式** ## 1. 字串函式 **常用函式如下:** | 函式 | 功能 | | | | | CONCAT(S1, S2, ......Sn) | 字串拼接,將S1,S2,.....Sn拼接成一個字串 | ......

    uj5u.com 2023-07-04 09:20:09 more
  • Mysql基礎篇(一)之DDL、DML、DQL、DCL

    # 一. SQL陳述句分類 **SQL陳述句,根據其功能,主要分為四類:DDL、DML、DQL、DCL。** | 分類 | 全稱 | 說明 | | | | | | DDL | Data Definition Language | 資料定義語言,用來定義資料物件(資料庫,表,欄位) | | DML | D ......

    uj5u.com 2023-07-04 09:17:10 more
  • sql server 資料庫自動備份

    一丶打開客戶端: 物件資源管理器->管理->維護計劃(右鍵點擊)->維護計劃向導 二丶打開后點擊下一步, 填寫名稱與說明并更改備份計劃 三丶點下一步, 選擇維護任務 四丶點擊下一步, 選擇需要備份的資料庫, 和備份檔案路徑 五丶點擊下一步, 選擇報告檔案保存路徑 六丶點擊下一步, 查看維護計劃, 沒 ......

    uj5u.com 2023-07-04 09:09:59 more
  • SQL Server中的NULL值處理:判斷與解決方案

    摘要: 在SQL Server資料庫中,NULL是表示缺少資料或未知值的特殊標記。處理NULL值是SQL開發人員經常遇到的問題之一。本文將介紹SQL Server中判斷和處理NULL值的不同方法,以及一些解決方案,幫助您更好地處理資料庫中的NULL值情況。 文章內容: 引言: 在資料庫開發中,經常會 ......

    uj5u.com 2023-07-04 09:04:44 more