前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
这个异常发生在Spark读取Windows本地CSV然后show,当然一般情况下不会发生,还有一个条件,项目里加了hbase-client和hbase-mapreduce,具体是哪一个依赖或者两个依赖合起来造成的影响我没有去细究,主要记录解决方法
网上也有其他很多情况可能出现这个异常
详细异常信息
1 | Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z |
解决方法
先讲最终有效的解决方法:
在https://github.com/steveloughran/winutils下载对应版本的hadoop.dll文件放到C:\Windows\System32下即可解决
更新:2021-04-27
因上面github地址对应的hadoop版本不是很全,若想下载hadoop3.1或3.2版本等其他版本,可以从以下地址下载
https://github.com/dongkelun/winutils
网上其他方法 :
1、本地安装hadoop并将hadoop.dll 重启电脑 https://my.oschina.net/u/4307631/blog/4012671
亲测无效,不知道其他情况是否有效,反正我这种情况无效
2、改源码 https://www.cnblogs.com/kelly-one/p/10514371.html
嫌麻烦没有测试,因为这种方法每个项目都要新建一个类,太麻烦了,所以不到最后不想尝试
放到C:\Windows\System32的思路参考:http://www.bubuko.com/infodetail-1092966.html