如何解决JAVA读取HDFS文件数据时出现的乱码问题？

本文共计1173个文字，预计阅读时间需要5分钟。

使用Java API读取HDFS文件乱码问题，并编写一个读取HDFS上部分文件数据的预览接口。根据网上博客实现后，发现有时读取信息会出现乱码，例如读取csv文件时，字符串之间被分隔符分割。

使用JAVA api读取HDFS文件乱码踩坑

想写一个读取HFDS上的部分文件数据做预览的接口，根据网上的博客实现后，发现有时读取信息会出现乱码，例如读取一个csv时，字符串之间被逗号分割

• 英文字符串aaa，能正常显示
• 中文字符串“你好”，能正常显示
• 中英混合字符串如“aaa你好”，出现乱码

查阅了众多博客，解决方案大概都是：使用xxx字符集解码。抱着不信的想法，我依次尝试，果然没用。

解决思路

因为HDFS支持6种字符集编码，每个本地文件编码方式又是极可能不一样的，我们上传本地文件的时候其实就是把文件编码成字节流上传到文件系统存储。那么在GET文件数据时，面对不同文件、不同字符集编码的字节流，肯定不是一种固定字符集解码就能正确解码的吧。

那么解决方案其实有两种

• 固定HDFS的编解码字符集。比如我选用UTF-8，那么在上传文件时统一编码，即把不同文件的字节流都转化为UTF-8编码再进行存储。