Java如何实现大文本并行计算的具体步骤解析?
- 内容介绍
- 文章标签
- 相关推荐
本文共计571个文字,预计阅读时间需要3分钟。
提高文本读取效率,使用BufferedReader是一个不错的选择。速度最快的方法是MappedByteBuffer,但相较于BufferedReader,其效果并不明显。即便后者似乎更快,但也有限制。
简单提高文本读取效率,使用BufferedReader是个不错的选择。速度最快的方法是MappedByteBuffer,但是,相比BufferedReader而言,效果不是非常明显。也就是说,后者虽然快,但也快的有限(不要抱有性能提升几倍的幻想)。
对于大文本的读取,性能瓶颈主要在IO,read占时间多是正常的,硬盘本身就不快,读入内存后还要转成对象,都比较耗时间。
想要提速应当用并行的办法,用多线程同时读取和处理数据,但Java写多线程程序很麻烦,并行分段读同一个文件时还要考虑调整边界,也比较麻烦。
本文共计571个文字,预计阅读时间需要3分钟。
提高文本读取效率,使用BufferedReader是一个不错的选择。速度最快的方法是MappedByteBuffer,但相较于BufferedReader,其效果并不明显。即便后者似乎更快,但也有限制。
简单提高文本读取效率,使用BufferedReader是个不错的选择。速度最快的方法是MappedByteBuffer,但是,相比BufferedReader而言,效果不是非常明显。也就是说,后者虽然快,但也快的有限(不要抱有性能提升几倍的幻想)。
对于大文本的读取,性能瓶颈主要在IO,read占时间多是正常的,硬盘本身就不快,读入内存后还要转成对象,都比较耗时间。
想要提速应当用并行的办法,用多线程同时读取和处理数据,但Java写多线程程序很麻烦,并行分段读同一个文件时还要考虑调整边界,也比较麻烦。

