为什么大数据平台在传统SQL层面要重新改写其数据处理方式？

本文共计4763个文字，预计阅读时间需要20分钟。

《篇首语：编程笔记》

篇首语：本文由编程笔记#自由互联小编为大家整理，主要介绍了为什么大数据平台要回归SQL相关的知识，希望对你有一定的参考价值。先说观点因为还没找到更

篇首语：本文由编程笔记#自由互联小编为大家整理，主要介绍了为什么大数据平台要回归SQL相关的知识，希望对你有一定的参考价值。

先说观点因为还没找到更好的。

接下来说原因首先来看看大数据平台都在干什么。

原因

结构化数据计算仍是重中之重

大数据平台主要是为了应对海量数据存储和分析的需求海量数据存储的确不假除了生产经营产生的结构化数据还有大量音视频等非结构化数据这部分数据很大占用的空间也很多有时大数据平台 80% 以上都存储着非结构化数据。不过数据光存储还不行只有利用起来才能产生价值这就要进行分析了。

大数据分析要分结构化和非结构化数据两部分讨论。

结构化数据主要是企业生产经营过程中产生的业务数据可以说是企业的核心以往在没有大数据平台的时候企业主要或全部在使用的就是这部分数据。随着业务的不断积累这部分数据也越来越大传统数据库方案面临很大挑战建设大数据平台自然要解决这部分核心数据分析问题。

有了大数据平台给大家的想象空间也大了起来以往无法利用的日志、图片、音视频等非结构化数据也要产生价值这就涉及到非结构化数据分析了。相对核心业务数据分析非结构化数据分析看起来更像是锦上添花。即使如此非结构化数据分析并不是孤立存在也还会伴随大量结构化数据处理。采集非结构化数据的同时常常会伴随着采集许多相关的结构化数据比如音视频的制作人、制作时间、所属类别、时长、…有些非结构化数据经过处理后也会转变成结构化数据比如网页日志中拆解出访问人 IP、访问时刻、关键搜索词等。