StreamingPro是否兼容类似SQL的Domain Specific Language（DSL）？

本文共计526个文字，预计阅读时间需要3分钟。

前言：受Spark SQL在喜马拉雅的使用之xql启发，本文将探讨类似语法在处理MySQL表时的应用。

我发现，这种语法是极好的：

sql// 加载MySQL表load jdbc.`mysql1.tb_v_user` as mysql_tb_user;// 处理后映射成Spark临时表select * from mysql_tb_user;

前言

受​​spark sql在喜马拉雅的使用之xql ​​ 这篇文章影响，我发现类似下面这种语法是极好的：

//加载mysql表load jdbc.`mysql1.tb_v_user` as mysql_tb_user;//处理后映射成spark临时表select * from mysql_tb_user limit 100 as result_csv;//保存到文件里save result_csv as csv.`/tmp/todd/csv_test`;//加载文件load csv.`/tmp/todd/csv_test` as csv_input;//处理文件select * from csv_input limit 10 as csv_input_result;//再次保存结果，并且设置分区字段save csv_input_result as json.`/tmp/todd/result_json` partitionBy uid;

核心是load,select,save 三个语法动作。这个用来做ETL会更加方便。而且和Spark SQL Server 结合，会显得更有优势，不用每次启动向Yarn申请资源。所以这里也仿照了一套。