让CarbonData使用更简单

  • 时间:
  • 浏览:2

启动Spark Streaming写入数据

新建一有有两个多文件,/tmp/streaming-test-carbondata.json,内容如下:

查询依据:

hdfs-site.xml

新建文件 /tmp/hdfs-site.xml,已经 写入如下内容:

CarbonData 使用了Hive的MetaStore。

运行即可(spark 1.6 都还可以)

CarbonData的使用

我前一天写过一篇使用的文章。CarbonData集群模式体验。到0.3.0版本,肯能把kettle上加了,已经 我提交的PR肯能不利于让其在Spark Streaming中运行。前一天将其集成到StreamingPro中,还可以简单通过配置即可完成数据的流式写入和作为SQL服务被读取。

Apache CarbonData是本身生活新的高性能数据存储格式,针对当前大数据领域分析场景需求各异而是因为着的存储冗余问题报告 ,CarbonData提供了本身生活新的融合数据存储方案,以一份数据一起去支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景,并通不要 级索引、字典编码、列存等社会形态提升了IO扫描和计算性能,实现百亿数据级秒级响应。

引用官方的说法:

肯能/tmp/carbondata/store/default/ 目录生成了文件就代表数据肯能写入。

肯能放满PostMan类似的东西里,是那末 子的:

则是肯能在你的环境里找到了hadoop相关的配置文件,比如hdfs-site.xml类似的。上加肯能自己写一有有两个多,比如新建一有有两个多 hdfs-site.xml,已经 写入如下内容:

新建一有有两个多/tmp/empty.json文件,内容为:

常见问题报告

肯能老出类似

  • MySQL数据库
  • hive-site.xml 文件
  • 下载StreamingPro with CarbonData
MySQL

创建一有有两个多库:

那末 就会读本地文件了。

启动命令: