搜索结果
查询Tags标签： dremio，共有 17条记录-
dremio odbc 驱动包下载说明
dremio 就在5月底左右的时候，对于odbc 驱动停止了下载，目前在dremio 社区网站有不大好人员反馈了，总的来说是很不好对于数据处理领域基于python （会使用到odbc）是不少的，而且问题也不少，就看后边官方如何解决了，我整理了一些自己已经下载好的driver，同时放到gith…
2022/7/23 6:24:11 人评论 次浏览 -
使用odbc 提升cube.js 查询dremio 的性能
主要是一个技术说明，后续开发相关的driver 原理 dremio 是支持obdc 访问的，odbc 是比直接的http 访问有更快的性能,而且可以使用更加标准的sql 查询 参考处理 社区已经有了完整的实现node-odbc 我们可以使用来使用 参考demo dremio 的odbc 需要先安装，具体参考官方文档…
2022/3/22 6:29:31 人评论 次浏览 -
dremio ConnectionConf 接口说明
基本所有dremio 的存储扩展的配置管理都会使用此类 参考类图定 ConnectionConf 继承了AbstractConnectionConf 功能比较简单，主要是提供了获取类型，以及转换为字节字符串 获取类型部分使用了dremio 的注解（开发扩展会包含一个注解，设计还是比较巧妙的，简化了注解的处…
2022/3/8 23:17:57 人评论 次浏览 -
dremio arp BaseTestQuery 类windows 系统问题
对于开发的dremio arp 扩展，我们很多时候需要进行测试，官方是提供了一个BaseTestQuery的类，可以方便的编写测试但是此类默认会创建hadoop 相关的东西，使用起来还是很费事的，一般我们开发jdbc arp 扩展的时候是不会使用hadoop的所以应该禁用，参考官方修改了一个去掉h…
2022/3/5 7:15:08 人评论 次浏览 -
dremio 源码分析学习的几个方便工具
很多时候我们需要开发自己的dremio 扩展（jdbc arp 扩展，存储扩展，格式扩展），dremio 代码相对是比较多的学习起来还是不好弄的，但是我们可以结合一些工具简化我们代码的问题 可选工具arthas 使用此工具可以很好的了解调用链（方便对于调用链分析） jprofiler 很多时候…
2022/3/2 20:49:33 人评论 次浏览 -
dremio 查询sql 执行参考流程
以下只列出部分关于sql 处理的调用链，方便学习以及开发自己的扩展 sql 查询流程 这个是一个关于后台反射的处理过程schema 获取的 参考开发处理 比如我们需要自己开发一个支持jdbc 驱动的arp 扩展，参考流程 （以下几个函数是我们需要实现的）很多时候不见得就必须通过in…
2022/2/25 2:22:45 人评论 次浏览 -
dremio的分布式存储简单说明
dremio 的pdfs 在系统中是一个比较重要的东西，dremio 的加速，上传，下载，查询结果，scratch 空间都是存储在这个里边的，没有配置的话，默认是在 paths.local 中, 同时官方支持多种文件存储（nas，hdfs，mapr-fs，s3，azure data lake，azure storage）而且dremio 基于…
2022/2/14 23:13:54 人评论 次浏览 -
dremio mysql arp integer 超出最大值的问题
这个问题在dremio 社区中有人提到，而且最近也发现了类似的问题，经过大致分析，主要是以前引起的 原因mysql arp mysql 数据类型与apache calcite 不一致 主要问题的mysql 定义无符号的int 类型时候，解决方法可以通过修改arp yaml 文件中定义的数据类型映射说明 目前dre…
2021/10/17 2:09:31 人评论 次浏览 -
dremio mysql arp integer 超出最大值的问题
这个问题在dremio 社区中有人提到，而且最近也发现了类似的问题，经过大致分析，主要是以前引起的 原因mysql arp mysql 数据类型与apache calcite 不一致 主要问题的mysql 定义无符号的int 类型时候，解决方法可以通过修改arp yaml 文件中定义的数据类型映射说明 目前dre…
2021/10/17 2:09:31 人评论 次浏览 -
dremio 反射支持小于小时的处理
问题 默认dremio 社区版支持的数据反射最小是1小时，实际中很多是不太方便的，官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写，同时oss 版本的ui 是写死的 配置。。。 解决方法 添加支持key 同时修改ui，ui 的修改可以直接修改…
2021/9/5 6:08:06 人评论 次浏览 -
dremio 反射支持小于小时的处理
问题 默认dremio 社区版支持的数据反射最小是1小时，实际中很多是不太方便的，官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写，同时oss 版本的ui 是写死的 配置。。。 解决方法 添加支持key 同时修改ui，ui 的修改可以直接修改…
2021/9/5 6:08:06 人评论 次浏览 -
dremio 内置support key 说明
目前官方文档不是很全，好多support key 是没有包含的，以下是从官方代码支持的 可以方便进行dremio 的管理（比如一些官方暂时没有说明的key。。。） 参考 代码路径: sabot/kernel/src/main/java/com/dremio/exec/planner/physical/PlannerSettings.javakernel@Optionsp…
2021/9/5 6:07:37 人评论 次浏览 -
dremio 内置support key 说明
目前官方文档不是很全，好多support key 是没有包含的，以下是从官方代码支持的 可以方便进行dremio 的管理（比如一些官方暂时没有说明的key。。。） 参考 代码路径: sabot/kernel/src/main/java/com/dremio/exec/planner/physical/PlannerSettings.javakernel@Optionsp…
2021/9/5 6:07:37 人评论 次浏览 -
dremio 17 混合类型的问题
混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明 参考解决方法禁用基于support keystore.disable.mixed_types 参考解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的）说明 dremio 18 也即将发布，而且混合类型即将…
2021/9/3 23:08:43 人评论 次浏览 -
dremio 17 混合类型的问题
混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明 参考解决方法禁用基于support keystore.disable.mixed_types 参考解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的）说明 dremio 18 也即将发布，而且混合类型即将…
2021/9/3 23:08:43 人评论 次浏览
