数据治理

Oracle 20c 新特性:原生的区块链支持 Native Blockchain tables

按照Oracle的版本策略,在2020年将会发布Oracle Database 20c版本。那么在这个版本中将会发布哪些新特性呢?在 2019 Oracle OOW大会上,一些新特性已经被展示出来。新特性之一:原生的区块链支持 (Native Blockchain tables)。众所周知,Oracle数据库具有融合一切的能力,以前不断吸纳的能力包括XMLDB,JSON支持,列式存储,内存数据库,

kingsql
数据治理
377
2020-05-27 10:21

Oracle 20c 新特性:自主的 In-Memory 管理 - Self-Managing

In-Memory 技术引入之后,为Oracle数据库带来了基于内存的列式存储能力,支持 OLTP 和 OLAP 混合的计算。在 20c 中,Oracle 支持了自主的In-Memory 管理,通过一个简单的初始化参数 inmemory_automatic_level 设置,DBA将不再需要人工指定将哪些数据表放置在内存中,数据库将自动判断需要将哪些对象加入或驱逐出In-Memory的列式存储中。

kingsql
数据治理
341
2020-05-27 10:16

掌阅科技在风口下的焦虑

掌阅科技在风口下的焦虑

蛇眼财经
数据治理
427
2020-05-08 10:11

使用持续集成工具Jenkins进行Kettle作业调度

Jenkins是一个开源的持续集成工具,用于监控持续重复的工作,其主要目的是监控软件开发流程,使整个集成过程自动化。用JAVA开发,因此需要事先安装配置好JAVA环境,下载安装较新版本的JDK,并配置好JAVA环境变量。可以利用该工具进行ETL作业如Kettle作业的后台调度。 Jenkins的下载和安装下载地址:https://jenkins.io/download/使用默认安装路径,软件默认

llnnmc
数据治理
724
2019-12-15 16:10

记一次SQL Server删除SQL调优

今天测试反应问题,性能测试环境一个脚本执行了大约3个小时没有出结果,期间其他dba已经建立了一些索引但是没有效果。语句:DELETE T  from License T  WHERE exists (select 1 from  #i_RollbackTrans r where r.LicenseID= T.LicenseID)表License数据量4千万表#i_Ro

宅慕思_
数据治理
471
2019-10-15 09:59

蚂蚁金服自研数据库OceanBase如何登顶TPC-C

10 月 2 日,国际事务处理性能委员会(TPC)宣布:在最新发布的 TPC-C 排行榜中,蚂蚁金服自研数据库 OceanBase 位列第一。InfoQ 记者第一时间采访到蚂蚁金服研究员、OceanBase 主架构师杨传辉(日照),请他解读这份 TPC-C 榜单,同时介绍 OceanBase 积累九年多才正式参与 TPC-C 打榜的过程和意义。请从专业性和权威性,参与标准和参与流程上,介绍一下 T

支付宝技术团队
数据治理
451
2019-10-09 16:51

主备都是全新的恢复,主主搭建步骤

1.172.17.16.8 tar备份copy到跳板机14:42  16:23  100minscp 172.17.16.8:/home/mysql/DBbackup/bk_newoa/20190116.tar /data/hua/2. 从跳板机copy至172.19.53.149&53.150  16:32  15minscp /data/hua/

ginni_hua
数据治理
492
2019-09-29 17:13

消灭 Java 代码的“坏味道”

明代王阳明先生在《传习录》谈为学之道时说:私欲日生,如地上尘,一日不扫,便又有一层。着实用功,便见道无终穷,愈探愈深,必使精白无一毫不彻方可。代码中的"坏味道",如"私欲"如"灰尘",每天都在增加,一日不去清除,便会越累越多。如果用功去清除这些"坏味道",不仅能提高自己的编码水平,也能使代码变得"精白无一毫不

大涛学长
数据治理
476
2019-09-16 14:58

另一个视角,使用对数化数据,计算非价位指标

之前在做时序数据整理时候学习时候,发现很多代码都行情数据做了对数化处理。学习了下,发现是另一个视角。https://www.zhihu.com/question/20831196/answer/16324269知乎查了,这个答案比较全。在很多计算中(例如做极大似然的时候),取对数可以将本来需要做的乘法变成加法;取对数可以避免数值巨大,计算机难于处理的困难;与对数有关的数据可以反映出物理量尺度的变化

张国平
数据治理
619
2019-07-19 13:18

pandas 的几个查询方法

import  os, sysimport numpyt as npimport   pandas  as pd 读取excel 表格. res=pd.DataFrame(pd.read_excl(file_name))res= pd.read_csv写 excle   res.to_excel(file_name)&

babyyellow
数据治理
1574
2019-07-16 14:34

制定灾备计划时要考虑的10个问题

每年的3月31日,世界各地的IT专业人士都会庆祝世界备份日,这引起了全世界对数据备份的重视,设立世界备份日的目的是通过确保实施并遵循备份计划来保护我们的数据。尽管人们已经有方面的意识,但令人难以置信的是,还是有很多因不当备份造成的数据丢失问题时有发生,包括那些设置正确但不能确认所创备份是否可行的问题。那么,怎样避免上述问题呢?答案是备份数据或开发“灾难恢复计划(DRP)”。这很简单,只要您清楚要备

安全频道
数据治理
2738
2019-04-12 17:45

2019值得关注的数据可视化工具TOP5

数据可视化在数据分析过程中的扮演着非常重要的角色。对于数据科学家或数据分析师来说,以更直观、便于查看、甚至更吸引人的视觉效果来呈现数据是很重要的。

应用开发频道
数据治理
2815
2019-04-08 18:13

安排!活动素材的亿级用户精准投放

随着闲鱼用户快速增长,运营活动越来越趋于精细和个性化,运营会根据用户偏好为其投放合适的活动,如下图所示在闲鱼首页商品展示时,会在商品的列表中插入活动Banner,通过这些活动banner引导用户进入到相应活动会场,实现会场导流。

闲鱼技术
数据治理
939
2019-02-28 13:25

美团酒旅起源数据治理平台的建设与实践

作为一家高度数字化和技术驱动的公司,美团非常重视数据价值的挖掘。在公司日常运行中,通过各种数据分析挖掘手段,为公司发展决策和业务开展提供数据支持。经过多年的发展,美团酒旅内部形成了一套完整的解决方案,核心由数据仓库+各种数据平台的方式实现。其中数据仓库整合各业务线的数据,消灭数据孤岛;各种数据平台拥有不同的特色和定位,

美团技术团队
数据治理
1078
2019-01-03 16:30

单元测试时静态方法注意点

Mockito 很强大, 但是它不支持静态方法.所以, 就用Powermock了. 要测试的对象是Controller中的接口, 对单元测试来说, 这个待测试的街口应该是一个白盒的. 所以, 其中的第三方(service,其他静态类)的调用都应该使用mock对象来stub起来. 下面是## 示例代码(随手写的,说明问题就行):Controller:  @Controllerpublic&

Tybyq
数据治理
416
2018-11-21 17:47

Top 7大开源数据可视化分析工具!

目前,我们可以在市场上找到很多用于网络分析的开源工具,例如NetworkX,R和Gephi中的iGraph包等。在所有工具中,Gephi一直以来被认为是最值得推荐的工具,它可以帮助用户轻松实现超过十万个节点的可视化。但是,除了Gephi,还有很多免费开源工具可供选择,本文列出了顶级的七大数据可视化分析工具,可帮助企业分析并梳理数据之间的关系。

数据治理频道
数据治理
1548
2018-11-12 17:39

信息的存储及整数表示

前面已经提到过信息=位+上下文,但是基本上的计算机都没有将位作为最小的可寻址单位,而是将字节作为了最小的可寻址单位,内存就是一个非常大的字节数组,它的的每个字节都由一个唯一的数字来标识(这个数字是不需要存的),所有可能的地址集合就是虚拟地址空间。

刘小绪同学
数据治理
437
2018-10-31 16:25

分组?原来你是玩儿真的!

数据计算中,分组绝对是最常用的计算方式之一,相应的,在SQL语言中,自然会用到group by了。但是,不知道你想过没有,SQL中的group by并不能算是“纯粹”的分组,它实际上并不是针对原始数据分组,而是将结果集分组,最终是为了实现5类聚合计算:min/max/avg/count/sum,而单独使用group by没有任何意义,只是相当于按照group by的条件进行了排序而已。但实际的数据

raqsoft
数据治理
464
2018-08-27 15:04

有了金刚钻,不惧瓷器活 | 在数据文件上轻松使用SQL

SQL,在数据处理和分析领域基本上类似“普通话”的地位,几乎是一项必备的能力,但是要使用SQL,又离不开关系数据库系统,也就是RDBMS,这就好比普通话主要还是得在中国说才管用。当然,如果为了去英国美国,学个英语还算值,这就像学个Python、Hadoop,出去找工作也算是个技能。但是如果要在一般的文本数据,或者Excel表格上作分析,就像是去个基里巴斯之类的小国家,为了能够愉快的购物,难道还要卷

raqsoft
数据治理
741
2018-08-23 16:13

浅解比 SQL 更好用的 SPL(二)

从SQL到SPL基本查询语法迁移 之多表操作上一篇我们针对单表的情形了解了如何把数据计算从SQL查询迁移到集算器,或者更准确地说,迁移到集算器所使用的SPL集算语言。这个迁移过程,既有相同的概念,也有不同的思路。接下来,我们一起针对多表的情况看一下集算器和SPL语言是如何发挥更大的优势的。JOIN连接两个记录在前面的例子中,我们得到了每个雇员的销售额,如果进一步还想知道每个雇员给出的最小

raqsoft
数据治理
378
2018-08-21 11:39
推荐课程