数据治理

开启算力新时代——构建绿色数据中心,加速实现“双碳”目标

2021年全国两会,“碳达峰、碳中和”被首次写入政府工作报告。“双碳”目标,作为一场广泛而深刻的经济社会系统性变革,必将有力地推进经济社会发展全面向绿色转型。同时,低碳与可持续发展将成为高价值数据中心的重要参考指标。

云计算频道
数据治理
2022-06-27 15:10

【OceanBase征文】OCEANBASE 2.2 体验:用JMETER测试OCEANBASE性能

测试方法。测试OceanBase集群性能的方法有很多,如sysbench、benchmarksql。不过如果想对比OceanBase数据库跟传统数据库、其他友商分布式数据库产品的性能差异,还需要找到一个能适用彼此的测试方案。sysbench的功能太弱,且只有0.4 支持ORACLE,不同版本的sql还不完全一样。benchmarksql倒是很合适,有一定业务模型,且标准简单容易统一比较。不过如果客

a790864251
数据治理
2022-04-27 07:53

Oracle 20c 新特性:原生的区块链支持 Native Blockchain tables

按照Oracle的版本策略,在2020年将会发布Oracle Database 20c版本。那么在这个版本中将会发布哪些新特性呢?在 2019 Oracle OOW大会上,一些新特性已经被展示出来。新特性之一:原生的区块链支持 (Native Blockchain tables)。众所周知,Oracle数据库具有融合一切的能力,以前不断吸纳的能力包括XMLDB,JSON支持,列式存储,内存数据库,

kingsql
数据治理
2020-05-27 10:21

Oracle 20c 新特性:自主的 In-Memory 管理 - Self-Managing

In-Memory 技术引入之后,为Oracle数据库带来了基于内存的列式存储能力,支持 OLTP 和 OLAP 混合的计算。在 20c 中,Oracle 支持了自主的In-Memory 管理,通过一个简单的初始化参数 inmemory_automatic_level 设置,DBA将不再需要人工指定将哪些数据表放置在内存中,数据库将自动判断需要将哪些对象加入或驱逐出In-Memory的列式存储中。

kingsql
数据治理
2020-05-27 10:16

使用持续集成工具Jenkins进行Kettle作业调度

Jenkins是一个开源的持续集成工具,用于监控持续重复的工作,其主要目的是监控软件开发流程,使整个集成过程自动化。用JAVA开发,因此需要事先安装配置好JAVA环境,下载安装较新版本的JDK,并配置好JAVA环境变量。可以利用该工具进行ETL作业如Kettle作业的后台调度。 Jenkins的下载和安装下载地址:https://jenkins.io/download/使用默认安装路径,软件默认

llnnmc
数据治理
2019-12-15 16:10

记一次SQL Server删除SQL调优

今天测试反应问题,性能测试环境一个脚本执行了大约3个小时没有出结果,期间其他dba已经建立了一些索引但是没有效果。语句:DELETE T  from License T  WHERE exists (select 1 from  #i_RollbackTrans r where r.LicenseID= T.LicenseID)表License数据量4千万表#i_Ro

宅慕思_
数据治理
2019-10-15 09:59

蚂蚁金服自研数据库OceanBase如何登顶TPC-C

10 月 2 日,国际事务处理性能委员会(TPC)宣布:在最新发布的 TPC-C 排行榜中,蚂蚁金服自研数据库 OceanBase 位列第一。InfoQ 记者第一时间采访到蚂蚁金服研究员、OceanBase 主架构师杨传辉(日照),请他解读这份 TPC-C 榜单,同时介绍 OceanBase 积累九年多才正式参与 TPC-C 打榜的过程和意义。请从专业性和权威性,参与标准和参与流程上,介绍一下 T

支付宝技术团队
数据治理
2019-10-09 16:51

消灭 Java 代码的“坏味道”

明代王阳明先生在《传习录》谈为学之道时说:私欲日生,如地上尘,一日不扫,便又有一层。着实用功,便见道无终穷,愈探愈深,必使精白无一毫不彻方可。代码中的"坏味道",如"私欲"如"灰尘",每天都在增加,一日不去清除,便会越累越多。如果用功去清除这些"坏味道",不仅能提高自己的编码水平,也能使代码变得"精白无一毫不

大涛学长
数据治理
2019-09-16 14:58

另一个视角,使用对数化数据,计算非价位指标

之前在做时序数据整理时候学习时候,发现很多代码都行情数据做了对数化处理。学习了下,发现是另一个视角。https://www.zhihu.com/question/20831196/answer/16324269知乎查了,这个答案比较全。在很多计算中(例如做极大似然的时候),取对数可以将本来需要做的乘法变成加法;取对数可以避免数值巨大,计算机难于处理的困难;与对数有关的数据可以反映出物理量尺度的变化

张国平
数据治理
2019-07-19 13:18

pandas 的几个查询方法

import  os, sysimport numpyt as npimport   pandas  as pd 读取excel 表格. res=pd.DataFrame(pd.read_excl(file_name))res= pd.read_csv写 excle   res.to_excel(file_name)&

babyyellow
数据治理
2019-07-16 14:34

制定灾备计划时要考虑的10个问题

每年的3月31日,世界各地的IT专业人士都会庆祝世界备份日,这引起了全世界对数据备份的重视,设立世界备份日的目的是通过确保实施并遵循备份计划来保护我们的数据。尽管人们已经有方面的意识,但令人难以置信的是,还是有很多因不当备份造成的数据丢失问题时有发生,包括那些设置正确但不能确认所创备份是否可行的问题。那么,怎样避免上述问题呢?答案是备份数据或开发“灾难恢复计划(DRP)”。这很简单,只要您清楚要备

安全频道
数据治理
2019-04-12 17:45

2019值得关注的数据可视化工具TOP5

数据可视化在数据分析过程中的扮演着非常重要的角色。对于数据科学家或数据分析师来说,以更直观、便于查看、甚至更吸引人的视觉效果来呈现数据是很重要的。

应用开发频道
数据治理
2019-04-08 18:13

安排!活动素材的亿级用户精准投放

随着闲鱼用户快速增长,运营活动越来越趋于精细和个性化,运营会根据用户偏好为其投放合适的活动,如下图所示在闲鱼首页商品展示时,会在商品的列表中插入活动Banner,通过这些活动banner引导用户进入到相应活动会场,实现会场导流。

闲鱼技术
数据治理
2019-02-28 13:25

美团酒旅起源数据治理平台的建设与实践

作为一家高度数字化和技术驱动的公司,美团非常重视数据价值的挖掘。在公司日常运行中,通过各种数据分析挖掘手段,为公司发展决策和业务开展提供数据支持。经过多年的发展,美团酒旅内部形成了一套完整的解决方案,核心由数据仓库+各种数据平台的方式实现。其中数据仓库整合各业务线的数据,消灭数据孤岛;各种数据平台拥有不同的特色和定位,

美团技术团队
数据治理
2019-01-03 16:30

单元测试时静态方法注意点

Mockito 很强大, 但是它不支持静态方法.所以, 就用Powermock了. 要测试的对象是Controller中的接口, 对单元测试来说, 这个待测试的街口应该是一个白盒的. 所以, 其中的第三方(service,其他静态类)的调用都应该使用mock对象来stub起来. 下面是## 示例代码(随手写的,说明问题就行):Controller:  @Controllerpublic&

Tybyq
数据治理
2018-11-21 17:47