求助 oracle like%..%模糊查询优化

vfast21

Yong Huang 发表于 2014-10-10 22:33
By the way, why is your index not partitioned?

Your 40-second response time (see msg #1) must be  ...

测试数据库
SQL> select component,current_size,min_size from v$sga_dynamic_components;

COMPONENT            CURRENT_SIZE   MIN_SIZE
-------------------- ------------ ----------
shared pool            1476395008 1207959552
large pool               67108864   67108864
java pool                67108864   67108864
streams pool             67108864   67108864
DEFAULT buffer cache   3154116608 3019898880
KEEP buffer cache               0          0
RECYCLE buffer cache            0          0
DEFAULT 2K buffer ca            0          0
che

DEFAULT 4K buffer ca            0          0

走组合索引过滤车牌号的时候产生了很多的逻辑读。

sundog315

2、现在经理逼着我不管时间范围，查询数据量一亿，还要快速出结果。

有这个需求，还怎么搞？

vfast21

sundog315 发表于 2014-10-11 16:11
2、现在经理逼着我不管时间范围，查询数据量一亿，还要快速出结果。

有这个需求，还怎么搞？

嗯嗯，现在我按一个月一亿数据来考虑，数据保留三个月。

Yong Huang

Why is your index not partitioned?

How much memory does the server have? Show us:
select * from v$osstat;
or type 'free' on command line (if it's Linux). Since you have a 3GB buffer cache, I suppose you don't have enough memory. Get a bigger box, with at least 64 GB RAM to meet the requirement and configure at least 40 GB as buffer cache.

If you have ASMM configured, "show parameter sga".

abao2000521

1亿的数据量，通过主键找都需要1秒。何况是用like‘‘%%’’。
希望有大师给你一个好的解决方案.

Yong Huang

I tried to create a text index with chinese_lexer. But it doesn't seem to be what you want, unless I didn't get it right.

create table testcn (x varchar2(30));
insert into testcn values ('你好,川ABC123');
exec ctx_ddl.create_preference('chinese_lexer_pref', 'chinese_lexer')
exec ctx_ddl.set_attribute('chinese_lexer_pref', 'mixed_case_ASCII7', 'TRUE')
create index testcn_i on testcn (x) indextype is ctxsys.context parameters ('lexer chinese_lexer_pref');
select token_text from dr$testcn_i$i;

The last query shows 3 tokens (i.e. search keywords) have been created: ABC123, 你好, 川. Your application query would be like

select * from testcn where contains(x, 'ABC123') > 0;
select * from testcn where contains(x, '川') > 0;

Unfortunately, the following doesn't return anything:
select * from testcn where contains(x, 'BC123') > 0;
or even a fuzzy search ("fuzzy" in the real sense as in Oracle's Text Reference documentation)
select * from testcn where contains(x, 'fuzzy(BC123,,,weight)', 1) > 0;

wolfop

别想了，加快io，exadata肯定可以

vfast21

wolfop 发表于 2014-10-16 16:56
别想了，加快io，exadata肯定可以

谢谢！

VipHop

不认为建立其他索引能解决问题，每个月的数据已经3000万，维护索引也是要成本的。 3000万的数据下来每天平均100万行数据，范围查询一天的数据走索引还要回表100万次了，3秒怎么能出结果。。。 我觉得改成日分区， like '%闽KWHWTQ%'  能改成 like '闽KWHWTQ%' 不回表还有点可能。。。

vfast21

VipHop 发表于 2014-11-6 00:01
不认为建立其他索引能解决问题，每个月的数据已经3000万，维护索引也是要成本的。 3000万的数据下来每天平均 ...

现在是要俩边都匹配%！郁闷！