luciddb导入

jimn1982

在搞什么？貌似与TIMESTEN有关？

〇〇

jimn1982 发表于 2012-10-1 15:43
在搞什么？貌似与TIMESTEN有关？

没关。

〇〇

Tips to improve load
(by Nicholas Goodman)

Raise the ceiling:

alter system set "cachePagesMax" = 131072;

2. Restart LucidDB

3. Change cachePagesInit:

alter system set "cachePagesInit" = 131072;
I preallocated a 100GB db.dat (./lucidDbAlloc). Second, make sure you have cachePagesMax and cachePagesInit set to a reasonable setting. I used 131072 for most server installations for both values.

I generated a 10GB dataset (to test the DDL I'm sending to you) tonight. In order to get parallel loading you have to split the file, and then create a view to UNION ALL it. I used the command line “split” to split the file into 8 parts, duplicated the .bcp files, and then create a view like:

create view ssb.lineorder_source as select * from ssb.”lineorder1” UNION ALL select * from ssb.”lineorder2” UNION ALL select * from ssb.”lineorder3” UNION ALL select * from ssb.”lineorder4” UNION ALL select * from ssb.”lineorder5” UNION ALL select * from ssb.”lineorder6” UNION ALL select * from ssb.”lineorder7” UNION ALL select * from ssb.”lineorder8”;

〇〇

〇〇 发表于 2012-10-7 21:28
Tips to improve load
(by Nicholas Goodman)

Star Schema Benchmark is variation of TPC-H with star-schema database design.

• Benchmark specification
  
• Files (external link)
  
  

In this run I use scale factor 1000, which gives about 610GB of raw text files with data

[url=]Load time[/url]

InfoBright	InfiniDB	LuciDB	MonetDB
total: 862m59.538s ( 51779 sec )	400m10.814s (24010 sec)	140736 sec (w/o indexes)	710m5.268sec ( 42608 sec) (w/o indexes)
lineitem 851m47.869s			706m15.405s
customers 8m18.600s			2m54.698s
supplier 2m39.031s			0m46.885s
part 0m13.841s			0m8.178s
dates 0m0.197s			0m0.102s

[url=]DataSize[/url]

Original	InfoBright	InfiniDB	LucidDB	MonetDB
610G	112G	626G	127G (w/o indexes)	650G

[url=]Query Time[/url]

Query	InfoBright	InfiniDB	LucidDB	MonetDB
Q1.1	48 min 21.67 sec (2901.67 sec)	24 min 26.05 sec (1466.05 sec)	3503.792 sec	6130.704 sec
Q1.2	44 min 55.37 sec (2695.37 sec)	24 min 25.83 sec (1465.83 sec)	2889.903 sec
Q1.3	45 min 53.49 sec (2753.49 sec)	24 min 27.25 sec (1467.25 sec)	2763.464 sec
Q2.1	1 hour 54 min 27.74 sec (6867.74)	19 min 44.35 sec (1184.35 sec)	9694.534 sec
Q2.2	1 hour 13 min 33.15 sec (4413.15)	19 min 49.56 sec (1189.56 sec)	9399.965 sec
Q2.3	1 hour 8 min 23.41 sec (4103.41)	19 min 52.27 sec (1192.25 sec)	8875.349 sec
Q3.1	NA	19 min 11.23 sec (1151.23 sec)	16376.93 sec
Q3.2	3 hours 30 min 17.64 sec (12617.64 sec)	19 min 28.55 sec (1168.55 sec)	5560.977 sec
Q3.3	2 hours 58 min 18.87 sec (10698.87 sec)	19 min 58.29 sec (1198.29 sec)	2517.621 sec
Q3.4	1 hour 41 min 41.29 sec (6101.29 sec)	12 min 57.96 sec (777.96 sec)	686.202 sec
Q4.1	8 hours 53 min 52.55 sec (32032.55 sec)	32 min 57.49 sec (1977.49 sec )	19843.213 sec
Q4.2	5 hours 38 min 7.60 sec / 5 hours 36 min 35.69 sec (20195.69 sec)	33 min 35.45 sec (2015.45 sec)	15292.648 sec
Q4.3	12 hours 58 min 4.27 sec (46684.27 sec)	33 min 47.32 sec (2027.32 sec)	7241.791 sec

〇〇

LucidDB notes for SSB benchmark
dba_system_parameters
0: jdbc:luciddb:http://localhost> select * from sys_root.dba_system_parameters;
+---------------------------------+-------------------------------------+
|           PARAM_NAME            |             PARAM_VALUE             |
+---------------------------------+-------------------------------------+
| fennelDisabled                  | false                               |
| userCatalogEnabled              | false                               |
| codeCacheMaxBytes               | 2000000                             |
| checkpointInterval              | 0                                   |
| serverRmiRegistryPort           | -1                                  |
| serverSingleListenerPort        | -1                                  |
| calcVirtualMachine              | CALCVM_JAVA                         |
| javaCompilerClassName           | org.eigenbase.javac.JaninoCompiler  |
| connectionTimeoutMillis         | 86400000                            |
| serverHttpPort                  | -1                                  |
| databaseInitSize                | 2000                                |
| databaseIncrementSize           | 1000                                |
| databaseMaxSize                 | 0                                   |
| tempInitSize                    | 3000                                |
| tempIncrementSize               | 1000                                |
| tempMaxSize                     | 0                                   |
| databaseShadowLogInitSize       | 2000                                |
| databaseShadowLogIncrementSize  | 1000                                |
| databaseTxnLogInitSize          | 2000                                |
| databaseTxnLogIncrementSize     | 1000                                |
| cachePagesMax                   | 131072                              |
| cachePagesInit                  | 131072                              |
| cachePageSize                   | 32768                               |
| groupCommitInterval             | 0                                   |
| resourceDir                     | ${FARRAGO_HOME}/catalog/fennel      |
| jniHandleTraceFile              |                                     |
| expectedConcurrentStatements    | 4                                   |
| cacheReservePercentage          | 5                                   |
| deviceSchedulerType             | aioLinux                            |
| freshmenPageQueuePercentage     | 25                                  |
| pageHistoryQueuePercentage      | 100                                 |
| prefetchPagesMax                | 12                                  |
| prefetchThrottleRate            | 10                                  |
| processorCacheBytes             | -1                                  |
+---------------------------------+-------------------------------------+
34 rows selected (1.421 seconds)

yisildeai

luciddb 支持update 操作么?