luciddbtpch测试脚本

〇〇

关闭服务
C:\Users\db2admin\Downloads\luciddb32\bin>lucidDbServer.bat
Server personality:  LucidDB
Loading database...
Starting network...
Server now listening for HTTP connections on port 8034; enter !quit to stop
!quit
Server shutting down...
Server sessions are still running; enter !kill or Control-C to force shutdown
!kill
Server shutting down...
Server shutdown complete

〇〇

0: jdbc:luciddb:http://localhost> !quit
Closing: de.simplicit.vjdbc.VirtualConnection
Error: Connection refused: connect (state=,code=0)
Closing: de.simplicit.vjdbc.VirtualConnection
Error: Connection refused: connect (state=,code=0)

〇〇

它的论坛中说，
For TPC-H, the db.dat file (incuding indexes) for scale factor 10 came
out to about 11.5GB. And for scale factor 30, it was about 3x that.  So
for scale factor 100, most likely it will be roughly 10x that.

temp.dat is harder to predict; if RAM is held fixed, it will probably be
worse than linear due to extra recursive partitioning levels and sort runs.

Note that currently, luciddb/test/sql/tpch/allocSpace.30G.sh allocates a
lot more space than is actually needed for db.dat; we're reducing that.

JVS

〇〇

0: jdbc:luciddb:http://localhost> select counter_name, counter_value
. . . . . . . . . . . . . . . . > from sys_root.dba_performance_counters order by counter_name;
+------------------------------------------+-------------------+
|               COUNTER_NAME               |   COUNTER_VALUE   |
+------------------------------------------+-------------------+
| CacheCheckpointWrites                    | 0                 |
| CacheCheckpointWritesSinceInit           | 0                 |
| CacheDirtyPages                          | 246               |
| CacheHits                                | 0                 |
| CacheHitsSinceInit                       | 3                 |
| CacheLazyWriteCalls                      | 0                 |
| CacheLazyWriteCallsSinceInit             | 885               |
| CacheLazyWrites                          | 0                 |
| CacheLazyWritesSinceInit                 | 4425              |
| CachePageIoRetries                       | 0                 |
| CachePageIoRetriesSinceInit              | 0                 |
| CachePagePrefetchesRejected              | 0                 |
| CachePagePrefetchesRejectedSinceInit     | 0                 |
| CachePagesAllocated                      | 5000              |
| CachePagesAllocationLimit                | 5000              |
| CachePagesGoverned                       | 4750              |
| CachePagesPrefetched                     | 0                 |
| CachePagesPrefetchedSinceInit            | 0                 |
| CachePagesRead                           | 0                 |
| CachePagesReadSinceInit                  | 4674              |
| CachePagesReserved                       | 0                 |
| CachePagesUnused                         | 325               |
| CachePagesWritten                        | 0                 |
| CachePagesWrittenSinceInit               | 4428              |
| CacheRequests                            | 0                 |
| CacheRequestsSinceInit                   | 4678              |
| CacheReservePercentage                   | 5                 |
| CacheVictimizationWrites                 | 0                 |
| CacheVictimizationWritesSinceInit        | 0                 |
| CacheVictimizations                      | 0                 |
| CacheVictimizationsSinceInit             | 0                 |
| DatabaseCheckpoints                      | 0                 |
| DatabaseCheckpointsSinceInit             | 1                 |
| DatabasePagesAllocated                   | 264667            |
| DatabasePagesExtendedSinceInit           | 0                 |
| DatabasePagesOccupiedHighWaterSinceInit  | 264930            |
| ExpectedConcurrentStatements             | 4                 |
| JvmMemoryAllocated                       | 266403840         |
| JvmMemoryAllocationLimit                 | 266403840         |
| JvmMemoryUnused                          | 188423432         |
| JvmNanoTime                              | 1237117685171478  |
| TempPagesAllocated                       | 0                 |
| TempPagesExtendedSinceInit               | 0                 |
| TempPagesOccupiedHighWaterSinceInit      | 4671              |
+------------------------------------------+-------------------+
44 rows selected (3.744 seconds)
0: jdbc:luciddb:http://localhost>

0: jdbc:luciddb:http://localhost> select * from sys_root.dba_system_parameters;
+---------------------------------+-------------------------------------+
|           PARAM_NAME            |             PARAM_VALUE             |
+---------------------------------+-------------------------------------+
| fennelDisabled                  | false                               |
| userCatalogEnabled              | false                               |
| codeCacheMaxBytes               | 2000000                             |
| checkpointInterval              | 0                                   |
| serverRmiRegistryPort           | -1                                  |
| serverSingleListenerPort        | -1                                  |
| calcVirtualMachine              | CALCVM_JAVA                         |
| javaCompilerClassName           | org.eigenbase.javac.JaninoCompiler  |
| connectionTimeoutMillis         | 86400000                            |
| serverHttpPort                  | -1                                  |
| databaseInitSize                | 2000                                |
| databaseIncrementSize           | 1000                                |
| databaseMaxSize                 | 0                                   |
| tempInitSize                    | 3000                                |
| tempIncrementSize               | 1000                                |
| tempMaxSize                     | 0                                   |
| databaseShadowLogInitSize       | 2000                                |
| databaseShadowLogIncrementSize  | 1000                                |
| databaseTxnLogInitSize          | 2000                                |
| databaseTxnLogIncrementSize     | 1000                                |
| cachePagesMax                   | 5000                                |
| cachePagesInit                  | 5000                                |
| cachePageSize                   | 32768                               |
| groupCommitInterval             | 0                                   |
| resourceDir                     | ${FARRAGO_HOME}/catalog/fennel      |
| jniHandleTraceFile              |                                     |
| expectedConcurrentStatements    | 4                                   |
| cacheReservePercentage          | 5                                   |
| deviceSchedulerType             | default                             |
| freshmenPageQueuePercentage     | 25                                  |
| pageHistoryQueuePercentage      | 100                                 |
| prefetchPagesMax                | 12                                  |
| prefetchThrottleRate            | 10                                  |
| processorCacheBytes             | -1                                  |
+---------------------------------+-------------------------------------+
34 rows selected (0.624 seconds)

〇〇

0: jdbc:luciddb:http://localhost> ANALYZE TABLE nation COMPUTE STATISTICS FOR ALL COLUMNS;
No rows affected (1.185 seconds)
0: jdbc:luciddb:http://localhost> ANALYZE TABLE region COMPUTE STATISTICS FOR ALL COLUMNS;
No rows affected (0.374 seconds)
0: jdbc:luciddb:http://localhost> ANALYZE TABLE supplier COMPUTE STATISTICS FOR ALL COLUMNS;
No rows affected (4.446 seconds)
0: jdbc:luciddb:http://localhost> ANALYZE TABLE customer COMPUTE STATISTICS FOR ALL COLUMNS;
No rows affected (75.473 seconds)
0: jdbc:luciddb:http://localhost> ANALYZE TABLE customer ESTIMATE  STATISTICS FOR ALL COLUMNS;
No rows affected (1.217 seconds)
0: jdbc:luciddb:http://localhost> ANALYZE TABLE part ESTIMATE  STATISTICS FOR ALL COLUMNS;
No rows affected (1.685 seconds)
0: jdbc:luciddb:http://localhost> ANALYZE TABLE partsupp ESTIMATE  STATISTICS FOR ALL COLUMNS;
No rows affected (5.616 seconds)
0: jdbc:luciddb:http://localhost> ANALYZE TABLE orders ESTIMATE  STATISTICS FOR ALL COLUMNS;
No rows affected (5.319 seconds)
0: jdbc:luciddb:http://localhost> ANALYZE TABLE lineitem ESTIMATE  STATISTICS FOR ALL COLUMNS;
No rows affected (43.493 seconds)

〇〇

分析后也没有提高

0: jdbc:luciddb:http://localhost> --3
0: jdbc:luciddb:http://localhost> SELECT O_ORDERPRIORITY, COUNT(*) AS ORDER_COUNT
. . . . . . . . . . . . . . . . > FROM ORDERS,
. . . . . . . . . . . . . . . . >      (SELECT L_ORDERKEY
. . . . . . . . . . . . . . . . >       FROM LINEITEM
. . . . . . . . . . . . . . . . >       WHERE L_COMMITDATE < L_RECEIPTDATE
. . . . . . . . . . . . . . . . >       GROUP BY L_ORDERKEY) AS TEMP
. . . . . . . . . . . . . . . . > WHERE
. . . . . . . . . . . . . . . . >     O_ORDERDATE >= DATE'1993-07-01' AND
. . . . . . . . . . . . . . . . >     O_ORDERDATE < DATE'1993-10-01' AND
. . . . . . . . . . . . . . . . >     O_ORDERKEY = TEMP.L_ORDERKEY
. . . . . . . . . . . . . . . . > GROUP BY O_ORDERPRIORITY
. . . . . . . . . . . . . . . . > ORDER BY O_ORDERPRIORITY;
+------------------+--------------+
| O_ORDERPRIORITY  | ORDER_COUNT  |
+------------------+--------------+
| 1-URGENT         | 105214       |
| 2-HIGH           | 104821       |
| 3-MEDIUM         | 105227       |
| 4-NOT SPECIFIED  | 105422       |
| 5-LOW            | 105356       |
+------------------+--------------+
5 rows selected (118.622 seconds)
0: jdbc:luciddb:http://localhost> explain plan for SELECT N_NAME, SUM(L_EXTENDEDPRICE * ( 1 - L_DISCOUNT)) AS REVENUE
. . . . . . . . . . . . . . . . > FROM CUSTOMER, ORDERS, LINEITEM, SUPPLIER, NATION, REGION
. . . . . . . . . . . . . . . . > WHERE
. . . . . . . . . . . . . . . . >     C_CUSTKEY = O_CUSTKEY AND
. . . . . . . . . . . . . . . . >     L_ORDERKEY = O_ORDERKEY AND
. . . . . . . . . . . . . . . . >     L_SUPPKEY = S_SUPPKEY AND
. . . . . . . . . . . . . . . . >     C_NATIONKEY = S_NATIONKEY AND
. . . . . . . . . . . . . . . . >     S_NATIONKEY = N_NATIONKEY AND
. . . . . . . . . . . . . . . . >     N_REGIONKEY = R_REGIONKEY AND
. . . . . . . . . . . . . . . . >     R_NAME = 'ASIA' AND
. . . . . . . . . . . . . . . . >     O_ORDERDATE >=  date '1994-01-01' AND
. . . . . . . . . . . . . . . . >     O_ORDERDATE < DATE '1995-01-01'
. . . . . . . . . . . . . . . . >         GROUP BY N_NAME
. . . . . . . . . . . . . . . . > ORDER BY REVENUE ;
+--------------------------------------------------------------------------------------------------------------------------------+
|                                                                                                                                |
+--------------------------------------------------------------------------------------------------------------------------------+
| FennelToIteratorConverter                                                                                                      |
|   FennelSortRel(key=[[1]], discardDuplicates=[false])                                                                          |
|     LhxAggRel(groupCount=[1], REVENUE=[SUM($1)])                                                                               |
|       IteratorToFennelConverter                                                                                                |
|         IterCalcRel(expr#0..6=[{inputs}], expr#7=[Reinterpret($t1)], expr#8=[CAST($t7)OUBLE NOT NULL], expr#9=[1], expr#10=[ |
|           FennelToIteratorConverter                                                                                            |
|             LhxJoinRel(leftKeys=[[0, 3]], rightKeys=[[0, 1]], joinType=[INNER])                                                |
|               FennelReshapeRel(projection=[[1, 2, 3, 5]], outputRowType=[RecordType(INTEGER NOT NULL L_SUPPKEY, DECIMAL(15, 2) |
|                 LhxJoinRel(leftKeys=[[0]], rightKeys=[[0]], joinType=[INNER])                                                  |
|                   LcsRowScanRel(table=[[LOCALDB, TPCH, LINEITEM]], projection=[[0, 2, 5, 6]], clustered indexes=[[SYS$CLUSTERE |
|                     LcsIndexMergeRel(consumerSridParamId=[0], segmentLimitParamId=[0], ridLimitParamId=[1])                    |
|                       LcsIndexSearchRel(table=[[LOCALDB, TPCH, LINEITEM]], index=[SYS$CONSTRAINT_INDEX$SYS$PRIMARY_KEY$LINEITE |
|                         FennelSortRel(key=[[0]], discardDuplicates=[false])                                                    |
|                           LcsRowScanRel(table=[[LOCALDB, TPCH, ORDERS]], projection=[[0]], clustered indexes=[[SYS$CLUSTERED_I |
|                             FennelValuesRel(tuples=[[{ '[', 1994-01-01, ')', 1995-01-01 }]])                                   |
|                   FennelReshapeRel(projection=[[0, 3]], outputRowType=[RecordType(INTEGER NOT NULL O_ORDERKEY, INTEGER NOT NUL |
|                     LhxJoinRel(leftKeys=[[1]], rightKeys=[[0]], joinType=[INNER])                                              |
|                       LcsRowScanRel(table=[[LOCALDB, TPCH, ORDERS]], projection=[[0, 1]], clustered indexes=[[SYS$CLUSTERED_IN |
|                         FennelValuesRel(tuples=[[{ '[', 1994-01-01, ')', 1995-01-01 }]])                                       |
|                       LcsRowScanRel(table=[[LOCALDB, TPCH, CUSTOMER]], projection=[[0, 3]], clustered indexes=[[SYS$CLUSTERED_ |
|               FennelReshapeRel(projection=[[0, 1, 3]], outputRowType=[RecordType(INTEGER NOT NULL S_SUPPKEY, INTEGER NOT NULL  |
|                 LhxJoinRel(leftKeys=[[1]], rightKeys=[[0]], joinType=[INNER])                                                  |
|                   LcsRowScanRel(table=[[LOCALDB, TPCH, SUPPLIER]], projection=[[0, 3]], clustered indexes=[[SYS$CLUSTERED_INDE |
|                   FennelReshapeRel(projection=[[0, 1]], outputRowType=[RecordType(INTEGER NOT NULL N_NATIONKEY, VARCHAR(25) CH |
|                     LhxJoinRel(leftKeys=[[2]], rightKeys=[[0]], joinType=[INNER])                                              |
|                       LcsRowScanRel(table=[[LOCALDB, TPCH, NATION]], projection=[[0, 1, 2]], clustered indexes=[[SYS$CLUSTERED |
|                       LcsRowScanRel(table=[[LOCALDB, TPCH, REGION]], projection=[[0]], clustered indexes=[[SYS$CLUSTERED_INDEX |
|                         FennelValuesRel(tuples=[[{ '[', 'ASIA', ']', 'ASIA' }]])                                               |
+--------------------------------------------------------------------------------------------------------------------------------+
28 rows selected (0.327 seconds)

〇〇

支持TABLESAMPLE
0: jdbc:luciddb:http://localhost> SELECT r_name, COUNT(*) FROM region TABLESAMPLE SYSTEM(10) GROUP BY r_name ORDER BY r_name;
+--------------+---------+
|    R_NAME    | EXPR$1  |
+--------------+---------+
| AFRICA       | 1       |
| AMERICA      | 1       |
| ASIA         | 1       |
| EUROPE       | 1       |
| MIDDLE EAST  | 1       |
+--------------+---------+
5 rows selected (1.373 seconds)

〇〇

抽样分析
0: jdbc:luciddb:http://localhost> ANALYZE TABLE region
. . . . . . . . . . . . . . . . > ESTIMATE STATISTICS
. . . . . . . . . . . . . . . . > FOR ALL COLUMNS
. . . . . . . . . . . . . . . . > sample 10 percent;
No rows affected (0.515 seconds)

〇〇

0: jdbc:luciddb:http://localhost> --6
0: jdbc:luciddb:http://localhost> SELECT SUM(L_EXTENDEDPRICE * L_DISCOUNT) AS REVENUE
. . . . . . . . . . . . . . . . > FROM LINEITEM
. . . . . . . . . . . . . . . . > WHERE
. . . . . . . . . . . . . . . . >     L_SHIPDATE >= DATE '1994-01-01' AND
. . . . . . . . . . . . . . . . >     L_SHIPDATE < date '1995-01-01' AND
. . . . . . . . . . . . . . . . >     L_DISCOUNT BETWEEN .06 - 0.01 AND .06 + 0.01 AND
. . . . . . . . . . . . . . . . >     L_QUANTITY <  24;
+------------------+
|     REVENUE      |
+------------------+
| 1230113636.0101  |
+------------------+
1 row selected (82.353 seconds)

〇〇

0: jdbc:luciddb:http://localhost> --8
0: jdbc:luciddb:http://localhost> SELECT YYEAR, CAST(SUM(CASE WHEN NATION = 'BRAZIL'
. . . . . . . . . . . . . . . . >                                THEN VOLUME
. . . . . . . . . . . . . . . . >                                ELSE 0
. . . . . . . . . . . . . . . . >                       END) AS DECIMAL(19,4))*1.0000 /
. . . . . . . . . . . . . . . . >              CAST(SUM(VOLUME) AS DECIMAL(19,4)) AS MKT_SHARE
. . . . . . . . . . . . . . . . > FROM (SELECT
. . . . . . . . . . . . . . . . >         SUBSTRING (CAST(O_ORDERDATE AS CHAR(10)) FROM 1 FOR 4) AS YYEAR,
. . . . . . . . . . . . . . . . >         L_EXTENDEDPRICE * (1 - L_DISCOUNT) AS VOLUME,
. . . . . . . . . . . . . . . . >         N2.N_NAME AS NATION
. . . . . . . . . . . . . . . . >     FROM PART, SUPPLIER, LINEITEM, ORDERS, CUSTOMER, NATION N1, NATION N2,
. . . . . . . . . . . . . . . . >          REGION
. . . . . . . . . . . . . . . . >     WHERE P_PARTKEY = L_PARTKEY
. . . . . . . . . . . . . . . . >         AND S_SUPPKEY = L_SUPPKEY
. . . . . . . . . . . . . . . . >         AND L_ORDERKEY = O_ORDERKEY
. . . . . . . . . . . . . . . . >         AND O_CUSTKEY = C_CUSTKEY
. . . . . . . . . . . . . . . . >         AND C_NATIONKEY = N1.N_NATIONKEY
. . . . . . . . . . . . . . . . >         AND N1.N_REGIONKEY = R_REGIONKEY
. . . . . . . . . . . . . . . . >         AND R_NAME = 'AMERICA'
. . . . . . . . . . . . . . . . >         AND S_NATIONKEY = N2.N_NATIONKEY
. . . . . . . . . . . . . . . . >         AND O_ORDERDATE BETWEEN DATE'1995-01-01' AND DATE'1996-12-31'
. . . . . . . . . . . . . . . . >         AND P_TYPE = 'ECONOMY ANODIZED STEEL') AS ALL_NATIONS
. . . . . . . . . . . . . . . . > GROUP BY YYEAR
. . . . . . . . . . . . . . . . > ORDER BY YYEAR;
+--------+------------+
| YYEAR  | MKT_SHARE  |
+--------+------------+
| 1995   | 0.038820   |
| 1996   | 0.039490   |
+--------+------------+
2 rows selected (74.271 seconds)