ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 2888|回复: 7

oracle 11g r2 搭建rac遇到的共享磁盘问题,请帮忙看看是什么问题

[复制链接]
论坛徽章:
0
发表于 2017-1-5 10:33 | 显示全部楼层 |阅读模式
测试搭建oracle rac,平台是centos7,grid安装成功,asmca磁盘组创建成功,oracle数据库软件安装成功,当dbca创建数据库是遇到报错找不到‘DATA’磁盘。
[img]file:///C:/Users/Administrator/AppData/Roaming/Tencent/Users/1002738116/QQ/WinTemp/RichOle/Z4S8T804M[VXZ8J(S6JJ2QO.png[/img][img]file:///C:/Users/Administrator/AppData/Roaming/Tencent/Users/1002738116/QQ/WinTemp/RichOle/Z4S8T804M[VXZ8J(S6JJ2QO.png[/img]alert日志信息:
NOTE: Loaded library: System
ORA-15025: could not open disk "/dev/asm-data"
ORA-27041: unable to open file
Linux-x86_64 Error: 13: Permission denied
Additional information: 9
SUCCESS: diskgroup DATA was dismounted
ERROR: diskgroup DATA was not mounted
Errors in file /u01/app/oracle/diag/rdbms/rac/rac1/trace/rac1_ora_14792.trc:
ORA-00200: control file could not be created
ORA-00202: control file: '+DATA'
ORA-17502: ksfdcre:4 Failed to create file +DATA
ORA-15001: diskgroup "DATA" does not exist or is not mounted
ORA-15040: diskgroup is incomplete
ORA-1501 signalled during: CREATE DATABASE "rac"
从日志来看是权限问题,但在这个问题上卡了几天一直没能解决。

oracle用户:
[root@rac1 rac]# id oracle
uid=2101(oracle) gid=2000(oinstall) groups=2000(oinstall),2020(asmadmin),2021(asmdba),2031(dba),2032(oper)

grid用户:
[root@rac1 rac]# id grid
uid=2100(grid) gid=2000(oinstall) groups=2000(oinstall),2020(asmadmin),2021(asmdba),2022(asmoper),2031(dba),2032(oper)

asm磁盘组权限及所属用户和组     ----用的是udev绑定
[root@rac1 rac]# ll /dev/asm*
lrwxrwxrwx. 1 grid asmadmin 4 Jan  4 15:37 /dev/asm-data -> sdb1   ---这个是设置的DATA共享磁盘
lrwxrwxrwx. 1 grid asmadmin 4 Jan  4 15:37 /dev/asm-frm -> sdg1
lrwxrwxrwx. 1 grid asmadmin 4 Jan  4 15:37 /dev/asm-ocr -> sdf1
lrwxrwxrwx. 1 grid asmadmin 4 Jan  4 15:37 /dev/asm-orc -> sdc1
lrwxrwxrwx. 1 grid asmadmin 4 Jan  4 15:37 /dev/asm-orc1 -> sdd1
lrwxrwxrwx. 1 grid asmadmin 4 Jan  4 15:37 /dev/asm-vote -> sde1

[root@rac1 rac]# ll /dev/sd* ----绑定udev磁盘前格式化的
brw-rw----. 1 root disk 8,  0 Jan  4 13:35 /dev/sda
brw-rw----. 1 root disk 8,  1 Jan  4 13:35 /dev/sda1
brw-rw----. 1 root disk 8,  2 Jan  4 13:35 /dev/sda2
brw-rw----. 1 root disk 8, 16 Jan  4 13:35 /dev/sdb
brw-------. 1 grid root 8, 17 Jan  4 16:05 /dev/sdb1 -----不知道这个文件的权限及所属用户和组是否有影响(一直很疑惑),但改过777权限,grid:asmadmin也是不行
brw-rw----. 1 root disk 8, 32 Jan  4 13:35 /dev/sdc
brw-------. 1 grid root 8, 33 Jan  4 16:05 /dev/sdc1
brw-rw----. 1 root disk 8, 48 Jan  4 13:35 /dev/sdd
brw-------. 1 grid root 8, 49 Jan  4 15:37 /dev/sdd1
brw-rw----. 1 root disk 8, 64 Jan  4 13:35 /dev/sde
brw-------. 1 grid root 8, 65 Jan  4 16:05 /dev/sde1
brw-rw----. 1 root disk 8, 80 Jan  4 13:35 /dev/sdf
brw-------. 1 grid root 8, 81 Jan  4 15:37 /dev/sdf1
brw-rw----. 1 root disk 8, 96 Jan  4 13:35 /dev/sdg
brw-------. 1 grid root 8, 97 Jan  4 15:37 /dev/sdg1

oracle用户的oracle文件:   -----参照网上的解决办法更改的,但并没有成功(dbca建库时rac1节点的oracle文件会自动由组oinstall变成asmadmin ,但节点rac2不会需要手动改)
[root@rac2 /]# ll /u01/app/oracle/product/11.2.0/db_1/bin/oracle
-rwsr-s--x. 1 oracle asmadmin 239520784 Jan  3 15:18 /u01/app/oracle/product/11.2.0/db_1/bin/oracle

grid用户的oracle文件: -----无奈之下也曾试过把这个文件的组改成asmadmin,但依然不行。
[root@rac2 /]# ll /u01/app/11.2.0/grid/bin/oracle
-rwsrwsr-x. 1 grid oinstall 209854152 Jan  3 10:38 /u01/app/11.2.0/grid/bin/oracle

请大家帮忙看看到底是原因。

认证徽章
论坛徽章:
0
发表于 2017-1-6 11:48 | 显示全部楼层
问题解决了吗,以前我也出现过这种情况,你把/etc/udev/rules.d/60-raw.rules粘出来我看看

使用道具 举报

回复
论坛徽章:
0
 楼主| 发表于 2017-1-6 13:46 | 显示全部楼层
13791125320 发表于 2017-1-6 11:48
问题解决了吗,以前我也出现过这种情况,你把/etc/udev/rules.d/60-raw.rules粘出来我看看

问题还未解决
用的是udev绑定 uuid    ------环境是VMware虚拟机搭建的

[root@rac1 ~]# cat /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent",
RESULT=="36000c29a7007bc31073c6d3ecb1bb404",SYMLINK+="asm-data",OWNER="grid",GROUP='asmadmin",mode="0660"

KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent",
RESULT=="36000c29e06ae342764b3b904656c7334",SYMLINK+="asm-orc",OWNER="grid",GROUP='asmadmin",mode="0660"

KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent",
RESULT=="36000c29951b089c1e637a5aa4490cd74",SYMLINK+="asm-orc1",OWNER="grid",GROUP='asmadmin",mode="0660"

KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent",
RESULT=="36000c2996d2485d3933655df62945a51",SYMLINK+="asm-vote",OWNER="grid",GROUP='asmadmin",mode="0660"
KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent",
RESULT=="36000c29b941fd85caadc6266ad77b18c",SYMLINK+="asm-ocr",OWNER="grid",GROUP='asmadmin",mode="0660"

KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent",
RESULT=="36000c291c1f0b015efa5088e2e072097",SYMLINK+="asm-frm",OWNER="grid",GROUP='asmadmin",mode="0660"

使用道具 举报

回复
论坛徽章:
0
发表于 2017-1-6 16:05 | 显示全部楼层

使用道具 举报

回复
论坛徽章:
0
 楼主| 发表于 2017-1-6 22:13 | 显示全部楼层
sysadm_cc 发表于 2017-1-6 16:05
http://blog.itpub.net/17252115/viewspace-1104341/

谢谢回答,首先说一下问题还是没有解决
文章我大概看了一下,
关于GRID(oracle binary)和RDBMS(oracle binary) 两个oracle文件的所属组和权限,这在之前已经尝试过多次,并没有解决问题。
但在ASM共享磁盘的权限上发现以前忽略的一个地方,今天下午又试验了几次发现了两个问题。

问题1:
我用的操作系统是centos7  ,从网上的一些资料发现centos7之前的操作系统版本(包括rhel等也是如此)创建的共享磁盘如下
[root@rac1 ~]# ll /dev/*asm*
brw-rw—- 1 grid asmadmin 8, 16 Apr 27 18:52 /dev/asm-diskb
brw-rw—- 1 grid asmadmin 8, 32 Apr 27 18:52 /dev/asm-diskc
brw-rw—- 1 grid asmadmin 8, 48 Apr 27 18:52 /dev/asm-diskd
这些ASM磁盘文件都块设备文件(文件类型是‘b’)

而我在centos7操作系统下创建的ASM磁盘文件如下
[root@rac1 ~]# ll /dev/asm*
lrwxrwxrwx. 1 root root 4 Jan  6 17:54 /dev/asm-data -> sdb1
lrwxrwxrwx. 1 root root 4 Jan  6 17:44 /dev/asm-ocr -> sdf1
ASM磁盘文件确是一个链接文件,文件所属用户和组也不对。
就此产生了一个疑问,是因为我udev绑定裸设备的时候规则配置错误导致的ASM磁盘成为了一个链接文件,还是centos7这个操作系统版本创建的ASM磁盘就是一个链接文件?

以下是udev绑定的规则:(其中一条)
KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent",
RESULT=="36000c29a7007bc31073c6d3ecb1bb404",SYMLINK+="asm-data",OWNER="grid",GROUP='asmadmin",mode="0660"

问题2:(在centos7创建的ASM共享磁盘就是一个链接文件的基础上)
[root@rac1 ~]# ll /dev/asm*
lrwxrwxrwx. 1 root root 4 Jan  6 17:54 /dev/asm-data -> sdb1    -----ASM磁盘文件指向的是sdb1文件

[root@rac1 ~]# ll /dev/sd*
brw-rw----. 1 root disk 8,  0 Jan  6 17:42 /dev/sda
brw-rw----. 1 root disk 8,  1 Jan  6 17:42 /dev/sda1
brw-rw----. 1 root disk 8,  2 Jan  6 17:42 /dev/sda2
brw-rw----. 1 root disk 8, 16 Jan  6 17:42 /dev/sdb
brw-------. 1 grid root 8, 17 Jan  6 17:55 /dev/sdb1    -----这是分区和udev绑定裸设备之后的初始用户组和权限(是块设备文件)
从用户组和权限来看肯定是达不到需求的。
但在之前一直无法解决问题的无奈之下也曾把sdb1文件的用户和组设为 grid:asmadmin  权限设置为 777.但也一直报错。
今天下午dbca建库时才发现了问题。
建库前把 sdb1文件的用户和组设为 grid:asmadmin   权限为777,
当dbca建库报错时又看了一下sdb1文件的属性,发现用户组和权限又被修改成了初始时的值即用户和组为  grid:root,权限为600。

至于为什么会更改sdb1文件的所属组和权限却没有找到原因。

个人觉得一直报的权限错误大概就是这两个问题导致的,却无法确认也没找到解决的办法。
希望知道的能帮助解答一下这两个问题。

使用道具 举报

回复
认证徽章
论坛徽章:
0
发表于 2017-1-7 12:26 | 显示全部楼层
本帖最后由 13791125320 于 2017-1-7 12:27 编辑
sunjj_207 发表于 2017-1-6 22:13
谢谢回答,首先说一下问题还是没有解决
文章我大概看了一下,
关于GRID(oracle binary)和RDBMS(oracle  ...

你的grid能安装成功说明各种配置上基本上没有什么问题,我安装完grid,再往后遇见很多错误,有些也没有解决,但貌似都是跟权限有关,目录的权限,文件的所属用户,所属主,等等。我也重新安装了好几遍,下面的是我成功搭建rac的一些目录权限
mkdir -p /oracle/app
mkdir -p /oracle/app/oracle
mkdir -p /oracle/app/oracle/product/11.2.0/db_1
mkdir -p /oracle/app/grid
mkdir -p /oracle/app/11.2.0/grid
mkdir -p /oracle/app/oraInventory

chown -R oracleinstall /oracle
chmod -R 775 /oracle

chown -R oracleinstall /oracle/app
chmod -R 775 /oracle/app

chown oracleinstall /oracle/app/oracle
chmod -R 775 /oracle/app/oracle

chown oracleinstall /oracle/app/oracle/product/11.2.0/db_1
chmod -R 775 /oracle/app/oracle/product/11.2.0/db_1

chown -R gridinstall /oracle/app/grid
chmod -R 775 /oracle/app/grid

chown -R gridinstall /oracle/app/11.2.0/grid
chmod -R 775 /oracle/app/11.2.0/grid

chown gridinstall /oracle/app/oraInventory
chmod -R 775 /oracle/app/oraInventory


重点是这个:oracle用户
chmod 6751 $ORACLE_HOME/bin/oracle
chown oracleinstall $ORACLE_HOME/bin/oracle

使用道具 举报

回复
论坛徽章:
0
 楼主| 发表于 2017-1-9 17:23 | 显示全部楼层
问题已经解决了,
是udev绑定asm磁盘时,规则因粗心大意写错了导致的错误
KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM=="/usr/lib/udev/scsi_id -g -u -d /dev/$parent",
RESULT=="36000c29a7007bc31073c6d3ecb1bb404",SYMLINK+="asm-data",OWNER="grid",GROUP='asmadmin",mode="0660"
错误1:
asmadmin的双引号前面的写成了单引号,
错误2:
mode应该是大写    ---两个错误一起发现的,是否必须大写倒没有认证过。

就是因为这两个错误导致sdb1块设备文件的权限以及所属组错误,
brw-rw----. 1 root disk 8, 16 Jan  6 17:42 /dev/sdb
brw-------. 1 grid root 8, 17 Jan  6 17:55 /dev/sdb1    ----错误的权限和所属组。

brw-rw----. 1 root disk     8, 16 Jan  9 13:57 /dev/sdb
brw-rw----. 1 grid asmadmin 8, 17 Jan  9 14:06 /dev/sdb1   ----正确的权限和所属组。
brw-rw----. 1 root disk     8, 32 Jan  9 13:57 /dev/sdc
brw-rw----. 1 grid asmadmin 8, 33 Jan  9 14:24 /dev/sdc1

错误更改之后,可以正常安装了,当时检查时不知为什么就是没有看到这么明显的错误。

使用道具 举报

回复
认证徽章
论坛徽章:
10
青年奥林匹克运动会-高尔夫
日期:2014-09-10 14:54:51火眼金睛
日期:2017-02-06 01:02:33人气徽章
日期:2016-11-09 15:56:29目光如炬
日期:2016-10-30 22:00:00罗罗诺亚·索隆
日期:2016-10-17 12:26:14目光如炬
日期:2016-10-16 22:00:00火眼金睛
日期:2016-11-30 22:00:00目光如炬
日期:2017-01-22 22:00:00美羊羊
日期:2015-04-12 10:40:59火眼金睛
日期:2017-02-28 22:00:00
发表于 2017-1-15 00:16 | 显示全部楼层
多借助工具检查

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表