solaris10设置project错误，导致srvctl无法启动rac节点

今天遇到一个问题，同事在做完change之后，尝试用srvctl start database -d ，发现节点1能正常启动，但是节点2无法启动。观察其在节点2上的crsd的log，发现：

检查crs_stat -t 发现node2确实是offline。

在node2上的alertlog中，我们看到：

我们尝试用srvctl指定instance来启动，运行srvctl start instance -d -i 也是同样的报错。

那么为什么在node2上会报错：WARNING: EINVAL creating segment of size 0x0000000380008000和fix shm parameters in /etc/system or equivalent， 难道是内核参数设置的问题？

从报错信息，我们看到0x0000000380008000，转换成十进制是14G，也就是我们sga的大小，也就是sga的大小设置超过了操作系统中类似像shmmax之类的参数设置，操作系统层面无法给oracle配置超过14G的内存，所以oracle就报错了。

我们尝试用sqlplus登录后，启动node2，却能正常启动了。奇怪，srvctl无法正常启动，报错设置的操作系统内存太小，但是sqlplus却能正常启动？

如果说是sqlplus也不能正常启动，那确实是因为操作系统层面设置的问题了，但是目前的情况是sqlplus能正常启动，但是srvctl却不行，难道是bug？

在搜索metalink中，我找到了一篇文章：Bug 5340239: SRVCTL IS NOT ABLE TO GET THE RIGHT SHM RELATED SETTINGS（该bug全文见最后）。上面说，srcvtl在启动时会通过prctl命令读取/etc/system中的信息，似乎srvctl在读取该信息的时候，无法正确的读取，造成该报错。而sqlplus去读取/etc/system则是没有问题的。临时的解决方法是手工的在/etc/system中加入shmmax参数的设置。

检查了2个节点的/etc/system，发现2边的文件都是一样的，都没有在里面设置shmmax参数。那么，为什么在node1上能起来，node2上无法起来呢？

检查oracle用户的shm-memory，发现privileged是22G，也确实超过了sga需要的14G。

那既然oracle设置的没有问题，为什么node1上会启动成功，node2上会失败？接着继续找原因，我们发现另外一个文档：SRVCTL FAILS TO START DATABASE WHILE SQLPLUS WORKS (Doc ID 603051.1 该文档全文见最后)，该文档说，project for oracle是没有问题的，问题是出在system的project上，因为srvctl启动数据库的时候，会继承system的project。

因为srvctl调用crsd.bin，而crsd.bin的owner是root：

而在crsd.bin以root身份调用racgwrap 的时候，虽然会setid，setgid来更改自身的user id和group id，但是无法更改其project id，所以，如果root的project，设置的使用内存小于sga的大小，那么由于srvctl在启动的时候，调用以root身份的crsd.bin，并且继承了root（system）的project设置，那么就会出现上述的报错。

我们来检查一下root的project设置：
node1上：

node2上：

我们看到node1的project文件中，比node2多了关于system的设置：

这就是问题所在。

如果用prctl命令来看，会看的更清楚：
node1

node2:

看，在node2上，system的内存限制在了7.74G（注：在没有指定project.max-shm-memory的情况下，默认大小为系统物理内存的是四分之一，因此，32G物理内存的主机，四分之一即为8G。），小于了sga的14G。

解决方法为以root用户运行一下命令，使得system的内存设置大小为22G，超过sga的14G：

另外，需要给/etc/user_attr中root的用户加上project=system：

附：Bug 5340239和Doc ID 603051.1