Oracle Clinic - Maclean Liu的个人技术博客

[转]著名安全专家Litchfield对Oracle开火

Maclean Liu — Thu, 02 Feb 2012 13:18:50 +0000

著名的数据库安全专家 Litchfield为自己赋予的使命就是告诉全世界数据库软件并不安全——特别是Oracle的数据库。Litchfield曾经公开批评Oracle，甚至要求Oracle首席安全官Mary Ann Davidson下台。

Litchfield认为，长期以来，Oracle及其用户在安全领域里一直象鸵鸟一样把头插在沙子中。 Oracle采用了错误的方式来解决安全问题。

英国下一代安全软件的合作创办人Litchfield正在进行一场圣战。今年一月，他出版了一本Oracle黑客手册。手册的封面上说为读者提供了完整的访问和防护Oracle系统的方法。

在批判Oracle的同时，Litchfield却对微软极力推崇。他曾经公开声称微软最新的数据库软件SQL Server 2005是安全的。这种声明一定严重的伤害到了微软的主要竞争对手Oracle。Oracle已经眼看着一大块数据库市场划归了华盛顿Redmond的软件巨人。

在上周召开的Black Hat DC大会上，Litchfield讨论到了一种新的袭击技术使Oracle数据软件的漏洞问题更加严重。他向ZDNet澳洲的姐妹网站CNET News.com解释了揭露漏洞的必要性。

问：为什么您对数据库安全如此关注？还有其他那么多软件。
Litchfield: 数据库安全对于任何组织机构来说就象是王冠上的珠宝。这个星球上的每家机构都有数据库，而这组织机构存在的活力之源。没有什么比从源头进行把握更有效的安全措施。我们能够在周边进行安全工作，但是如果软件本身带有SQL injection这样的漏洞，那么安全措施就前功尽弃了。

我与Oracle的关系已经有所缓和。

尽管有防火墙，尽管网络服务器已经被锁定，但是网络应用中的SQL injection缺陷就能让我们一路畅通的进入数据库服务器的后端。如果这个数据库没有采用最低权限，或者没有完全打好补丁，那么我们就能对数据库进行充分的访问并攫取全部数据。

数据库必须是安全的。问题是在最近以前，没有人真正的处理过数据库服务器的后端。也就是说过去人们采取的都不过是外围安全措施。

最近您对Oracle的数据库相当关注。是有什么特别的原因让您对Oracle倾注更多吗?
Litchfield:是的。SQL Server 2005是安全的。因为微软解决了问题。Oracle正在解决问题。对于IBM，我研究过DB2和Informix，并为他们指出了从缓存溢出到权限增加等大约50个bug，IBM安全部门的反应是成熟的。

最近，Oracle安全部门的反应就没那么成熟。他们气势汹汹的，与“这个家伙在让我们的产品更安全”的想法完全相反。不过他们的态度现在有所好转。Oracle正在开始理解我和他们站在同一条战线上，只是彼此的看法不同。

当Oracle这样的厂家态度强硬时，您就会变得更加强硬？
Litchfield:是的。很遗憾我正是这样行事的。但是如果你不得不保护自己，那么就保护自己吧。我更愿意去工作，就象我对微软和IBM那样，与他们的安全响应团队一起工作。我们与微软和IBM拥有良好的关系。有什么比良好的关系好的成事方法呢？我可不想站在浑水中互相指责。

我与Oracle的关系有所缓解，他们理解这并不是一场意志上的对决。我努力使他们了解他们数据库所存在的问题，因为这些问题对我造成了直接的对影响。如果有人闯入数据库服务器然后窃取了我的信息，付出代价的是我，而不是Oracle

有人可能会认为这有点象敲诈。
Litchfield:我可从来没有向Oracle索要过财物。如果人们这么想，那么他们得到的信息可能有误。

那么微软也没有雇用你来说SQL Server 2005是安全的？
Litchfield:我说微软的产品是安全的但是没有从微软那里得到什么报酬，如果任何人在SQL Server
2005中找到bug，那个人最好是我。如果别人找到什么bug,它会破坏我将来判断产品是否安全的能力。因此，如果在SQL Server 2005中的确存在bug，我希望是我首先发现。我很期待。

微软过去和现在是否是NGS软件的客户？
Litchfield:NGS的确在微软工作，但我们并不是受雇来说他们是安全的——我们被雇来使他们的产品更安全。对于微软和NGS来说，现在以及将来的独立性都很重要。否则我们工作的正确性以及微软为使产品更安全所进行的努力就会遭到怀疑。这就是NGS 依然在为微软的产品提出安全建议的原因。

我听说您曾经担任SQL Server 2005的安全审计工作，是这样吗？
Litchfield:我不能说具体的说到我们所做的项目。这样，如果有人对SQL Server是否比Oracle安全的问题存在疑问，他所要做的就是想想包括那么多顶级研究人员在内的很多人都曾经研究过两个产品，寻找过安全漏洞。而SQL Server已经很长时间没有被发现问题了。我再重复一遍，如果有人在SQL Server 2005中发现严重的漏洞，那么我希望那个人是我。

Oracle是否曾经是NGS软件的客户？
Litchfield:是的，过去我们与Oracle合作过几个项目。

NGS软件的主要业务是什么?
Litchfield:我们的业务分三个方面。我们销售评估安全状况和是否遵从萨班斯 – 奥克斯利法案的工具；我们为一些组织机构提供顾问服务；而且我们还进行漏洞调研并销售调研报告。

你们一般调研对象是什么样的机构？
Litchfield:负责和保护关键性国家基础设施的政府机构。我们试着对他们的安全问题提出事前警告。我们能够告诉他们某个产品存在缺陷，并且提供消除问题的策略。甚至没有厂家提供的补丁，系统也能得到保护。

靠无知来保证安全是行不通的，因为某个人的无知就是别人的生财之道。

NGS过去几年发展顺利，这些需求来自哪里？
Litchfield:主要是顾问工作。说起来惭愧，我最初要成立一家软件企业，但现在却更象一家顾问公司。尽管我没有放弃，但也算是我个人的一次失败。我们到某个阶段还会成为一家软件公司。
顾问一般怎么工作？
Litchfield:他可能会做渗透测试，审查代码或者模仿入侵。我们所做的不是安装防火墙那样的工作，我们所从事的是高端工作。

是什么每天推动您进行工作？
Litchfield:是因为我对次很擅长。如果你很擅长某件事情，您的动力就会更足。如果我是优秀的画家，我就会画很多作品。如果我对此一窍不通，我当然就不会费心劳力的去画画。我很享受我的工作。

是不是特别享受发现bug的工作？
Litchfield:是的。这是一个关于分析的问题。如果我尝试推翻某个系统，我该怎么做呢？另一个原因是它会影响每个人的生活。现在，不是在拿死马当活马医。我知道明天数据库服务器将会更加安全。打个比方说，到那一天，更多的信用卡用户会更安全。

如果Oracle的人说你暴露缺陷的的行为实际上伤害了安全，你会怎么说？

Litchfield:在他们假设的情况下这样做的确会提高了风险等级。好的，这的确是这类工作最主要的问题。不过，在风险度提高以后，人们会更倾向于保护自己的系统。
举例来说，我刚刚披露了一种能使没有特殊权限的入侵者利用只有具有更高权限用户才能使用的漏洞进行袭击的方法。现在我们知道这种担心是不对的，因为人们没道理知道这个缺陷以后不打补丁。

有人在我贴出新方法后的零时间内利用我的方法修改入侵手段，并进行公布。于是任何人都可以使用这种手段，所以这的确增加了风险。

回头看2002年8月，我发布的一些代码被用做SQL Slammer病毒的基础。这属于最初的风险增加，但是短痛之后，打过补丁的SQL Servers数量增加了。短期风险成为了长期的受益。这是我对此的看法。

有人可能会说我们不想知道都有什么安全隐患，也就不会有人进行利用。你认为这有道理吗？
Litchfield:我不这么认为。世界上总有坏人。如果没有好人来帮助厂家弥补这些漏洞，那么我们会自以为我们是安全的，但实际上我们并不安全。对安全问题视而不见是起不了作用的，因为一个人的无知就是另外一个人的生财之道。

什么使您觉得最烦恼？
Litchfield:当人们说我增加了风险或者我的行为出于自私目的时，实际上并不是那样。不过我不会总那么受欢迎，我只是希望诽谤能够少一些。

您最近出版了Oracle黑客手册。您的目的是什么？
Litchfield:Oracle的安全世界里充斥着自鸣得意。我希望能够揭掉他们自我蒙蔽的毯子。外面有太多人认为Oracle的产品是安全的，他们无需采取任何措施。这是不负责任的，而我对此很在意。

你希望人们怎么看待你？
Litchfield:我希望能够成为帮助人们认识到数据库安全的重要性的人。我希望能够通过我的工作，以及我对行业的了解来改造Oracle 和微软这样的企业处理安全问题的方式。

No related posts.

历数几款第三方的Oracle数据库安全及漏洞扫描软件

Maclean Liu — Wed, 01 Feb 2012 12:58:19 +0000

虽然oracle公司自有一套丰富的数据库产品线，包括 oracle advanced security, VDP , Database vault , lable security , Database FireWall 等等。

但我们还是有必要关注一些第三方的安全工具，这些安全工具的主要用途包括：　漏洞扫描，风险评估，安全建议，审计等。

Secure Oracle Auditor　－　 Secure Bytes 的产品图形化的集中式审计工具，可以自定义审计策略；并分析数据库风险，
产品主页： http://www.secure-bytes.com/soa.php

软件截图：

Oracle Database Encryption Wizard For Oracle – Relational Database Consultants, Inc (RDC)的产品主要功能是数据加密，支持 AES256 and DES3 Encryption加密算法，在从版本7开始支持Oracle 11gR2 及HSM( Hardware Security Modules )。
产品主页：http://www.relationalwizards.com/html/ora_encyrption.html

软件截图：

DB Protect – AppSecInc 的产品，提供企业级的数据安全方案，功能包括隔离敏感数据库，发现及修正可能存在的数据风险，控制企业员工的数据访问权限, 监控越权行为等。
产品主页： http://www.appsecinc.com/products/dbprotect/index.shtml

软件截图：

NGS SQuirreL for Oracle - NGS secure 的产品，算是已经在国内比较知名的 oracle 风险评估漏洞扫描工具，支持从oracle 7.3 到 11g的主要版本。
产品主页： http://www.ngssecure.com/services/information-security-software/ngs-squirrel-for-oracle.aspx

产品介绍：

Oracle数据库安全漏洞扫描工具——NGSSQuirreL for Oracle

NGSSQuirrel for Oracle是国际顶级的数据库安全漏洞扫描工具。深圳市九州安域科技有限公司是NGSSQuirrel for Oracle数据库安全漏洞扫描工具中国区授权代理。

NGSSQuirreL for Oracle支持Oracle 8i,9i和10g，并且可以检查几千个可能存在的安全威胁、补丁状况、对象和权限信息、登陆和密码机制、存储过程以及启动过程。NGSSQuirrel提供强大的密码审计功能，包括字典和暴力破解模式。

NGSSQuirrel

1.         专业数据库漏洞评估工具；

支持MSSQL Server，Oracle，Informix，DB2，MySQL ，Sybase ASE数据库

支持对数据库所有实例的特权、角色、表单、视图、存储过程等进行安全检测。

2.         用于保护基础数据库平台安全并确保数据库满足安全法规的要求；

3.         创建Lockdown脚本，用于自动修复数据库扫描中未发现的漏洞

4.         通过check selection功能，可实行具体扫描或针对目标客户的扫描。

可以为特定目标扫描存储某一定制模板

可根据具体合规性扫描选择合规性模板

5.     提供业界专业的数据库安全资讯以及安全教材。

NGS SQuirreL 数据库扫描检测内容：

1. 扫描数据库默认口令、弱口令

2.     检测触发器、存储程序、表单、包等的访问权限

3.     识别默认Object的漏洞

4.     利用密码哈希值运行密码审计

5.     审查密码策略

6.     审查数据库的版本以及补丁情况

7.     检查数据库所有安全配置以及安全审计配置

8.     针对所有发现的安全问题提供修复建议

9.     可针对单一数据库或单一实例进行扫描

NGS SQuirreL for Oracle, SQL Server, MySQL, DB2 & Informix 行业合规性审计

NGS扫描器其内置有如下所有的合规性模块：

PCI DSS(支付款行业数据安全标准V1.2或V2.2）

SOX

HIPAA

Gramm-Leach Bliley Act

FISMA

SANS Top 20

CIS Benchmark for Oracle 9i/10g Ver. 2.0

CIS Benchmark for SQL Server 2005 v1.0

CIS Benchmark for MySQL v1.0.2

Oracle 基准

NSA SQL Server 2000 V1.5 安全配置和管理指南

这些模板都会保持持续更新；NGS 审计客户将满足这些标准的要求

NGSSQuirrel for Oracle 目前在国内有九州安域和 XLSoft 2家代理。

软件截图：

DB Audit – SoftTree的产品功能强大的数据库安全和审计产品，支持Oracle, Sybase, DB2, MySQL， Microsoft SQL Server等主流数据库。 DB Audit Expert是一款专业的数据库安全评估，审计和提供解决方案的数据库管理系统。DB Audit Expert允许数据库及系统管理员，安全管理员，审计人员和操作人患跟踪和分析数据库的活动，包括对数据库的访问，使用，对象的建立，修改和删除等。 DB Audit真正独特的是它内置多个审计方式，让您灵活地选择最适合你的数据库安全性要求的审计方式。
产品主页：http://www.softtreetech.com/

产品介绍

DB Audit Expert是一款专业的数据库安全评估，审计和提供解决方案的数据库管理系统。DB Audit Expert允许数据库及系统管理员，安全管理员，审计人员和操作人患跟踪和分析数据库的活动，包括对数据库的访问，使用，对象的建立，修改和删除等。DB Audit真正独特的是它内置多个审计方式，让您灵活地选择最适合你的数据库安全性要求的审计方式。

主要优势：

提高系统的安全性并确保系统问责制。
捕获常规和“后门”访问被审计的数据库系统。
从易于管理的单一位置，集中了安全和审计控制多个数据库系统的功能，
统一审计的图形界面功能，缩短了学习曲线，很容易使用。
提供分析报告，全面总结概括，减少审核大量数据从而使轻松地识别各种数据库的安全性侵犯。
提供分析报告，以确定哪些进程和用户占用系统资源。
提供本地数据库审计不可用的审计线索的细节。
当敏感数据发生变化时，提供能够生成对关键人员生成电子邮件警报。
解放了DBA，不再需要创建和管理用于数据更改审计目的精心调校的数据库触发器。
支持灵活的审计配置，使安全人员可以选择必须监督和审计跟踪记录的数据库操作和数据修改的特定类型。
对现有的应用程序提供完全透明的系统级和数据更改审计，无需任何修改这些应用。
完全兼容所有主机操作系统可以运行支持的数据库，包括但不限于Windows NT，UNIX和Linux，虚拟机，OS/390，z/OS。

DB Audit 在多种平台，多种数据库上都有完整的解决方案：
安全性预防管理
侦测和安全配置分析
审计与监控
弱点及渗入测试
校正

多种数据库统一管理，操作简便学习周期短，方便使用。通过左侧数据库树型目录可以方便管理各种数据库；右侧大块的工作区域中，将所有的审计按功能分类，可清晰地完成所有的配置。

DB Audit 可以出色的工作在多种平台，多数据库的复杂环境中，通过警告中心服务器收集、存储和分析各种数据库的审计警告，并按照管理中心所配置将审计报表或警告发送到不同的部门及用户。

DB Audit客户：
DB Audit拥有众多大客户，例如，M＆T银行,道琼斯公司，富士银行(Fuji Bank)，亨廷顿银行(Huntington Bank)，Wells Fargo银行，北方信托公司, （The Reserve Funds）储备基金，第一资本金融公司（Capital One Financial Corp.）,3M公司，AT＆T公司，IBM公司，戴尔公司，JP摩根大通，惠普，壳牌，索尼，美国军队，美国航空航天局等。

软件截图：

DB Audit 目前在国内有一家授权代理北京铸锐数码科技。

Audit DB – LuMigent 公司的产品，功能包括数据库活动监控、审计、用户权限监控、变更复核、访问监控等。
产品主页： http://www.lumigent.com/products/audit-db

软件截图：

DBCoffer – 难得一见的国产数据库安全产品。相关介绍：国内首款主动预防型数据库安全加固产品，存储层、数据访问层、应用访问层全方位防止数据泄密。
产品主页：　http://www.schina.cn/a/fangan/shujukubaoxianxiang/about.html

目前找不到该款产品的软件截图 www.oracledatabase12g.com Here

Script:找出ASM中的Spfile参数文件

Maclean Liu — Mon, 30 Jan 2012 14:50:40 +0000

以下脚本可以用于找出ASM存储中的Spfile参数文件，因为使用asmcmd去查找很不方便，而spfile丢失又是很头大的事情，所以有一个脚本代劳可以省不少功夫呢！

--- listspfiles.sql
--- Purpose: Sample script to list spfiles kept in ASM instance
--- Usage: This should be run against an ASM instance,
--- not a database instance.
---
--- cut here --%<----%<----%<----%<----%<----%<--

--list all spfiles

set lines 120
col full_path for a110
SELECT full_path, dir, sys
FROM
(SELECT
CONCAT('+'||gname,SYS_CONNECT_BY_PATH(aname,'/')) full_path,
dir, sys FROM
(SELECT g.name gname,
a.parent_index pindex, a.name aname,
a.reference_index rindex, a.ALIAS_DIRECTORY dir,
a.SYSTEM_CREATED sys
FROM v$asm_alias a, v$asm_diskgroup g
WHERE a.group_number = g.group_number)
START WITH (MOD(pindex, POWER(2, 24))) = 0
CONNECT BY PRIOR rindex = pindex
ORDER BY dir desc, full_path asc)
WHERE UPPER(full_path) LIKE '%SPFILE%'
/

Sample output:

FULL_PATH                                                                                                      D S
-------------------------------------------------------------------------------------------------------------- - -
+DATA/Aspfile.ora                                                                                              N N
+DATA/VPROD/PARAMETERFILE/spfile.273.766620265                                                                 N Y
+DATA/VPROD/PARAMETERFILE/spfile.365.773976489                                                                 N Y
+DATA/VPROD/spfileVPROD.ora                                                                                    N N

Oracle Internal Event:10235 Heap Checking诊断事件

Maclean Liu — Mon, 30 Jan 2012 13:50:42 +0000

10235 (check memory manager internal structures) event内部诊断事件，当oracle SGA内存堆heap 管理操作发生错误时会触发该检测事件(For the sga heap, the internal error is signaled only when heap checking (event 10235) is enabled)，其级别列表如下：

[oracle@nas ~]$ oerr ora 10235
10235, 00000, "check memory manager internal structures"
// *Cause:
// *Action:

List of Levels for Event 10235
Level 1: Check heap before heap is freed.
Level 2: Level 1 + fill allocation and frees with 0xff.
Level 3: level 2 + checks to make sure chunk belongs to heap prior to operation (free, grow, make chunk as
freeable with mark). Scan of extents, could get expensive
Level 4: level 3 + allocates permanent chunks as freeable chunks. This accomplishes two things:
all permanent allocations are in their own chunks and the comments for the permanent chunks appear in a heap dump.
The following levels should be OR'ed in together. For example, in order to use levels 2, 8 and 16,
event 10235 needs to be set to level 26.
Level 8: Check heap on every operation to the heap.
Level 16: Level 8 + check top PGA heap and SGA heap.
Level 32: Level 16 + check all heaps in the top pga heap, recursively; check SGA heap.
Level 64: Level 32 + check SGA heap if started up in single_process=true.
Level 256: align chunks at the bottom of a page and page protect the page that follows the chunk,
to catch writes off the end of a chunk, for all heaps.
Level 512: Like level 256, except for all heaps in the pga heap; so this event is useful for detecting
corruption in the pga heap and pga subheaps. This can also be enabled on specific heaps or chunks with
specific comments.
Level 65536: Enable CPM(Commented PerManent chunk) Keep comment for permanent allocation. It's useful for
detecting memory growth/overrun in permanent space. If you need to investigate the allocations for "library cache",
The combination of event 10049 level 10100 and this event will help to have more descriptive information.

注意只有当怀疑oracle实例存在内存讹误(memory corruption)或者深入研究KGH堆管理内部原理的时候才有必要使用该10235事件，不要在生产库设置该诊断事件！！不推荐在session会话级别设置该event 可能引起问题，具体的设置方法如下：

alter system set event=' 10235 trace name context forever,level 512 ' scope=spfile;
restart instance;

实际上绝大多数情况下我们不会用到10235 event，即便是提交有关内存泄露(memory leak)或者内存讹误(memory corruption)的SR后 oracle Support 要求你上传一些heapdump的trace信息，直接做heapdump转储也已经足够了，具体用法如下：

alter session set event 'trace name immediate heapdump level ';

level 级别列表如下：

 1:          pga heap,  1025:            pga heap w/ contents
 2:          sga heap,  2050:            sga heap w/ contents
 4:          uga heap,  5000:            uga heap w/ contents
 8:          current call heap,  8200: current call heap w/ contents
16:         user call heap, 16400:     user call heap w/ contents
32:         large alloc heap, 32800:  large alloc heap w/ contents

若希望dump转储某个特定的subheap ，则先要知道该heap descriptor 的address地址

alter session set event 'trace name immediate headump_addr level ';

如何诊断ASMLIB故障

Maclean Liu — Sun, 29 Jan 2012 16:02:08 +0000

虽然我并不推荐你使用ASMLIB绑定设备名，详见这篇文章《Why ASMLIB and why not?》。但大概因为介绍ASMLIB的文章远多于UDEV的缘故，导致有大量对RAC安装配置不太熟悉的朋友仍执意采用ASMLIB，又因为ASMLIB的配置不算太简单所以在实际安装RAC之前的ASMLIB实施过程中有不少人遇到了问题，其次在ASMLIB的使用过程中麻烦也不少。

这里总结了一下ASMLIB的诊断思路，如下脚本：

cat /etc/sysconfig/oracleasm

1) uname -a
2) rpm -qa | grep ^oracleasm
3) rpm -V oracleasmlib
4) multipath -ll

1) output of command line

# rpm -V oracleasm-support

# /etc/init.d/oracleasm scandisks

# /etc/init.d/oracleasm listdisks

# ls -l -R /dev/oracleasm/

# ls -l /etc/sysconfig/oracleasm

# cat /etc/sysconfig/oracleasm

# mount

2) oracleasm log file

/var/log/oracleasm

3) sosreport

By default the "sos" package should be installed into EL4u6 or later.
(If not, please download the sos package from ULN https://linux.oracle.com)

You just need type command "sosreport" as root user, and press "Enter" or "yes" for all the questions.

The sosreport will run for several minutes, according to different system, the running time might be more longer.
Once completed, "sosreport" will generate a compressed sosreport-xx-xx.bz2 file under /tmp. 

[summary]
- confirm system build asm disk on muoltipath devices
- modify /etc/udev/rules.d.90-dm.rules
- currently both nodes could find the asm disk from scandisks and listdisks
- sharon.honor will try installer again, if necessary need get help from application(RAC) team

1. Reboot the box.

2. Run the following commands
#fdisk -l
#multipath -ll
#blkid
#cat /etc/sysconfig/oracleasm
#cat /etc/sysconfig/oracleasm-_dev_oracleasm

#uptime
#/etc/init.d/oracleasm start
#/etc/init.d/oracleasm listdisks

#uptime
#/etc/init.d/oracleasm scandisk

Please also modify the /etc/sysconfig/oracleasm-_dev_oracleasm with below.
ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"

The devices that asmlib will scan is controlled in the /etc/sysconfig/oracleasm file
with the "scanorder" and "scanexclude" parameters.

oracleasm failed to createdisk on raw device

如何诊断ORA-125XX连接问题

Maclean Liu — Wed, 25 Jan 2012 12:15:17 +0000

以下这个Action Script是我收集的在解决ORA-125XX(如ORA-12560)这类网络链接故障时的一些思路，主要包括现有的网络配置(client & server side)、监听日志、SQLNET Client trace等信息– How to troubleshooting ORA-125** connection issues：

# CHECK FIREWALL, WINDOWS FIREWALL , ANTI-Virus Software First !
ping hostname
tnsping TNS
trcroute TNS
telnet

tracert hostname

client side
sqlplus scott/tiger@TNS

&
server side
sqlplus scott/tiger@TNS

cat /etc/hosts
cat /etc/resolv.conf
cat /etc/nsswitch.conf
ipconfig -a
ping 127.0.0.1

$ORACLE_HOME/network/admin/sqlnet.ora
$ORACLE_HOME/network/admin/tnsnames.ora
$ORACLE_HOME/network/admin/listener.ora
$ORACLE_HOME/network/admin/endpoints_listener.ora
$ORACLE_HOME/network/log/*
sqlnet.log listener.log
/var/log/messages
/var/adm/messages
errpt -a

ls -ld $ORACLE_HOME
netstat -rn
ps -ef | grep -i tns
lsnrctl status {listener_name}
lsnrvtl services {listener_name}

ulimit -a

1. Complete database alert log.

2. If the database was not restarted from the time of last occurance of the
issue,

select * from v$resource_limit

3. RAM and SWAP configured on the server.

4. ulimit settings for oracle user:

ulimit -aS
ulimit -aH

5. Kernel parameter settings:

/etc/sysctl.conf

dblogin

show parameter cluster_database

show parameter listener

$srvctl config vip -n {nodename}

$lsnrctl status listener

agent.log and the crsd.log ..

crsd agent log and the crsd.log
$crsctl getperm resource ora.LISTENER.lsnr

sql net client trace , Client side tracing is done by adding the following syntax to the client’s sqlnet.ora file:

We will need a timestamped matching set of client/listener sqlnet traces while error is reproduced in order to find the root cause of the issue.

++ Enable client sqlnet tracing.
=======================

To do this add the following to client sqlnet.ora:

TRACE_LEVEL_CLIENT=16
TRACE_UNIQUE_CLIENT=TRUE
TRACE_DIRECTORY_CLIENT=path
TRACE_FILE_CLIENT=client
TRACE_TIMESTAMP_CLIENT=ON

replace path with a local directory for the trace files. (for example c:\temp)
Do a test connection from the problematic client and check if the trace files are created.
Upload the traces containing the error to me on metalink.

++ Enable listener sqlnet tracing.
==========================
To do this edit the listener.ora and add,

TRACE_LEVEL_{listener name}=16
TRACE_TIMESTAMP_{listener name}=TRUE
TRACE_DIRECTORY_{listener name}=/tmp {– this can be any directory other than a top level directory like / or c:\

Replace {listener name} with the name of the listener. For example if your listener was called LISTENER then TRACE_LEVEL_LISTENER=16

You need to restrict the amount of disk space used by the tracing then you must also set,

TRACE_FILELEN_{listener name}=500000 {– size of the files in K
TRACE_FILENO_{listener name}=10 {– number of files

This will limit the traces to 10 files of around 500Mb, so 5000Mb in total. When the 10th file is full it will reuse file number one.
You will need to stop/start the listener for this to take effect.
When the problem reproduces please can you upload the listener trace and the listener log.

Trace_level_client=16
Trace_directory_client={path_to_the_trace_directory} # use the full path to the trace directory
Trace_unique_client=on
Trace_timestamp_client=on
Diag_adr_enabled=off

trace Local listener or SCAN listeners
TRACE_LEVEL_{listener_name}= 16
TRACE_TIMESTAMP_{listener_name}=on
TRACE_DIRECTORY_{listener_name}={path_to_the_trace_directory}

truss -o /tmp/lisener.out -fae lsnrctl start {listener_name}

Some Useful Note:

Note.444705.1 TroubleShooting Guide For ORA-12514 TNS listener could not resolve SERVICE_NAME given in connect descriptor
Note.761740.1 Technicians Unable To Receive Orders While MWM Components Display ODBC Errors And Are Connected
Note.119007.1 ORA-12560: Administering the Listener on UNIX – Troubleshooting
Note 276812.1 TNS-12542 Error When Executing Batch Jobs or in High Transaction Environment
Note.219208.1 Ext/Pub Client Connection via Connect Manager Fails with TNS-12564
Note.393941.1 Ext/Mod ORA-12564 Reported When Using 10g Connection Manager
Note.1116960.1 ORA-609 TNS-12537 and TNS-12547 in 11g Alert.log
Note.550859.1 Abstract TROUBLESHOOTING GUIDE TNS-12518 TNS listener could not hand off client connection.
Note.207303.1 Client / Server / Interoperability Support Between Different Oracle Versions
Note.119706.1 Troubleshooting Guide TNS-12535 or ORA-12535 or ORA-12170 Errors

For database links between different Oracle versions connections must be supported in BOTH directions in the matrix found in Note 207303.1
eg: As 9.2 -} 7.3.4 is not supported then database links between these version
are not supported in either direction.
You are trying to connect two versions (client-server) that are not certified (as confirmed by Note 207303.1) and between which exist many technical incompatibilities.

CLIENT — LISTENER — SERVER RESULT

8 11.1 8 OK
9 11.1 9 OK
10 11.1 10 OK
11 11.1 11 OK

8 11.2 8 FAILS
9 11.2 9 OK
10 11.2 10 OK
11 11.2 11 OK

9 11.1 8 OK
10 11.1 8 OK
11 11.1 8 OK

9 11.2 8 FAILS
10 11.2 8 FAILS
11 11.2 8 FAILS

The relevant relationship that appears to be at issue is LISTENER and DATABASE. Client version is not a factor.

But if the ultimate outcome is that the 11.2 (11gR2) LISTENER is indicated (though I still haven’t seen documentation of this) as not compatible with use on a ORACLE 8i (8.1.7.0) DATABASE, then we’ll capture that here and move on. I would, however, like to see some evidence of this, if it is available. I can find notes in the KB about 10gR2′s listener not supporting 8i database, and I can find notes about 11gR1 having resolved that regression. But I can find nothing regarding listener/database compatibility that mentions 11gR2, that would explain our results.
Clients should be complied with Servers , For Sever 11.2 the only supported clients are 11.2.0 , 11.1.0 , 10.2.0 : 10g end MUST be at 10.2.0.2 (or higher) respectively in order to use PLSQL between those versions. See Note:4511371.8 for more details and finally 10.1.0.5 only with extended support .

On the other Side in order to connect from listener to DB server in a supported way , Listener version should be greater than or equal to the server version .

Note 207303.1 should still be followed.