第30卷第6期计算机学报Vol.30No.62007年6月CHINESEJOURNALOFCOMPUTERSJune2007一种自动确定参数的sIB算法1)1)2)3)叶阳东刘东贾利民LIGang1)(郑州大学信息工程学院计算机科学系郑州450052)2)(北京交通大学轨道交通控制与安全国家重点实验室北京100044)3)(迪肯大学信息技术学院维多利亚澳大利亚)摘要针对sIB算法的压缩变量参数的确定问题,采用最小描述长度原理,构建一种自动确定参数的AsIB算法.算法使用一种有效的编码方案对数据分析模型和相应的数据进行描述,将最小描述长度的模型作为选择标准,从而有效发现了数据蕴含的特征模式数目.实验表明:AsIB算法所采用的编码方案有效,在不设定模式数目的情况下,能够正确发现数据集所蕴含的模式.该算法解决了现sIB算法对先验知识的依赖问题,将能拓展其在多维数据的自动降维分析和模式提取等方面的应用.关键词IB理论;sIB算法;AsIB算法;最小描述长度原理;模型选择中图法分类号TP18AnsIBAlgorithmforAutomaticallyDeterminingParameterYEYang-Dong1)LIUDong1)JIAL-iMin2)LIGang3)1)(DepartmentofComputerScience,SchoolofInformationEngineering,ZhengzhouUniversity,Zhengzhou450052)2)(StateKeyLaboratoryofRailTrafficControlandSafety,BeijingJiaotongUniversity,Beijing100044)3)(SchoolofInformationTechnology,DeakinUniversity,221BurwoodHighway,Vic3125,Australia)AbstractTosolvetheproblemofdeterminingthecompressionvariableparameterforsIBalgo-rithm,thispaperproposesanAsIBalgorithmforautomaticallydeterminingparameterbasedonminimumdescriptionlengthprinciple.AnefficientencodingschemeisdesignedtoestimatethedescriptionlengthofthesolutionmodelofsIBalgorithmandtheoriginaldatagiventhemodelre-spectively,andtheminimumdescriptionlengthmodelisselectedasacriteriontofindthenumberoffeaturepatternshiddenindataset.ExperimentresultsshowthattheencodingschemeinAsIBisefficienttorecoverthetruefeaturepatternindatasetwithouttherequirementofsettingcatego-rynumberoffeaturepattern.AsIBalgorithmremovesthedependencyofempiricalknowledgeforsIBalgorithm,whichwidensitsapplicationsinareassuchasautomaticdimensionreductionandpatternextraction,etc.KeywordsIBtheory;sIBalgorithm;AsIBalgorithm;minimumdescriptionlengthprinciple;modelselection出一种基于信息论的数据分析方法)))IB方法[1]1引言(TheInformationBottleneckMethod).该方法通过将数据对象压缩到一个事先定义好的/瓶颈0变量中1999年,Tishby、Pereira和Bialek开创性地提极大地保持其与另一数据对象的相关性,有效地发收稿日期:2006-03-31;修改稿收到日期:2007-01-26.本课题得到国家自然科学基金(600332020)和河南省自然科学基金(0411012300)资助.叶阳东,男,1962年生,博士,教授,博士生导师,研究领域为知识工程、智能系统、数据库.E-mail:ieydye@