共查询到16条相似文献，搜索用时 250 毫秒
1.
针对抽取中文网页正文的传统方法的不足,提出一种基于统计的中文网页正文抽取方法.该方法首先利用DOM树计算文本结点的文本密度,即文本长度与HTML源码长度之比,再利用贝叶斯判别准则计算密度区分阈值,最后根据文本密度与密度区分阈值的比较结果抽取正文,即大于密度区分阈值的结点就判定为正文文本结点,小于或等于密度区分阈值的结点则判定为非正文文本结点,将所有判定为正文文本结点的文本连接起来即为要抽取的网页正文.通过使用中文新闻类网页对该方法的有效性进行验证,结果表明:该方法虽然简单,但是抽取准确率极高且易于实现. 相似文献
2.
一种基于网页分割的Web信息检索方法 总被引：2，自引：0，他引：2
提出一种基于网页内容分割的Web信息检索算法。该算法根据网页半结构化的特点,按照HTML标记和网页的内容将网页进行区域分割。在建立HTML标记树的基础上,利用了的内容相似性和视觉相似性进行节点的整合。在检索和排序中,根据用户的查询,充分利用了区域信息来对相关的检索结果进行排序。 相似文献
3.
基于本体和DOM相结合的Web信息抽取器 总被引：1，自引：0，他引：1
针对基于Web页面信息本体的信息抽取不能准确划定抽取区域的缺点,设计基于本体和DOM相结合的Web信息抽取器。利用DOM树设计对样本页面信息项路径进行归纳学习的算法,该算法能准确划定信息抽取区域,降低页面噪声,实现对Web页面的预处理。实验表明,改进后的抽取方法提高了Web信息的抽准率。 相似文献
4.
文本数字水印可用于文本电子文档的版权保护领域,它是信息隐藏技术的重要研究方向。本文提出一种基于人眼视觉冗余的文本数字水印算法．根据人眼对细微的颜色变化不敏感这一特性,提出了通过改变文本字符RGB颜色分量的低四位来嵌入水印信息。该算法具有较好的隐蔽性和鲁棒性,能够抵抗文本删除、修改等攻击,实验证明只要保留文档原始内容中的连续N／8．6（N为待嵌入的水印信息位数）个字符,利用该算法就能够提取出完整的水印信息． 相似文献
5.
多层次web文本分类 总被引：8，自引：0，他引：8
传统的文本分类大多基于向量空间,分类体系为甲面体系,忽视了类别间的层次关系。根据LSA理论提出了一种多层次web文本分类方法。建立类模型时,根据类别的层次关系树由下到上逐层为具有相同父节点的类别建立一个类模型;分类时,由上到下,根据相应的类模型存LS空间上分类。这种分类方法解决了LSA模型中高维矩阵难以进行奇异值分解的问题。同时体现了web文本中词条的语义关系,注重了词条在网页中的表现形式。实验表明,多层次web文本分类方法比基于平面分类体系的分类方法在查全率和准确率方面要好。 相似文献
6.
《中图法》类目大小的可视表示 总被引：1，自引：1，他引：0
7.
一种基于类别信息的文本自动分类模型 总被引：2，自引：0，他引：2
从理论角度分析基于互信息的特征选择方法的不足,提出一种改进的互信息特征选择方法;针对向量空间模型在文本表示方面的问题,使用类别空间模型将文本表示为矩阵,有效利用文本的类别信息,实现一种基于类别信息的文本分类算法。对中文文本的分类实验结果表明,该文本分类方法具有良好的分类效果。 相似文献
8.
基于句子相似度的文本主题句提取算法研究 总被引：1，自引：0，他引：1
文本主题提取是文本挖掘领域的重要研究内容,解决文本信息泛滥的重要手段.为了解决现有文本主题句提取中一些局部主题容易被忽略的问题,本文提出一种"先分割,再提取"的思想.首先将文本表示为句子的线性序列,句子表示为词的线性序列,并对每个句子都预处理为含有实词的词汇链,然后基于知网(Hownet)计算相邻句子相似度.基于句子相似度,采用文本分割技术将文本分为多个关于子主题的句子包,通过句子关系图对这些句子包进行主题句提取.最后选用不同的语料库,设计进行了可接受性测试,实验结果验证该算法是可行、有效地. 相似文献
9.
10.
基于样本加权的文本聚类算法研究 总被引：3，自引：0，他引：3
样本加权聚类算法是一种最近才引起人们注意的算法,还存在一些需要解决的问题,例如,聚类对象之间的结构信息对样本加权聚类是否有帮助,如何将结构信息自动转换为样本或对象的权重?针对该问题,本文以学术论文为聚类对象,以K-Means算法为聚类算法基础,利用论文之间的引用关系计算每篇论文的PageRank值,并将其作为权重,提出一种基于样本加权的新的文本聚类算法.实验结果表明,基于论文PageRank值加权的聚类算法能改善文本聚类效果.该算法可推广到网页的聚类中,利用网页的PageRank进行加权聚类,来改善网页的聚类效果. 相似文献
11.
12.
[目的/意义] 为解决现有网页文本缺乏起源标注的问题,提出一种借助PROV本体发现相似网页文本起源关系的方法。[方法/过程] 通过聚类算法、自动语义标注和关联数据构建等技术的综合应用,结合PROV-POL溯源模型,检测网页文本实体的演变过程,实现文本级和属性级两级溯源方案。[结果/结论] 实验验证了借助语义网技术和数据溯源模型实现网页文本数据溯源的可行性,但实验过程中聚类算法的召回率有待提高。 相似文献
13.
Bin Gao Tie-Yan Liu Yuting Liu Taifeng Wang Zhi-Ming Ma Hang Li 《Information Retrieval》2011,14(5):488-514
This paper is concerned with Markov processes for computing page importance. Page importance is a key factor in Web search.
Many algorithms such as PageRank and its variations have been proposed for computing the quantity in different scenarios,
using different data sources, and with different assumptions. Then a question arises, as to whether these algorithms can be
explained in a unified way, and whether there is a general guideline to design new algorithms for new scenarios. In order
to answer these questions, we introduce a General Markov Framework in this paper. Under the framework, a Web Markov Skeleton Process is used to model the random walk conducted by the web surfer on a given graph. Page importance is then defined as the product
of two factors: page reachability, the average possibility that the surfer arrives at the page, and page utility, the average value that the page gives to the surfer in a single visit. These two factors can be computed as the stationary
probability distribution of the corresponding embedded Markov chain and the mean staying time on each page of the Web Markov
Skeleton Process respectively. We show that this general framework can cover many existing algorithms including PageRank,
TrustRank, and BrowseRank as its special cases. We also show that the framework can help us design new algorithms to handle
more complex problems, by constructing graphs from new data sources, employing new family members of the Web Markov Skeleton
Process, and using new methods to estimate these two factors. In particular, we demonstrate the use of the framework with
the exploitation of a new process, named Mirror Semi-Markov Process. In the new process, the staying time on a page, as a random variable, is assumed to be dependent on both the current page
and its inlink pages. Our experimental results on both the user browsing graph and the mobile web graph validate that the
Mirror Semi-Markov Process is more effective than previous models in several tasks, even when there are web spams and when
the assumption on preferential attachment does not hold. 相似文献
14.
Xu Zhuang Yan Zhu Chin-Chen Chang Qiang Peng Faisal Khurshid 《Information Retrieval》2017,20(6):547-574
Web spam pages exploit the biases of search engine algorithms to get higher than their deserved rankings in search results by using several types of spamming techniques. Many web spam demotion algorithms have been developed to combat spam via the use of the web link structure, from which the goodness or badness score of each web page is evaluated. Those scores are then used to identify spam pages or punish their rankings in search engine results. However, most of the published spam demotion algorithms differ from their base models by only very limited improvements and still suffer from some common score manipulation methods. The lack of a general framework for this field makes the task of designing high-performance spam demotion algorithms very inefficient. In this paper, we propose a unified score propagation model for web spam demotion algorithms by abstracting the score propagation process of relevant models with a forward score propagation function and a backward score propagation function, each of which can further be expressed as three sub-functions: a splitting function, an accepting function and a combination function. On the basis of the proposed model, we develop two new web spam demotion algorithms named Supervised Forward and Backward score Ranking (SFBR) and Unsupervised Forward and Backward score Ranking (UFBR). Our experiments, conducted on three large-scale public datasets, show that (1) SFBR is very robust and apparently outperforms other algorithms and (2) UFBR can obtain results comparable to some well-known supervised algorithms in the spam demotion task even if the UFBR is unsupervised. 相似文献
15.
信息抽取是从海量网页获取有价值信息的重要方式,对目标网页内容进行主题相关性判断是提高信息抽取效率和准确性的关键环节。目前的相关性判断主要采用人工筛选和文档训练的方法,这其中存在效率低、重复训练等问题,而本文尝试针对抽取任务引入主题描述模型用于网页内容的主题相关性判断。从任务的主题描述模型的角度出发,计算模型中的关键词基于标记信息的加权频率,将网页内容进行量化表示,然后分析关键词加权频率关于任务主题描述模型的变化来判断网页内容的主题相关性。最后通过对比该方法在国防产品信息抽取中结果,实验证明该方法大大提高了网页信息抽取的效率和准确性。 相似文献
16.
为了减少或根除新闻网站中大量非主题信息的干扰，提出一种新闻网页抽取方法，采用基于熵的计算和DOM树的知识，从新闻网页中抽取主题文档和相关链接。 相似文献