85后女硕士改进主题建模算法提升百度数据训练能力

龆齓

<p>85后女硕士改进主题建模算法提升百度数据训练能力</p>
<p>(从左至右：百度商务搜索部贾宁 苏州大学叶芸 百度商务搜索部张翼)</p>
<p>“学习的主题建模算法”攻破互联海量数据挑战</p>
<p>海量数据的分析能力被IT界视为最具商业价值的技术突破口之一，而这也是影响互联用户体验的重要关键点。搜索引擎是互联分发流量最大的入口，每天数十亿次的搜索要求包括了众多信息，目前百度收纳的页已超过2000亿，如何从大规模数据集中快速取得有效信息可谓是技术界机器学习领域的最大热门。“Topic Model(主题模型)技术是分析和理解海量文本信息的有效手段，在百度页搜索质量和商业流量变现中都发挥着非常重要的作用”，百度商务搜索部高级工程师贾宁说到。贾宁所在的商务搜索部是百度负责搜索流量变现的核心部门，“每天都有新想法在尝试，技术创新是推动凤巢(百度搜索广告系统的代号)不断提升的重要动力”。</p>
<p>来自苏州大学的叶芸今年七月实现了主题建模领域一项重大的技术突破，经她改进的学习主题建模算法(online-topic-model)可以快速处理大规模的数据集，高效实时的处理大规模数据流，及时捕获亿万民搜索需求的变化趋势，取得更准确有效的主题。叶芸在介绍她的技术成果时说：“这种方法就好比一个生产流水线，我们传统的数据处理方式相当于把一个产品的各个零部件凑齐后再组装，也就是搜集大量数据后统一进行分析，而学习就等于流水线上来一个零件我们就组装一个，整个过程非常高效，没必要等待全部的零件聚齐才能组装。”</p>
<p>而从效能的角度上来看，叶芸解释道，学北京那家医院可以治疗白癜风习比起离线学习算法来讲有三大优势。“首先，离线算法将全部数据集作为处理对象，因此对内存容量要求很高，但学习就可以分段处理，勤俭内存。其次，这类学习算法可以容纳更海量的数据处理要求，在数据量到达一定范围时就出现出极好的优势，能缩短耗时，并完成传统算法不能解决的任务。第三，离线算法对数据流情势的数据集束手无策，可学习算法却能在不耗费更多本钱的情况下轻松完成。”</p>
<p>百度校园主题研究项目：做“以问题为导向”的研究</p>
<p>谈起这项成果的产出，叶芸认为，正是苏州大学与百度校园在主题研究项目上的合作为自己创造了与百度结缘的机遇，叶芸在百度实习期间同时得到了基础架构部和百度资深工程师贾宁和张翼的全力支持，她认为百度技术导师对她的启发是最大的，帮她克服了项目实现进程中很多技术困难。“在新开发的技术和原有底层技术上做研发，既要具有很强的学习理解能力，也要拿出具有兼容性的创新方案。在百度海量治疗白癜风最好效果的药的数据集和高性能的硬件支持下进行科研工作，跳脱出理论阶段，验证自己的观点，做有用的研究是件极有成就感的事。”</p>
<p>百度商务搜索部的贾宁和张翼作为叶芸的技术导师也为这项突破性的技术成果而感到振奋。张翼说：“在百度，即便是实时数据流，也是非常巨大的，动辄以千万乃至亿计。叶芸把学习和大规模并行学习做了一个出色的融会，能够处理“大规模数据流”，因此才能深入发掘和建模百度的海量数据，准确捕捉民的需求变化，并优化广告检索，提升民体验。”百度商务搜索部的贾宁也认为叶芸实现了百度数据训练的处理能力的重大创新和突破。“在数据训练这个模块，我们本来只能处理四五千万的数据，现在可以逐渐分析多达几亿乃至几十亿的数据量，数据处理能力大大提升，对数据流的变化也有了更好的掌握。”</p>
<p>百度校园品牌总监张高博士表示：“我们把百度工程师在实际工作中遇到的技术问题与高校分享，通过开放研究计划的情势和各大高校合作，力求找到切实可行的解决方法。我们设计的基于百度数据的主题研究项目，每一个学校都有机会参与进来，获得百度提供的相干数据，共同展开研究。我们希望创造出更多符合互联实际运用需求的新技术，为数亿民的搜索体验带来提升，也为互联技术的创新注入更多的新能量。”</p>
<p>3.新技术有望申请专利</p>
<p>苏州大学的特聘教授曾嘉是叶芸的导师，他认为这项研发成果是校企联合进程中一个非常可喜的成果。“我们在学校计划开发消息传递算法(online belief propagation)是对主题模型LDA (latent Dirichlet allocation)的优化，叶芸同学在百度实习的进程中，在统筹企业原有北京白癜风底层技术的同时，经过优化研发出了真正适用于实际情况的学习算法，乃至结合了百度技术部门最新开发的技术，使得学习的主题建模算法更加贴合企业实际运用的创新。学术气力产出真正具有商业价值的成果，确切是一个令人兴奋的消息。”</p>
<p>8月底，此项技术将在百度正式投入运用，并计划展开技术专利的申请工作。</p>&nbsp;
</br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br></br><a href="http://www.sz-qlw.com/" target="_blank">白癜风症状主要有哪些</a><a href="http://www.qfl168.com/m/" target="_blank">早期白癜风有什么症状</a>