当前位置：首页 > news >正文

深圳市甘泉建设监理有限公司网站腾讯云域名注册官网

news 2025/11/4 17:02:38

深圳市甘泉建设监理有限公司网站,腾讯云域名注册官网,外贸网站模板设计,工装定制目录为什么要将LAC改造成ES插件？ 怎么将LAC改造成ES插件？ 确认LAC java接口能work 搭建ES插件开发调试环境编写插件生成插件安装、运行插件 linux版本的动态链接库生成总结参考文档为什么要将LAC改造成ES插件？ ES是著名的非…

为什么要将LAC改造成ES插件？

怎么将LAC改造成ES插件？

确认LAC java接口能work

搭建ES插件开发调试环境

编写插件

生成插件

安装、运行插件

linux版本的动态链接库生成

总结

参考文档

为什么要将LAC改造成ES插件？

ES是著名的非关系型文档数据库，开源、近实时、分布式，很多搜索引擎比如github、维基百科等都是以ES为骨架搭建的。我们也想基于ES搭建一套自己的搜索引擎。搜索引擎涉及到大量的自然语言处理（nlp），当前nlp的大量库类，尤其神经网络，基本都是基于python开发的，很少基于其他语言的。然而ES是用java语言开发的，这导致它没能很好的和当前nlp技术融合。但是ES有一个优点：预留了插件接口，这使它保留了扩展能力。一个很自然的想法就是，把python的nlp类库包装成ES插件。

我们调研后发现，常见的ES分词插件比如IK，效果其实一般。LAC是百度研发的一款词法分析工具，分词准确度、运行速度都不错。我们希望把它改造成ES插件。LAC本身python第三方库，官方也提供了c++、java、android语言的调用接口。具体见GitHub - baidu/lac。

根据github上公开的源码，我们发现，LAC的java接口其实是用JNI调c++的动态链接库。它还提供了window环境下编译好的LAC动态链接库以及java调用的demo （https://github.com/baidu/lac/releases/tag/v2.0.0）。这太好了，我们就以windows环境下的ES-LAC插件开发作为切入点。

开发环境说明：

windows 10

intellij IDEA 2020.1.2社区版

gradle是intellij IDEA自带的，6.6.1

java 14

elasticsearch 7.10.2版github源码

lac4javawin

（java和IDEA版本是经过千辛万苦试探出来的，建议别瞎改）

怎么将LAC改造成ES插件？

确认LAC java接口能work

解压lac4javawin，同地址下载models_general。把LacMulti.java部分的argv拼写错误修正（或者把这个LacMulti.java删掉）。修改model_path为models_general下的lac路径，必要时将system.loadlibrary修改成system.load（lacjni.dll的绝对路径，不省略后缀），

运行lacDemo.java。能对输入的句子进行分词即为成功。

搭建ES插件开发调试环境

es调试有两种方式：远程调试，本地调试。

远程调试是指：远方服务器上运行es，本地也启动同版本的es，远方和本地建立联系，那么在本地打上的断点，远方可以传回对应的断点内部值，实现了调试。相当于本地负责打断点，远方负责执行。这样做的好处是：本地不需要真的运行程序，对资源要求很低，而远方的程序保持在远方的环境下，是真正生产中的运行状态，不存在迁移环境带来的问题。唯一的要求，需要调试的部分，远程和本地得是一致的，其他地方，比如本地多加载了一个插件，不会影响调试

本地调试是指：直接在本地编译es，运行起来，在localhost:9200可以访问到es，这个编译好的es在本地真的搭起了一个文档数据库。

回到我们开发调试ES的场景：有一个半成品es插件，es可能因为插件的bug而报错终止。那么远程程序运行不起来，本地也不用想着调试了。所以，ES插件的开发调试环境，只能是本地调试。本地调试的步骤如下：

到github上release链接里下载7.10.2版本的ES源码。然后按照Elasticsearch idea本地启动/调试教程-适用不同操作系统_热心小伙chj的博客-CSDN博客里的步骤启动本地调试。注意：run configurations里，VM option里的路径，保持windows下的反斜杠，不用修改。同时，一定要勾选上“include independencies with provided scope”。