如何使用SpringDataElasticsearch结合SpEL表达式构建动态Elasticsearch索引?
- 内容介绍
- 文章标签
- 相关推荐
本文共计1471个文字,预计阅读时间需要6分钟。
目录+前言+实现+动态获取索引类+索引数据模型+ES存储库实现+测试+注意+前言+在一般情况下,当我们使用Spring Data Elasticsearch去操作ES时,索引名称都会在@Document注解中指定为死。
目录
- 前言
- 实现
- 动态获取索引类
- 索引数据模型
- ES存储库实现
- 测试
- 注意
前言
一般情况下,当我们使用SpringDataElasticsearch去操作ES时,索引名称都会在@Document注解中写死,每次都是对这个固定的索引进行操作。
假如我们现在处于一个多租户系统中,每个租户都有自己所对应的用户数据,而这些用户数据都会被导入到ES中,那怎么实现各个租户的用户数据索引隔离呢?
换言之,在同一个索引结构的情况下怎么实现一个租户一个索引?
解决方案:使用SpEL表达式动态获取索引。
实现
动态获取索引类
DynamicIndex.java
package cn.xeblog.userprovider.es; import cn.hutool.core.util.StrUtil; import org.springframework.stereotype.Component; /** * 动态索引 * * @author anlingyi * @date 2022/2/19 6:52 下午 */ @Component public class DynamicIndex { private static final ThreadLocal<String> THREAD_LOCAL = new ThreadLocal<>(); /** * 获取索引名称后缀 * * @return */ public String getSuffix() { return THREAD_LOCAL.get(); } /** * 设置索引名称后缀 * * @param suffix */ public void setSuffix(String suffix) { THREAD_LOCAL.set(suffix); } /** * 移除当前索引 */ public void remove() { THREAD_LOCAL.remove(); } /** * 获取当前索引 * * @return */ public String getIndex() { if (StrUtil.isBlank(getSuffix())) { return null; } return "user_" + getSuffix(); } }
原理:一般在请求后台接口的时候,我们会根据前端传过来的Token,解析出当前的用户信息,然后放置在当前请求线程的ThreadLocal中,当调用getIndex()方法时,会从当前线程的ThreadLocal中获取出用户的编号(索引后缀),然后拼接为一个完整的索引返回。
我这里为了方便测试,提供了setSuffix()、remove()等方法,用于手动设置或移除当前索引后缀。
索引数据模型
EsUserInfo.java
package cn.xeblog.userprovider.es.model; import lombok.Data; import org.springframework.data.annotation.Id; import org.springframework.data.elasticsearch.annotations.Document; /** * 用户信息 * * @author anlingyi * @date 2022/2/19 6:47 下午 */ @Data @Document(indexName = "#{@dynamicIndex.getIndex()}", type = "_doc", createIndex = false) public class EsUserInfo { @Id private Long id; /** * 用户名 */ private String username; /** * 性别 */ private String gender; /** * 年龄 */ private Integer age; }
将indexName设置为#{@dynamicIndex.getIndex()},这是一个SpEL表达式,dynamicIndex就是我们上面创建的动态获取索引类的对象,当需要获取索引名称的时候,getIndex()方法就会被调用。
createIndex一定要设置为false,避免当项目启动时索引被自动创建。
ES存储库实现
EsUserInfoRepository.java
无需定义任何方法
package cn.xeblog.userprovider.es; import cn.xeblog.userprovider.es.model.EsUserInfo; import org.springframework.data.elasticsearch.repository.ElasticsearchRepository; /** * @author anlingyi * @date 2022/2/19 6:55 下午 */ public interface EsUserInfoRepository extends ElasticsearchRepository<EsUserInfo, Long> { }
测试
package cn.xeblog.userprovider.es; import cn.xeblog.userprovider.es.model.EsUserInfo; import org.junit.jupiter.api.Test; import org.springframework.boot.test.context.SpringBootTest; import javax.annotation.Resource; import static org.junit.jupiter.api.Assertions.*; /** * @author anlingyi * @date 2022/2/19 6:57 下午 */ @SpringBootTest class EsUserInfoRepositoryTest { @Resource private EsUserInfoRepository esUserInfoRepository; @Resource private DynamicIndex dynamicIndex; @Test public void addUserInfo() { EsUserInfo userInfo = new EsUserInfo(); userInfo.setId(1L); userInfo.setUsername("张三"); userInfo.setGender("男"); userInfo.setAge(18); // 索引后缀为当前租户ID:10001 dynamicIndex.setSuffix("10001"); // 为租户10001添加用户 esUserInfoRepository.save(userInfo); // 移除后缀 dynamicIndex.remove(); EsUserInfo userInfo2 = new EsUserInfo(); userInfo2.setId(2L); userInfo2.setUsername("李四"); userInfo2.setGender("男"); userInfo2.setAge(21); // 索引后缀为当前租户ID:10002 dynamicIndex.setSuffix("10002"); // 为租户10002添加用户 esUserInfoRepository.save(userInfo2); // 移除后缀 dynamicIndex.remove(); } }
我这里分别为租户10001和租户10002各创建了一个用户。
注意
除了createIndex一定要设置为false之外,还有一个需要特别注意的地方:
DynamicIndex的getIndex()方法在获取不到当前的索引后缀的情况下,一定要返回null !!!
/** * 获取当前索引 * * @return */ public String getIndex() { if (StrUtil.isBlank(getSuffix())) { // 一定要返回null return null; } return "user_" + getSuffix(); }
为什么呢?
浅看一下ElasticsearchRepository.java源码你就懂了。
AbstractElasticsearchRepository.java是ElasticsearchRepository.java的具体实现类,我们看一下这个类的save()方法的实现代码
@Override public <S extends T> S save(S entity) { Assert.notNull(entity, "Cannot save 'null' entity."); elasticsearchOperations.index(createIndexQuery(entity)); elasticsearchOperations.refresh(entityInformation.getIndexName()); return entity; }
当执行到elasticsearchOperations.refresh(entityInformation.getIndexName());这行代码时,获取到的索引后缀可能为空。
原因在于entityInformation.getIndexName()
MappingElasticsearchEntityInformation.java
@Override public String getIndexName() { return indexName != null ? indexName : entityMetadata.getIndexName(); }
在项目启动时,SpringDataElasticsearch会去解析一次@Document注解获取出索引名称,并将索引名称保存到MappingElasticsearchEntityInformation.java类的indexName字段中,后续调用entityInformation.getIndexName()时,indexName字段值不为null时会直接返回,不会再去解析@Document注解。
这样就存在一个问题,当项目启动的时候getSuffix()返回的肯定是null,如果在getIndex()方法中去掉判空代码,第一次调用时,返回的索引名称肯定会是user_null,这样就会出现索引不存在的问题。
到此这篇关于SpringDataElasticsearch与SpEL表达式实现ES动态索引的文章就介绍到这了,更多相关SpringDataElasticsearch实现ES动态索引内容请搜索自由互联以前的文章或继续浏览下面的相关文章希望大家以后多多支持自由互联!
本文共计1471个文字,预计阅读时间需要6分钟。
目录+前言+实现+动态获取索引类+索引数据模型+ES存储库实现+测试+注意+前言+在一般情况下,当我们使用Spring Data Elasticsearch去操作ES时,索引名称都会在@Document注解中指定为死。
目录
- 前言
- 实现
- 动态获取索引类
- 索引数据模型
- ES存储库实现
- 测试
- 注意
前言
一般情况下,当我们使用SpringDataElasticsearch去操作ES时,索引名称都会在@Document注解中写死,每次都是对这个固定的索引进行操作。
假如我们现在处于一个多租户系统中,每个租户都有自己所对应的用户数据,而这些用户数据都会被导入到ES中,那怎么实现各个租户的用户数据索引隔离呢?
换言之,在同一个索引结构的情况下怎么实现一个租户一个索引?
解决方案:使用SpEL表达式动态获取索引。
实现
动态获取索引类
DynamicIndex.java
package cn.xeblog.userprovider.es; import cn.hutool.core.util.StrUtil; import org.springframework.stereotype.Component; /** * 动态索引 * * @author anlingyi * @date 2022/2/19 6:52 下午 */ @Component public class DynamicIndex { private static final ThreadLocal<String> THREAD_LOCAL = new ThreadLocal<>(); /** * 获取索引名称后缀 * * @return */ public String getSuffix() { return THREAD_LOCAL.get(); } /** * 设置索引名称后缀 * * @param suffix */ public void setSuffix(String suffix) { THREAD_LOCAL.set(suffix); } /** * 移除当前索引 */ public void remove() { THREAD_LOCAL.remove(); } /** * 获取当前索引 * * @return */ public String getIndex() { if (StrUtil.isBlank(getSuffix())) { return null; } return "user_" + getSuffix(); } }
原理:一般在请求后台接口的时候,我们会根据前端传过来的Token,解析出当前的用户信息,然后放置在当前请求线程的ThreadLocal中,当调用getIndex()方法时,会从当前线程的ThreadLocal中获取出用户的编号(索引后缀),然后拼接为一个完整的索引返回。
我这里为了方便测试,提供了setSuffix()、remove()等方法,用于手动设置或移除当前索引后缀。
索引数据模型
EsUserInfo.java
package cn.xeblog.userprovider.es.model; import lombok.Data; import org.springframework.data.annotation.Id; import org.springframework.data.elasticsearch.annotations.Document; /** * 用户信息 * * @author anlingyi * @date 2022/2/19 6:47 下午 */ @Data @Document(indexName = "#{@dynamicIndex.getIndex()}", type = "_doc", createIndex = false) public class EsUserInfo { @Id private Long id; /** * 用户名 */ private String username; /** * 性别 */ private String gender; /** * 年龄 */ private Integer age; }
将indexName设置为#{@dynamicIndex.getIndex()},这是一个SpEL表达式,dynamicIndex就是我们上面创建的动态获取索引类的对象,当需要获取索引名称的时候,getIndex()方法就会被调用。
createIndex一定要设置为false,避免当项目启动时索引被自动创建。
ES存储库实现
EsUserInfoRepository.java
无需定义任何方法
package cn.xeblog.userprovider.es; import cn.xeblog.userprovider.es.model.EsUserInfo; import org.springframework.data.elasticsearch.repository.ElasticsearchRepository; /** * @author anlingyi * @date 2022/2/19 6:55 下午 */ public interface EsUserInfoRepository extends ElasticsearchRepository<EsUserInfo, Long> { }
测试
package cn.xeblog.userprovider.es; import cn.xeblog.userprovider.es.model.EsUserInfo; import org.junit.jupiter.api.Test; import org.springframework.boot.test.context.SpringBootTest; import javax.annotation.Resource; import static org.junit.jupiter.api.Assertions.*; /** * @author anlingyi * @date 2022/2/19 6:57 下午 */ @SpringBootTest class EsUserInfoRepositoryTest { @Resource private EsUserInfoRepository esUserInfoRepository; @Resource private DynamicIndex dynamicIndex; @Test public void addUserInfo() { EsUserInfo userInfo = new EsUserInfo(); userInfo.setId(1L); userInfo.setUsername("张三"); userInfo.setGender("男"); userInfo.setAge(18); // 索引后缀为当前租户ID:10001 dynamicIndex.setSuffix("10001"); // 为租户10001添加用户 esUserInfoRepository.save(userInfo); // 移除后缀 dynamicIndex.remove(); EsUserInfo userInfo2 = new EsUserInfo(); userInfo2.setId(2L); userInfo2.setUsername("李四"); userInfo2.setGender("男"); userInfo2.setAge(21); // 索引后缀为当前租户ID:10002 dynamicIndex.setSuffix("10002"); // 为租户10002添加用户 esUserInfoRepository.save(userInfo2); // 移除后缀 dynamicIndex.remove(); } }
我这里分别为租户10001和租户10002各创建了一个用户。
注意
除了createIndex一定要设置为false之外,还有一个需要特别注意的地方:
DynamicIndex的getIndex()方法在获取不到当前的索引后缀的情况下,一定要返回null !!!
/** * 获取当前索引 * * @return */ public String getIndex() { if (StrUtil.isBlank(getSuffix())) { // 一定要返回null return null; } return "user_" + getSuffix(); }
为什么呢?
浅看一下ElasticsearchRepository.java源码你就懂了。
AbstractElasticsearchRepository.java是ElasticsearchRepository.java的具体实现类,我们看一下这个类的save()方法的实现代码
@Override public <S extends T> S save(S entity) { Assert.notNull(entity, "Cannot save 'null' entity."); elasticsearchOperations.index(createIndexQuery(entity)); elasticsearchOperations.refresh(entityInformation.getIndexName()); return entity; }
当执行到elasticsearchOperations.refresh(entityInformation.getIndexName());这行代码时,获取到的索引后缀可能为空。
原因在于entityInformation.getIndexName()
MappingElasticsearchEntityInformation.java
@Override public String getIndexName() { return indexName != null ? indexName : entityMetadata.getIndexName(); }
在项目启动时,SpringDataElasticsearch会去解析一次@Document注解获取出索引名称,并将索引名称保存到MappingElasticsearchEntityInformation.java类的indexName字段中,后续调用entityInformation.getIndexName()时,indexName字段值不为null时会直接返回,不会再去解析@Document注解。
这样就存在一个问题,当项目启动的时候getSuffix()返回的肯定是null,如果在getIndex()方法中去掉判空代码,第一次调用时,返回的索引名称肯定会是user_null,这样就会出现索引不存在的问题。
到此这篇关于SpringDataElasticsearch与SpEL表达式实现ES动态索引的文章就介绍到这了,更多相关SpringDataElasticsearch实现ES动态索引内容请搜索自由互联以前的文章或继续浏览下面的相关文章希望大家以后多多支持自由互联!

