【ES三周年】浅谈Elasticsearch Serverless设计与选择
Why Elasticsearch Serverless
最近,云上许多数据存储和分析应用,如MongoDB、Kafka、AstraDB、ClickHouse、DynamoDB等都提供了Serverless模式。这些应用通过Serverless平台,使用者可以轻松部署和管理应用程序,并以最小的成本使用云资源。
(资料图片仅供参考)
Serverless之所以成为一个热潮,其原因在于这种模式对于云上的应用供应商和用户来说都提供了极大的好处:
减少成本通过Serverless模式,供应商可以节省大量的服务器管理和维护费用。同时,用户只需在使用时付费,而不是预付服务器租赁费用,从而大大降低了成本。灵活性增强通过Serverless模式,用户可以随时在云上部署、扩展和缩减应用。用户不再需要担心服务器管理和维护,可以更加专注于自己的业务。提高可靠性通过Serverless模式,供应商可以提供高可靠性的服务,通过自动扩展和冗余机制,确保应用始终保持可用。而Elasticsearch作为一个被广泛使用的搜索引擎,与其他的数据存储和分析应用一样,用户在成本、稳定性、灵活性上对Elasticsearch服务有很高的要求,相对于已经有的PaaS服务,越来越多的用户期望的是一个完全托管的体验,希望能从管理软件和操作系统版本、管理部署拓扑结构、管理容量和资源大小、应用低级配置(如某个线程池的大小)、管理高可用性、备份和持续的集群操作以及监测健康状况的负担中解放出来。
我们期望Serverless的Elasticsearch service能够处理资源配置,尽可能地自动适应支持用户的工作负载,自动从故障中恢复,加密数据,管理软件升级,执行备份,并执行一个完全管理的服务所需的其他任务。
所以,本文旨在介绍如何设计一个Elasticsearch Serverless应用,并通过探讨一些指导性的原则, 帮助我们理解Elasticsearch Serverless应用应该具备哪些特性,并以此作为我们选择Elasticsearch Serverless的评估参考项。
Elasticsearch Serverless的设计考虑因素
在设计Elasticsearch serverless应用时,我们需要保证serverless应用不会降低一个PaaS产品所能提供给用户的体验,并且应该尽可能的强化与改进,包括:
可扩展性:Serverless应用必须具有良好的可扩展性,以应对不断增长的数据量和请求量。可用性:应用必须在任何时候都可以对外提供服务,确保高可用性。灵活性:用户必须能够根据自己的需求来调整资源配置,而不需要进行任何繁琐的操作。效率:应用必须在最短的时间内处理请求,提供最快的响应速度。安全性:应用必须具有良好的安全性,以保护用户的数据不被非法访问。在这个基础上,Elasticsearch serverless还应该具备以下特性:
缩放到零,按需计费。Serverless应用的核心优势在于用户只需在使用时付费,而不是预付服务器租赁费用。对于没有占用的资源,Serverless应该能够将其“释放”(共享),并且不对用户收取费用对现在集群模式进行抽象、屏蔽与隔离。具体来说,就是对于Elasticsearch上的集群、节点、索引、分片等概念进行抽象与屏蔽。提供类似“项目”,“空间”等概念,隐藏物理部署,并让用户可以组织相关的资源分组(例如dashboard、可视化和索引等),以支撑共享资源上的逻辑隔离与多租户保留核心API,兼容Elastic生态。在Serverless上,大多数控制部署和Elasticsearch集群的物理性的API需要对用户屏蔽(例如cluster API
, node lifecycle API
, cloud deployment management APIs
),但需要保留索引和搜索的核心API功能,尽可能地让用户能从Elastic Stack广泛的生态系统和强大的社区用例中受益。明确的Serverless的主流使用场景。Elasticsearch serverless并非适用于所有场景,一些高度定制化,或者对集群性能有极致要求,有超高吞吐的场景更适合使用专有集群。Elasticsearch serverless不应该过度承诺,而应该在使用说明中,给用户指明合适的用例,或者不适合的场景。提供场景化的方案。Elasticsearch作为一个通用搜索引擎和数据分析工具,相对于其他工具最大的不同是,其广泛的应用于多种场景,如搜索、企业搜索、日志分析、用户行为分析、全观测,安全分析等各种不同场景。而在不同场景下,Elasticsearch,以及整个Elastic Stack在部署拓扑结构、容量和资源大小配置、应用低级配置、数据类型与管理等方面都有不同,Serverless应该为用户提供对应的场景选择,并根据最佳实践,配置场景对应所需的底层配置和管理。提供完整的Elastic Stack的Serverless。这是对场景化方案的延续,特别是对于用于企业搜索、日志分析、全观测性、安全的场景,类似于像采集模块的集中管理软件、机器学习节点、数据处理软件、APM拨测软件等,也应该提供Serverless模式,并且能够在界面上完成Serverless应用的端到端的配置。提供平衡成本与性能的杠杆。Serverless虽然为用户屏蔽及代管了操作和管理层面的许多细节。但不意味着用户不再需要针对自己的情况进行调整。Serverless应用应该抽象出调节性的配置功能,比如,在日志场景中,可以选择数据分层存储的数据留存时间、所使用的存储介质,或者选择在可能的数据洪峰来临时,优先保证吞吐而是账单。对于搜索场景,可以选择“普通,”“快”,“极快”,“多”,“极多”等条件,来描述对延迟与并发的要求,以方便调节,以便在短期或长期上调整,获得更大的缓存层以及更多的副本。与已有的Elasticsearch集群协同。虽然Elasticsearch Serverless很难与已有的自建或云上托管的Elasticsearch集群100%兼容,但至少在数据迁移以及跨集群查询(CCS)、跨集群复制(CCR)上能够对接上,以减少使用上的摩擦。选择Elasticsearch Serverless的指导原则
上面,我们列举了一个设计良好的Elasticsearch serverless应该具备的特性。通过了解这些特性,我们能够更好的从整体上了解及评估各个云厂商提供的Elasticsearch serverless。但当我们讨论如何选择时,将会有更多的考虑因素,这里也将进行探讨选择的指导原则,而重点会落在用户体验上。
从功能清单上进行评估并测试
在上文提到的Elasticsearch Serverless设计考虑因素会是功能清单的基础。我们可以在电子表格中列举所有考虑条件和考虑项,并进行全面的测试,确保业务正常运行的同时,也验证Serverless提供的基础功能是有效的,而非只是宣传博眼球。根据测试的结果,进行打分比较,最终打出一个可以比较的客观的评估分数用于选择。一般流程如下:
创建表枚举您定义的所有条件确定每个标准的权重评估并测试所有候选Elasticsearch Serverless服务的每个标准将您对该标准的评估乘以分配的权重,从而生成每个厂商的标准分数总结各个Elasticsearch Serverless所有标准的分数当然,功能记分卡不会直接确定最终的选择。我们还需要考虑功能之外的因素。
选择适合的Elasticsearch serverless演进路线
就目前而言,我们能看到的Elasticsearch serverless有两种模式,一种是在容器化的基础上,结合存算分离,读写分离的改造,为用户提供极致弹性扩缩容功能的专有集群。另一种,则主要是在多租户上发力,通过控制层面上的改造,实现单个大集群内的资源逻辑隔离与分配,在大的资源池中动态分配每个用户所需的资源,为用户提供共享的集群。
从厂商的角度来说,最终的serverless形态会以多租户共享集群为主,任何一个节点都可以执行任意用户的任务。但从演进的路径上,选择会有不同。有些会从存算分离、auto scaling开始演进,有些会从大集群的资源隔离开始。用户在选择之前,可以首先评估一下不同的方案可能的优缺点。
Elasticsearch serverless的可观测性
Elasticsearch serverless相对于自建集群和PaaS托管集群会更复杂,同时,因为对API进行了删减,向用户隐藏了物理架构,日志、指标等细节,会使得Elasticsearch serverless更像是一个黑盒产品,其最终的呈现有可能会超出我们原先对于Elasticsearch的理解。因此,一个具备更好可观测性的Elasticsearch serverless产品会是更好的选择。
Elasticsearch serverless异常的可见性
目前大多数的Elasticsearch serverless都不提供集群的日志和指标信息,以至于我们无法在服务器端及时发现可能的错误和异常。因此需要进行比较详细的测试和POC。在测试中,我们需要验证每一个API的功能,特别是对接口的在过压情况下的反应,是否出现了服务响应错误,响应过慢,无响应。一个好的serverless服务,会在控制台上提供主动的异常告知,同时,在客户端,会返回表述清楚的错误状态码和解释。
Elasticsearch serverless的文档
相对于可以看到源码,自己完全掌控部署和管理的自建及云上Elasticsearch集群,Elasticsearch Serverless更加需要详尽的文档。特别是考虑到前面提到的可观测性的问题,测试中异常不可见的问题,越是详尽文档,越能帮助我们快速的解决问题。特别是serverless服务应该是一项自助式的服务。“自助式”代表着我们可以没有供应商参与的情况下自己构建所需的服务。一方面,这依赖于产品在易用性上的设计,另一方面,则是依赖产品的文档,通过文档的指引,或构建服务或解决问题。
仅目前来看,大多数的Elasticsearch serverless的文档都差强人意,但用户还是可以自己判断哪家的文档写得有诚意的。
总结
大多数Serverless用户,在初始选择Serverless的时候都是非常谨慎的。通常用户会从较小规模开始,然后不断增长。通过在这个评估的初始阶段提供出色的体验,好的Elasticsearch serverless将留住更多的这些用户,并促使他们更多的与服务一起成长。
因此,Elasticsearch serverless成功的关键将不是比拼谁推出得早,而是一场用户体验的比拼。谁提供的Serverless服务更加人性,更加经济,更加弹性,更容易运维,更能满足用户的需求,谁就将在这个竞争中获得优势。
推荐文章
- 【ES三周年】浅谈Elasticsearch Serverless设计与选择
- 中国一次性建设规模最大的原油商业储备库项目正式投用 世界微速讯
- 关于2023路虎揽胜星脉你不知道的事
- 【当前独家】甘肃基础研究类科技计划项目开始申报
- 福特蒙迪欧怎么样_福特蒙迪欧和速派哪个好
- 金城武究竟是哪个国家的人|快看
- 老虎里维埃拉再出山 - 超级分组!老虎、小麦、JT捷恩斯邀请赛同组 热消息
- 梦幻西游妙法慧心任务攻略
- 每日快播:摸底北京房贷市场:多家银行承认均可以办理“接力贷”
- 护理考研的好处_考研的好处|今日观点
- 看,线下会展热闹起来-世界动态
- td80羽毛球拍_td80t|今日播报
- 视讯!买理财净值的意思是什么
- 全球时讯:姓名打分
- 【两会云访谈】听听政协委员建言资政好声音-热资讯
- 全球最资讯丨电信cdma手机大全_电信智能手机
- 世界讯息:赴汤蹈火的意思的读法
- 嵩山在我国哪个省 嵩山位置在哪 独家焦点
- 天天观点:肖战英文名字_肖战英文名
- 广西首单“绿色+乡村振兴”超短期融资券发行-新资讯
- 窝藏包庇罪处罚规定是怎样的 焦点观察
- 销项是什么意思?
- 环球百事通!冬虫夏草香烟价格查询_冬虫夏草香烟价格表及图片2018一览表
- 环球速讯:宇环数控董秘回复:公司正按照既定的发展规划
- 微软表示Xbox 360 Marketplace将在2023年5月后继续存在|环球今日讯
- 搜汉字历史资料|焦点简讯
- 沃恩:会想办法为本西调整阵容 配大个子&持球手&小阵容都得试试
- 太阳四巨头首次同框!与独行侠结下梁子?罗斯重现小乔丹反悔一幕
- 就职演讲稿5篇精选 天天热文
- 世界观点:2月14日北京大兴兼职求职信息汇总
- matter的用法
- 天天速讯:顺丰网官网登录_顺丰网官网
- 关于经典爆笑脑筋急转弯大全100则
- 南非北部发生两车相撞事故 至少20人死亡
- 全球最资讯丨送女儿生日鲜花什么花好
- 世界视点!喝酒的经典句子
- 当前快看:世界数字教育大会高等教育平行论坛成功举办
- 风雪中护航春运,他扎根长白山下30年
- 表扬信 环球播报
- 问道队伍号名字3男2女_问道队伍号名字
- 热点聚焦:浪漫指数升高,厦门花市玫瑰价格上涨
- 焦点播报:风语筑:公司分别基于文心大模型ERNIE和Stable Diffusion打造击鼓舞狮的Al交互体验
- 支付宝花呗在哪里修改还款日期?
- 老白干酒(600559)2月13日主力资金净买入2.83亿元
- 肯德基什么时候进入中国
- 梅尔尼科夫·尼古拉·尼古拉耶维奇
- 当前关注:太阳教是邪教吗
- 2022年中国钢铁企业利润总额同比下降超七成_世界通讯
- 一老一小是什么意思
- 精选!上街沿盲道严重受损易摔倒 市民呼吁尽快修复路面
- 医保停交三个月会怎么样?医保断缴之前的钱还能用吗_世界独家
- 吉电股份:经与后台技术部门确认,该邮件未投递成功,非人为拒收
- 捡石头价值近百万?在哪捡的?什么石头这么值钱?
- 天天观察:祝思凝现状_祝思凝
- 关于做好固定资产盘点工作的通知_固定资产盘点通知怎么写_当前消息
- 马天宇女朋友是谁_马天宇女友
- 陆贞传奇结局 大结局是什么
- 当前焦点!新版必应比ChatGPT牛?实测:更有人情味儿
- 环球热资讯!间接coombs试验_Coombs试验
- 热议:三胎配套支持措施是什么意思 来看最新政策
- 焦点讯息:提高政治站位 强化责任担当 确保反馈问题整改到位
- 2017教师节手抄报黑板报高清图片文字资料内容大全
- 越南旅游自费大概多少钱_越南旅游要带多少钱-天天速读
- Codman妇产科工具|世界热头条
- 视点!教育教学工作个人小结简短5篇
- 外卖做不做?抖音很纠结
- 内蒙旅行,遇到一个黑龙江女子,和闺蜜在草原开了家民宿
- 世界上最大的犬“高加索犬”
- 世界快播:02月21日合肥前往漯河出行防疫政策查询-从合肥出发到漯河的防疫政策
- 天天消息!常熟银行(601128)2月8日主力资金净买入757.56万元
- 绵竹设2000万白酒专项资金/赊店老酒2030目标销售百亿/代州黄酒2025目标产值超10亿······
- 环球今亮点!小学五年级班主任工作计划精选8篇
- 世界热议:年初燃料乙醇价格涨幅可观 供需均回升
- 安南古城
- 全球新动态:如何对五个月宝宝进行早教
- 【全球报资讯】中国信登:1月新增保险金信托规模近90亿元 创近11个月新高
- legatary
- 消费与民生的策划书
- 环球快资讯丨磁悬浮原理图_磁悬浮原理
- 麻核桃怎么盘玩_麻核桃怎么盘 世界播资讯
- 环球即时看!河南省工勤技能考试成绩查询平台_河南省工勤技能考试成绩查询
- 当前观点:《天佑百姓》简介
- 西安特色礼品有哪些
- 山东佰硕机械设备有限公司 最新消息
- 攀西电网加强工程按下节后复工“启动键”
- 今日要闻!电焊立焊图片_电焊立焊图手法图
- 当前信息:纯种的日耳曼人是什么样的
- 怎么建立超链接文件夹_怎么建立文件夹并压缩-每日讯息
- 色达旅游最佳时间是几点_色达旅游最佳时间
- 八字正缘桃花查询免费 教你看什么是正缘桃花_天天热头条
- 精神障碍病因论文_精神障碍病因
- 2月7日生意社片碱基准价为4716.67元/吨_天天观察
- 天天信息:阿里巴巴怎么找加工订单_阿里巴巴机加工订单
- 大兴区伤残等级赔偿请律师如何收费-全球聚看点
X 关闭
资讯
X 关闭