《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計 > 設(shè)計應(yīng)用 > 高性能高可用Redis客戶端的設(shè)計與實現(xiàn)
高性能高可用Redis客戶端的設(shè)計與實現(xiàn)
2022年電子技術(shù)應(yīng)用第1期
劉世超1,2,楊 斌1,2,劉衛(wèi)國1,2
1.山東大學(xué) 軟件學(xué)院,山東 濟南250101;2.國家超級計算無錫中心,江蘇 無錫214072
摘要: Redis是一個基于內(nèi)存存儲的非結(jié)構(gòu)化數(shù)據(jù)庫,以高I/O(Input/Output)性能和高響應(yīng)速度著稱,在數(shù)據(jù)緩沖、消息隊列、Key-Value存儲等場景都發(fā)揮著重要的作用。在其支持的眾多客戶端中,C/C++客戶端Hiredis的應(yīng)用尤為廣泛。對Hiredis庫做了深入分析,發(fā)現(xiàn)了其管道功能存在高開銷、指令存儲不當(dāng)以及內(nèi)存混淆問題。基于此,在32邏輯核的X86架構(gòu)處理器以及64 GB內(nèi)存的Linux服務(wù)器上,設(shè)計并實現(xiàn)了一個面向C/C++的高性能高可用Redis客戶端,通過內(nèi)存預(yù)分配以及內(nèi)存隔離的方法提高了大量指令批處理時的性能并解決了復(fù)雜場景下的內(nèi)存混淆問題。經(jīng)測試,新客戶端提高了3~7倍的指令執(zhí)行效率,同時也保證了復(fù)雜場景下的內(nèi)存安全以及數(shù)據(jù)準(zhǔn)確性。
中圖分類號: TP391
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.212432
中文引用格式: 劉世超,楊斌,劉衛(wèi)國. 高性能高可用Redis客戶端的設(shè)計與實現(xiàn)[J].電子技術(shù)應(yīng)用,2022,48(1):46-52,58.
英文引用格式: Liu Shichao,Yang Bin,Liu Weiguo. Design and implementation of high-performance and high-availability redis client[J]. Application of Electronic Technique,2022,48(1):46-52,58.
Design and implementation of high-performance and high-availability redis client
Liu Shichao1,2,Yang Bin1,2,Liu Weiguo1,2
1.School of Software,Shandong University,Jinan 250101,China;2.National Supercomputing Center in Wuxi,Wuxi 214072,China
Abstract: Redis is an unstructured database based on memory storage. It is known for high I/O(Input/Output) performance and high response speed. It plays an important role in data buffering, message queues, key-value storage and other scenarios. Among the many clients it supports, the C/C++ client Hiredis is particularly widely used. This article did an in-depth analysis of the Hiredis library and found that its pipeline function has high overhead, improper instruction storage, and memory confusion problems. Based on this, this article designs and implements a C/C++-oriented high-performance and high-availability Redis client on a 32-core X86 architecture processor and a 64 GB memory Linux server. It improves the performance of processing a large number of instructions and solves the problem of memory confusion in complex scenarios through memory pre-allocation and memory isolation. After testing, the new client has improved instruction execution efficiency by 3~7 times, while also ensuring memory safety and accuracy in complex scenarios.
Key words : Redis;pipeline;Hiredis;memory confusion;performance optimization

0 引言

    隨著互聯(lián)網(wǎng)飛速發(fā)展以及大規(guī)模應(yīng)用的不斷涌現(xiàn),目前已經(jīng)步入了大數(shù)據(jù)時代。非結(jié)構(gòu)化數(shù)據(jù)逐漸替代了傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)并迅速占據(jù)了主導(dǎo)地位,為了管理形式多樣的非結(jié)構(gòu)化數(shù)據(jù),涌現(xiàn)了諸如MongoDB[1]、InfluxDB[2]、Elasticsearch[3]等十分有代表性的數(shù)據(jù)庫。這些數(shù)據(jù)庫雖然針對非結(jié)構(gòu)化數(shù)據(jù)的存取做了很多優(yōu)化,但是受限于硬盤(Hard Disk Drive,HDD)等底層存儲介質(zhì),往往無法滿足高性能場景的需求。

    為了提高性能,以Redis為代表的內(nèi)存數(shù)據(jù)庫應(yīng)運而生。Redis是一個非結(jié)構(gòu)化數(shù)據(jù)庫,支持使用非結(jié)構(gòu)化語言(Not-only Structured Query Language,NoSQL)查詢。同時,Redis通過I/O(Input/Output)多路復(fù)用和DRAM(Dynamic Random Access Memory)提供了高吞吐、高并發(fā)和低時延的服務(wù),在數(shù)據(jù)緩沖、消息隊列、Key-Value存儲等場景都發(fā)揮了重要的作用。

    但是隨著大規(guī)模計算集群的算力逐漸增大,應(yīng)用的數(shù)據(jù)規(guī)模也隨之變大,計算和I/O之間的“存儲墻”也變得愈發(fā)明顯。現(xiàn)有的Redis也遇到一些網(wǎng)絡(luò)和存儲方面的問題。因此如何改進(jìn)Redis也受到了廣泛的重視,隨之出現(xiàn)了很多Redis優(yōu)化的相關(guān)工作,它們從各種角度對Redis服務(wù)端或客戶端做了改進(jìn)。




本文詳細(xì)內(nèi)容請下載:http://m.viuna.cn/resource/share/2000003907




作者信息:

劉世超1,2,楊  斌1,2,劉衛(wèi)國1,2

(1.山東大學(xué) 軟件學(xué)院,山東 濟南250101;2.國家超級計算無錫中心,江蘇 無錫214072)




wd.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 玖草福利视频 | 欧美一级色视频 | 日韩激情视频在线 | 成人网18免费下 | 秋霞国产在线 | 我就色色综合网 | 香港经典三级成人xxx | 日韩插插插 | 亚洲国产成人久久综合碰 | 97午夜理伦影院在线观看 | 国产日韩欧美在线 | 男女上下爽无遮挡午夜免费视频 | 黄色免费在线网址 | 亚洲国产激情一区二区三区 | 国产伦一区二区三区高清 | a人片在线观看 | 在线免费资源 | 在线精品播放 | 国产香蕉国产精品偷在线观看 | 涩涩涩导航 | 国产综合色在线视频区色吧图片 | a视频在线免费观看 | 黄色一级视频免费看 | 免费的三级网站 | 性感美女香蕉视频 | 97人操| 男女午夜视频 | 免费视频性 | 最近更新2019中文字幕 | 一级毛片在线免费播放 | 日韩视频免费看 | 美女激情影院午夜网 | 午夜视频在线观看按摩女 | 亚洲国产欧美国产综合一区 | 精品国产影院 | 免费一级特黄欧美大片勹久久网 | 91精品免费视频 | 18岁禁免费网站 | 麻豆一区二区三区在线观看 | 两性色午夜视频免费播放 | 在线成人影视 |