搜狐视频Redis私有云cachecloud开源了
項目地址:https://github.com/sohutv/cachecloud/
一、CacheCloud是做什么的
CacheCloud提供一個Redis云管理平臺:實現多種類型(Redis Standalone、Redis Sentinel、Redis Cluster)自動部署、解決Redis實例碎片化現象、提供完善統計、監控、運維功能、減少開發人員的運維成本和誤操作,提高機器的利用率,提供靈活的伸縮性,提供方便的接入客戶端。
二、CacheCloud提供哪些功能
監控統計:?提供了機器、應用、實例下各個維度數據的監控和統計界面。
一鍵開啟:?Redis Standalone、Redis Sentinel、Redis Cluster三種類型的應用,無需手動配置初始化。
Failover:?支持哨兵,集群的高可用模式。
伸縮:?提供完善的垂直和水平在線伸縮功能。
完善運維:?提供自動運維和簡化運維操作功能,避免純手工運維出錯。
方便的客戶端:方便快捷的客戶端接入。
元數據管理:?提供機器、應用、實例、用戶信息管理。
流程化:?提供申請,運維,伸縮,修改等完善的處理流程
三、CacheCloud解決什么問題
1.部署成本
Redis多機(Redis-Sentinel, Redis-Cluster)部署和配置相對比較復雜,較容易出錯。
例如:100個redis數據節點組成的redis-cluster集群,如果單純手工安裝,既耗時又容易出錯。
2.實例碎片化
作為一個Redis管理員(可以看做redis DBA)需要幫助開發者管理上百個Redis-Cluster集群,分布在數百臺機器上,人工維護成本很高,需要自動化運維工具。
3. 監控、統計和管理不完善
一些開源的Redis監控和管理工具,例如:RedisLive(Python)、Redis Commander(Node.js),Redmon(Ruby)無論從功能的全面性(例如配置管理,支持Redis-Cluster等等)、擴展性很難滿足需求。
4. 運維成本
Redis的使用者需要維護各自的Redis,但是用戶可能更加善于使用Redis實現各種功能,但是沒有足夠的精力和經驗維護Redis。 Redis的開發人員如同使用Mysql一樣,不需要運維Mysql服務器,同樣使用Redis服務,不要自己運維Redis,Redis由一些在Redis運維方面更有經驗的人來維護(保證高可用,高擴展性),使得開發者更加關注于Redis使用本身。
5. 伸縮性
本產品支持Redis最新的Redis-Sentinel、Redis-Cluster集群機構,既滿足Redis高可用性、又能滿足Redis的可擴展性,具有較強的容量和性能伸縮能力。
6. 經濟成本
機器利用率低,各個項目組的Redis較為分散的部署在各自服務器上,造成了大量閑置資源沒有有效利用。
7. 版本不統一
各個項目的Redis使用各種不同的版本,不便于管理和交互。
四、CacheCloud提供的價值
規模化自動運維: 降低運維成本,降低人為操作出錯率。
自由伸縮: 提供靈活的伸縮性,應用擴容/收縮成本降低,機器資源得到重復利用。
團隊提升,開源貢獻:提升云產品開發設計經驗,自己作為開發者和使用者,Eating your own dog food。
五、CacheCloud在搜狐的規模
每天100+億次命令調用
2T+的內存空間
800+個Redis實例
100+臺機器
六、CacheCloud環境需求
Java 7
Maven 3
MySQL
Redis 3
七、CacheCloud快速開始
?1、初始化數據庫
導入項目中cachecloud.sql初始化庫表結構。默認插入admin超級管理員
2、CacheCloud項目配置
使用了maven作為項目構建的工具,提供了 local.properties和online.properties兩套配置作為測試、線上的隔離。 屬性配置說明:
3、啟動cachecloud系統
(1). 本地啟動:在cachecloud-web模塊下運行
?mvn spring-boot:run
(2). 生產環境
構建:mvn -Ponline clean package
上傳war包到特定目錄下:如/opt/cachecloud-web
?拷貝cachecloud-web-1.0-SNAPSHOT.conf配置到/opt/cachecloud-web目錄下,注意必須跟war包同目錄才生效
?作為linux服務啟動:
? sudo ln -s /opt/cachecloud-web/cachecloud-web-1.0-SNAPSHOT.war /etc/init.d/cachecloud-web?
/etc/init.d/cachecloud-web start
(3). 登錄確認
(a) 訪問:http://127.0.0.1:9999
(9999是tomcat的端口號,具體要參考第三節中的online.properties和local.properties中的web.port)
(b) 如果訪問正常,請使用用戶名:admin、密碼:admin訪問系統,跳轉到應用列表下:
4、添加機器
(1). 運行腳本:
cachecloud項目中的cachecloud-init.sh腳本是用來初始化服務器的cachecloud環境,主要工作如下:
(a). 創建cachecloud項目用戶:因為cachecloud項目的部分功能(redis啟動、服務器監控)是通過ssh完成的,所以這里的用戶和密碼要和項目中的相對應,具體詳見第三節。
(b). 創建cachecloud項目的工作目錄、數據目錄、配置目錄、日志目錄、redis安裝目錄、臨時目錄等等。(/opt/cachecloud/data、/opt/cachecloud/conf、/opt/cachecloud/logs、/opt/cachecloud/redis、/tmp/cachecloud)
(c). 安裝最新的release版本的Redis
(2). 腳本執行
(a). 使用root登錄目標服務器。
(b). 將cachecloud-init.sh腳本拷貝到目標服務器當前用戶目錄下。
(c). 執行 sh cachecloud-init.sh ${yourusername}
(d). 兩次確認密碼
(e). 一路安裝直到成功。
(3). 建議和警告
(a). 請在root用戶下執行初始化腳本,因為初始化腳本涉及到了用戶的創建等較高的權限。
(b). 出于安全的考慮,所選的機器最好不要有外網IP地址。
(c). 用戶名和密碼最好不要用cachecloud, 密碼盡可能復雜。
(d). 機器的ssh端口最好是22。
(e). 請確保/opt/有足夠的硬盤空間,因為/opt/cachecloud/data要存儲RDB和AOF的持久化文件,如果硬盤過小,會造成持久化失敗。(如果硬盤確實很小,建議建立一個軟鏈接到/opt/cachecloud/data,且保證軟鏈接的目錄也是username用戶,一定要保證/opt/cachecloud的目錄結構)
(f). 腳本中目前使用的是redis-3.0.6,如有需要請自行替換,建議使用3.0 release以后的版本。
(4). 添加機器
進入管理員界面(http://ip:port/manage/total/list),進入機器管理,點擊添加機器,添加機器信息是開通應用的基礎。
?
運維幫近期活動預告,點擊了解詳情
運維幫技術沙龍《架構之美》 (3.26@成都站)
聽云《應用性能管理大講堂》(3.26@北京)
51CTO《 WOT2016運維大會》(4.14@北京)
歡迎加入運維幫QQ技術討論群:542812110
點我加入運維幫會員,沙龍舉辦城市你說了算
快樂分享,快樂生活
商務合作,請加微信yunweibang008
內容轉載自公眾號
運維幫 了解更多總結
以上是生活随笔為你收集整理的搜狐视频Redis私有云cachecloud开源了的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 理解 .NET Platform Sta
- 下一篇: 文档数据库RavenDB-介绍与初体验