原力矿池的分布式存储节点软件系统

摘要： 一文了解原力矿池的分布式存储节点软件系统的优点和特性。

分布式存储节点软件系统原力矿池分布式存储节点软件系统是基于 IPFS, 由管理节点和数据服务节点组成，具备以下功能：实时（秒级）检测集群内数据服务节点的存活状态， 在感知到节点网络异常后， 自动完成异常节点离网以及节点恢复后的重入网；根据客户端-数据服务节点的网络延迟， 和数据服务节点-管理节点之间的通信情况， 结合数据服务节点的接口响应时间、CPU 使用率、内存使用量等软硬件指标，动态地向每个客户端推荐最优的节点列表；通过 token 机制对客户端调用上传下载接口的权限、数据量、时效等进行细粒度的管理；实时地根据存储空间余量、IO 负载等指标将所有节点动态划分为读优先节点和写优先节点，对用户的上传下载请求进行分流，充分利用集群内所有节点的硬件资源；提供可定制的数据冗余策略，将用户数据丢失的可能性降到最低，并根据用户的请求统计，调整冷热数据的分布，最大程度地降低数据的存储成本。

软件特性

原力矿池分布式存储节点软件系统在实现过程引入了一些新的思路， 使其相比常见的分布式存储系统，具备以下特性：

基于传输协议检测的端口复用： 数据服务节点可以侦测同一个端口上连入的 TCP 连接所使用的传输协议，如 HTTP1.0/1.1、HTTP2 等，再分发到不同的内部模块，从而精简了节点所占用的端口数量。无状态的管理节点： 借助 IPFS 本身的网络拓扑状态维护机制，我们得以将原本由管理节点统一维护的一些状态信息分散到各个数据服务节点上，再搭配数据服务节点主动搜寻管理节点并重连的机制，使管理节点具备了异常后快速恢复的能力，同时也具备了按需快速增减的能力；数据服务节点和管理节点之间高效通信： 通过使用 Google 公司开源的 gRPC 实现流式远程调用，实现了节点间的高效通信， 具体体现在连接数量、数据压缩、实时异常感知等方面；插件式的附加功能扩充： 通过一套统一的接口定义和数据格式定义，可以方便地开发各类功能插件，快速整合到已有的 IT 基础设施中，比如将本系统的指标数据集成到 Prometheus 监控平台，并通过 Grafana 提供图形化的指标展示或告警等功能。

架构

一个典型的原力矿池分布式存储节点软件系统集群由少量管理节点和较多的数据服务节点组成。管理节点和数据服务节点的数量均可以按需扩缩容。除此之外，集群中还可以灵活地添加其他功能节点， 如监控，冷数据存储等。

作者：IPFS原力区；来自链得得内容开放平台“得得号”，本文仅代表作者观点，不代表链得得官方立场凡“得得号”文章，原创性和内容的真实性由投稿人保证，如果稿件因抄袭、作假等行为导致的法律后果，由投稿人本人负责得得号平台发布文章，如有侵权、违规及其他不当言论内容，请广大读者监督，一经证实，平台会立即下线。如遇文章内容问题，请发送至邮箱：linggeqi@chaindd.com