202510-23 [原创] Hadoop 执行balance 报错:hdfs balance java.io.IOException: Another Balancer is running.. Exiting 问题现象 公司Hadoop集群需要进行扩容,为了使各节点数据均衡需要执行balance操作,在HDFS客户端启动了一个Balance进程,因为某些原因把该进程异常停止了,再次执行Balance操作,操作会失败报错:hdfs balance java.io.IOException: Anoth.... Read More >
202509-20 [原创] Seaweedfs 集群各版本变更总结 一、已知BUG信息 说明:以下版本BUG是在实际生产环境中遇到过,总结如下: 版本BUG 影响严重程度BUG issues解决版本2.74raft协议版本BUG,Master组件会突然异常挂掉,再启动会引发集群脑裂,seaweedfs服务异常高https://github.com/se.... Read More >
202509-19 [原创] Seaweedfs 核心组件配置参数详解 一级参数 说明:以下参数基于seaweedfs v3.73版本整理 执行 ./weed -h 查看seaweedfs的各核心组件指令 参数原文说明autocompleteinstall autocomplete安装自动补全,用于增强weed shellautocomplete.u.... Read More >
202509-01 [原创] Minio 限制用户访问特定bucket的方法 Minio Web 控制台操作方法 1、访问 MinIO 控制台,使用管理员账户登录。 2、创建存储桶 3、创建Policy策略 在左侧菜单中,点击 "Access Management"(访问管理)。 在 "Policies"(策略)页面,点击 "Creat.... Read More >
202504-18 Ceph模拟物理机down过程及处置方案 本文主要讲述在ceph运行过程中,物理机由于断电等原因突然down掉的情况下集群的表现,以及针对可能出现的状况的相应处理方法 环境介绍 当前我们共有12个OSD,每个OSD用50G硬盘空间,分布在3台宿主机上,同时每台宿主机上还各部署一个monitor。其逻辑拓扑结构与物理拓扑结构如下.... Read More >
202412-18 FastDFS分布式存储原理和集群部署 一、分布式文件系统介绍 分布式文件系统:Distributed file system, DFS,又叫做网络文件系统:Network File System。一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。 特点:在一个分享的磁盘文件系统中,所有.... Read More >
202407-31 密码保护:运维面试题汇总 消息队列 一、Kafka 1、 ISR、OSR、AR代表什么? kafka中与leader副本保持一定同步程度的副本(包括leader)组成ISR。与leader滞后太多的副本组成OSR。分区中所有的副本通称为AR。 ISR : 速率和leader相差低于10秒的fol.... Read More >
202406-04 [ Minio ] 常用维护命令备忘录 安装minio客户端 下载客户端: # curl https://dl.minio.org.cn/client/mc/release/linux-amd64/mc --create-dirs -o /usr/bin/mc # chmod +x /usr/bin/mc 开启命令自动补全功能:(.... Read More >