分布式文件系统 SeaweedFS

分布式文件系统 SeaweedFS

Apache
Google Go
跨平台
2015-10-28
叶秀兰

SeaweedFS 是简单,高伸缩性的分布式文件系统,包含两部分:存储数十亿的文件;快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代,Seaweed-FS 选择仅实现 key-file 的映射,类似 "NoSQL",也可以说是 "NoFS"。

SeaweedFS 仅花费 40 字节的硬盘来存储每个文件的元数据。

基准测试基于 Mac Book,固态硬盘,CPU:1 Intel Core i7 2.6GHz。

编写 1 百万的 1KB 文件:

Concurrency Level:      16
Time taken for tests:   88.796 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106764659 bytes
Requests per second:    11808.87 [#/sec]
Transfer rate:          12172.05 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.2      1.3       44.8      0.9

Percentage of the requests served within a certain time (ms)
   50%      1.1 ms
   66%      1.3 ms
   75%      1.5 ms
   80%      1.7 ms
   90%      2.1 ms
   95%      2.6 ms
   98%      3.7 ms
   99%      4.6 ms
  100%     44.8 ms

自由读取 1 百万文件:

Concurrency Level:      16
Time taken for tests:   34.263 seconds
Complete requests:      1048576
Failed requests:        0
Total transferred:      1106762945 bytes
Requests per second:    30603.34 [#/sec]
Transfer rate:          31544.49 [Kbytes/sec]

Connection Times (ms)
              min      avg        max      std
Total:        0.0      0.5       20.7      0.7

Percentage of the requests served within a certain time (ms)
   50%      0.4 ms
   75%      0.5 ms
   95%      0.6 ms
   98%      0.8 ms
   99%      1.2 ms
  100%     20.7 ms
加载中

评论(1)

chuqq
chuqq
上传和下载文件时都是把文件的完整内容读入内存中,而且多个请求不共享内存,有多份文件内容的拷贝。感觉不像想象中的那么靠谱。https://github.com/chrislusf/seaweedfs/issues/211 #SeaweedFS#

SeaweedFS 2.12 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.12 已发布,该版本更新内容如下: S3 弃用 filer.toml 中的 "filer.o...

11/24 08:14

SeaweedFS 2.08 发布,分布式文件系统

没投过票?千万别说你来过 OSC https://www.oschina.net/project/top_cn_2020 SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,Sea...

11/05 10:38

SeaweedFS 2.05 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.05 已发布,该版本更新内容如下: FUSE Mount 大型文件的并行写入请求...

10/19 11:16

SeaweedFS 2.03 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.03 已发布,该版本更新内容如下: FUSE mount 通过预取提高大文件读取...

10/06 16:40

SeaweedFS 2.02 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.02 已发布,该版本更新内容如下: Volume Server 删除 volumes 是避免...

10/03 07:55

SeaweedFS 2.00 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 2.00 已发布,该版本更新内容如下: HDFS 1.4.7 添加fs.seaweed.buffer...

09/22 07:08

SeaweedFS 1.99 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.99 已发布,该版本更新内容如下: Filer 修复 postgres 无法启动的问...

09/16 07:00

SeaweedFS 1.95 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.95 已发布,该版本更新内容如下: Filer 跨数据中心 Active-Active ...

09/12 07:17

SeaweedFS 1.93 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.93 已发布,该版本更新内容如下: Filer Active-Active 或 Active-P...

09/08 07:09

SeaweedFS 1.92 发布,分布式文件系统

SeaweedFS 是一个简单且高度可扩展的分布式文件系统,主要有两个目标:存储数十亿的文件和快速响应。 目前,SeaweedFS 1.92 已发布,该版本更新内容如下: Filer 确保 HTTP 连接重用。 S3 避...

09/02 07:23

没有更多内容

加载失败,请刷新页面

暂无问答

seaweedFS

那首先我们来分析一下seaweedfs是什么?seaweedfs是一个非常优秀的由 golang 开发的分布式存储开源项目。它是用来存储文件的系统,并且与使用的语言无关,使得文件储存在云端变得非常方便。s...

2018/06/29 10:49
193
0
seaweedfs

最新版本:https://github.com/chrislusf/seaweedfs/releases wiki:https://github.com/chrislusf/seaweedfs/wiki 优秀讲解:https://tonybai.com/2015/08/22/intro-of-using-weedfs/ ./wee...

2019/04/24 18:54
33
0
Docker seaweedfs

关于seaweedfs的介绍我就不在此文赘述,本文的主要目的是讲述我在docker中运行seaweedfs遇到的一些问题。 这是我搜集的一些关于SeaWeedFS的资料 ps.不管是在物理机还是docker之中运行seaweed...

2018/05/30 10:14
1K
0
seaweedfs-02

源码目录结构 核心模块 weed 入口目录 weed/weed_server 入口目录与HTTP服务相关 topology 核心模块,主要包括 【DataCenter, Rack, DataNode】 三层拓扑结构。 storage 核心模块,主要包括【...

2017/10/21 03:02
581
0
seaweedfs使用记录

搭建seaweedfs 在github上面clone,然后cd到docker目录使用docker-compose up -d就可以启动seaweedfs 启动以后通过xxx:9333可以看到效果 上传单个文件的python代码: import requests url = ...

2018/06/21 23:04
42
0
seaweedfs

1. 部署 start.cmd start /b weed.exe -log_dir=./log/master1/ master -ip=127.0.0.1 -port=19333 -peers=127.0.0.1:19333 -defaultReplication=001 -mdir=./data/master1/ & start /b wee...

2018/04/18 17:21
18
0
seaweedfs代码详解

在seaweedfs分布式文件系统中,删除文件时,deleteNeedle会做三件事情,如下图 第一个删除kv数据库中的索引信息,第二件是,在索引文件的尾部添加删除的信息,对索引文件中原来存储的信息,并...

2018/06/30 16:37
29
0
SeaweedFS---01

seaweedfs中的名词: master: 存储文件和fid映射关系 volumn:实际存储文件 datacenter: 数据中心 rack: 机架。一个机架属于特定的数据中心,一个数据中心可以包含多个机架。 collection: 一...

2017/10/20 15:51
107
0
SeaweedFS在.net core下的实践方案

一直对分布式的文件储存系统很感兴趣,最开始关注淘宝的TFS(Taobao File System),好像搁浅了,官方地址无法访问,github上面,各种编译问题,无意间发现了SeaweedFS 链接seaweedfs 测试了...

2019/01/26 09:19
19
0
SeaweedFS上手使用指南

SeaweedFS是基于go语言开发的高可用文件存储系统,主要特性 1、成存储上亿的文件(最终受制于你的硬盘大小) 2、速度快,内存占用小 上手使用比fastDFS要简单很多,自带Rest API。 SaaWeeDF...

2018/07/27 15:32
34
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部