【改为文件存档】数据库压缩有人试过吗？

StudyOverseas

本帖最后由 StudyOverseas 于 2019-3-2 22:39 编辑

不知不觉数据库已经到500G了....
目前是1.5T的两块SSD组raid1，实际可用1.3T，按这个势头发展下去过不了半年就要满了。。。
实际文件数据zip压缩后可能不到100个G，然而放进数据库就这么大了，查了一下好像有压缩方法，不知道有没有大佬试过，有没有什么坑？

CentOS7 MariaDB10.3
写入不多，查询很多

已放弃压缩，改把数据按分类导出成csv，然后gz压缩保存。查询写了个php直接读取文件然后筛选后给用户。目前分了70万个小文件
看来一开始选数据库作为存储方式就是错的。

xvm

什么操作系统？要是FreeBSD的话，可以上zfs。

什么数据库？要是PostgreSQL的话，有字段压缩。

StudyOverseas

xvm 发表于 2019-3-1 23:49

什么操作系统？要是FreeBSD的话，可以上zfs。

什么数据库？要是PostgreSQL的话，有字段压缩。
CentOS7 MariaDB10.3

我看到好像Innodb也是可以压缩的来着

wcn

既然写入不多，“按这个势头发展下去过不了半年就要满了”。。。。。这个写入还不多啊？

StudyOverseas

wcn 发表于 2019-3-2 00:10

既然写入不多，“按这个势头发展下去过不了半年就要满了”。。。。。这个写入还不多啊？ ...
嗯，是抓取的数据，每天就抓一次，写不了多少
但是数据是开放给公众查询的，所以读会比较多

yrj

StudyOverseas 发表于 2019-3-2 00:12

嗯，是抓取的数据，每天就抓一次，写不了多少
但是数据是开放给公众查询的，所以读会比较多 ...
他的意思是，：既然每天就写入一次，一次写入也不多，怎么会“很快就满了”呢。
------
好奇是什么数据，这么大。

StudyOverseas

yrj 发表于 2019-3-2 00:15

他的意思是，：既然每天就写入一次，一次写入也不多，怎么会“很快就满了”呢。
------
好奇是什么数据， ...
赚点零花钱的项目

逸笙

"

能赚钱就是好项目。（有点考了95分说考得不好的，赚点零花）

StudyOverseas

逸笙 发表于 2019-3-2 01:22

能赚钱就是好项目。（有点考了95分说考得不好的，赚点零花）
学生党，存不下钱当然是零花钱2333

solomongreyboy

我比较好奇数据库能达到500G的，这绝对是大项目啊，网站？日IP有多少，月收入多少？
bzip2 -z *.sql