one ok rock 香港:海量存储-偶看新闻

海量存储系列之十标签:海量存储检索原理
http://qing.weibo.com/1765738567/693f0847330008x6.html 上一篇
上一次，我们介绍了几种常见的kv存储模型，下面我们就正式进入到分布式存储的场景里去看看这套东西在分布式场景下的运作方式吧。

在分布式key-value中，很多原来的知识是可以继续复用的。因为k-v解决的问题实在是非常的简单，只不过是根据一个key找到v
- 2
- 5
- 4
查看全文>>
长文
2011 12/22
海量存储系列之九标签:海量存储检索原理
http://qing.weibo.com/1765738567/693f0847330008ii.html 上一篇
终于来到了COLA树系，这套东西目前来看呢，确实不如LSM火，不过作为可选方案，也是个值得了解的尝试，不过这块因为只有一组MIT的人搞了个东西出来，所以其实真正的方案也语焉不详的。

从性能来说，tokuDB的写入性能很高，但更新似乎不是很给力，查询
- 1
- 2
- 2
查看全文>>
长文
2011 12/18
海量存储系列之八标签:海量存储检索原理 http://qing.weibo.com/1765738567/693f0847330007ki.html 首先来回答一个问题：为什么在磁盘中要使用b+树来进行文件存储呢？
原因还是因为树的高度低得缘故，磁盘本身是一个顺序读写快，随机读写慢的系统，那么如果想高效的从磁盘中找到数据，势必需要满足一个最重要的条件：减少寻道次数。
我们以平衡树为例进行对比，就会发现问题所在了：
先上个图
&nb
- 6
- 10
- 6
查看全文>>
长文
2011 12/10
海量存储系列之七标签:海量存储检索原理
http://qing.weibo.com/1765738567/693f0847330007ay.html 上一篇
在上一个章节，我们阐述了分布式场景下，事务的问题和一些可能的处理方式后，我们来到了下一章节

Key-value存储

这一章，我们将进入k-v场景，其实，在大部分场景下，如果某个产品宣称自己的写读tps超过其他存储n倍，一般来说都是从k-v这
- 1
- 13
- 3
查看全文>>
长文
2011 12/07
海量存储系列之六标签:海量存储检索原理 http://qing.weibo.com/1765738567/693f0847330006ao.html 上一篇抱歉大家，间隔有点久，因为这一章要比较细致的总结，所以有些时间耽误。上次我们讲到，单机事务个我们面临的问题，下面我们来说一些我所知的解决的方法。

在我开始做淘宝数据层的时候，被问得最多的无非也就是：如何做事务，如何做join.至今仍然如此，我一般都会简单而明确
- 7
- 2
- 1
查看全文>>
长文
2011 11/27
海量存储系列之五
http://qing.weibo.com/1765738567/693f08473300067j.html 上一篇
在上一章节，我们一起浏览了如何进行单机事务操作。下面我们来看一下分布式场景中我们碰到的问题吧。

需要说明的一点是，这里涉及到的权衡点非常的多。就我短短的工作经验里面，也只是能够简单的涉猎一部分，因为在事务这个领域，目前大家都在尝试提出各种各样的不同的方法，而在
- 5
- 6
- 4
查看全文>>
长文
2011 11/26
海量存储系列之四标签:海量存储检索原理上一篇事务原理http://qing.weibo.com/1765738567/693f084733000672.html单机事务:
其实在上面介绍ACID的时候
我们已经提到了一种最简单的实现方式，就是锁的实现方式。
从原理来看，事务是个变态而复杂的事情。其实如果是序列化的话呢，那么实现起来一定是非常简单的。
但问题就在于，这样性能实在比较低，于是，就有了非常多的方案，为了能哪怕减少一个地方的锁，
- 25
- 20
- 7
查看全文>>
长文
2011 11/26
海量存储系列之三
上一篇 http://qing.weibo.com/1765738567/693f0847330005v7.html
首先是回答上次的问题。
假设有这么一组数据，性别有4种，user_id是一对多的关系，如果我想查询
select * from tabwhere user_id in (?,?,?,?) and 性别='不明'
如何进行索引构建能够获得比较好的效果呢？
我个人认为，应该建立的是以u
- 6
- 2
查看全文>>
长文
2011 11/22
海量存储系列之二标签:海量存储检索原理
?http://qing.weibo.com/1765738567/693f0847330005sm.html 上一篇
在上一篇里面，我们对数据库的抽象的组成原理进行了简单的描述。在这一篇里面，我们一起来看看，如何能够使用kv这样的工具。来完成关系代数运算。那么，让我们先来热热身:这是一组数据，以pk作为主键，user_id和Name是外key.那么，如果我要运行查询:Select *
- 1
- 10
- 5
查看全文>>
长文
2011 11/20
海量存储系列之一标签:海量存储检索原理
?http://qing.weibo.com/1765738567/693f0847330005sk.html 海量存储系列之序言
那么在走进海量存储与检索的世界之前，我们先看一看目前似乎觉得最落伍的数据库系统。丑话先说。。我也没在这个领域沉浸几年，所以其实里面很多的概念也是有可能模糊的，所以在这里写出来，一是希望我能把以前的积累再次重新的梳理一次，查缺补漏。二也是在这世界留下点记录。
- 3
- 8
- 7
查看全文>>
长文
2011 11/20
海量存储之序言标签:海量存储检索原理
?今天玩微薄的时候有人问我有没有数据存储的相关资料，我想了想。。虽然在这个领域内也算有点积累，以前讲课的ppt有200多页，但毕竟ppt的信息量有限。所以在这里将这个系列的部分内容在这里进行重新编排
主要将涉及到：1. 数据库原理 http://qing.weibo.com/1765738567/693f0847330005sm.html