C++——哈希的应用（位图、布隆）

前言

一、位图、布隆是什么？

二、位图

1.面试题

2.位运算

3 位图的应用

三、布隆过滤器

1、代码实现

2、布隆过滤器的查找

3、布隆过滤器删除

4、布隆过滤器优点

5、布隆过滤器缺陷

总结

前言

我们学习了哈希算法，我们知道存储数据可以构建一种函数来映射数据存储的位置。

一、位图、布隆是什么？

位图（Bitmap）：位图是一种使用二进制位来表示数据的存在与否的数据结构。在位图中，每个元素通常映射到一个位（bit），如果该元素存在于集合中，则对应的位被设置为1；否则为0。位图适用于大规模数据且无重复的场景，可以极大地节省存储空间并提高查询效率。例如，在数据库索引、图像处理等领域有广泛应用。
布隆过滤器（Bloom Filter）：布隆过滤器是由一系列哈希函数和一个二进制位数组构成的概率型数据结构。当一个元素被加入集合时，通过多个哈希函数将其映射到位数组上的多个位置，并将对应位置的二进制位设为1。查询时，如果元素被映射的所有位置都为1，则认为元素可能在集合中，但存在误判的可能性。布隆过滤器适用于需要高效插入和查询，同时能容忍一定误判率的场景，如垃圾邮件过滤、网页爬虫去重等。

二、位图

1.面试题

1. 面试题给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】

1. 遍历，时间复杂度O(N)

2. 排序(O(NlogN))，利用二分查找: logN

3. 位图解决数据是否在给定的整形数据中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进制比特位来代表数据是否存在的信息，如果二进制比特位为1，代表存在，为0 代表不存在。比如：

我们知道整数在内存里面存储是以一个一个的二进制数字的方式存储的，一个整数需要占4个字节，一个字节占8个bit位，那么一个整数就需要32个bit位，40亿个整型存储在内存中就需要大约16GB的内存，而用位图我们就只需要40亿个bit位就可以了，也就是5亿个字节，也就是512MB。而我们学习完位图，我们定义了一个char类型的数组，比如我们存储10，我们就知道我们需要将下标位1的那个字节中第2个bit位改为一；

2.位运算

按位与：&
按位与的定义是：同一二进制位上的数字都是1的话，&的结果为1，否则为0.

0 & 0 = 0；

0 & 1 = 0；

1 & 1 = 1；

不同大小的数据位操作的原则，低位对齐，高位补零。

根据这个特性，&操作常常用来屏蔽特定的二进制位。例如：

 0000 1111 & 0000 0011

 结果为0000 0011.可以看见，1111的前两位被屏蔽成为0了。

 所以如果想清空数据，只需要将原二进制数与上0就可以了。0的位数对应原二进制数的位数，对各位进行屏蔽，全部置0.

 相对的，&可以利用0来屏蔽，也可以用1来读取。

 例如：一个二进制数 1101 1001，我只想要它的后四位，怎么办呢？

 只需要进行如下操作：1101 1001 & 0000 1111即可。

 其实该方法是屏蔽和读取的结合，&0保证消除无用位，&1保证有用数据的完整性。

 总结：对于原二进制数来说，&0是屏蔽，&1是不变。

按位或(OR)：|
定义：只要参与运算的双方其中有一个是1，结果就是1.同0才为0.

0 | 0 = 0；

0 | 1 = 1；

1 | 0 = 1；

1 | 1 = 1；

不同大小的数据位操作的原则，低位对齐，高位补零。

将某些特定位置1.

例如：1010 0000 | 0000 1111.

结果为 1010 1111.

总结：对于原二进制数来说，|0是不变，|1是置1.

按位异或：^
只要参与运算的双方互异，结果就为1，否则为0.

0 ^ 1 = 1;

1 ^ 0 = 1;

1 ^ 1 = 0;

0 ^ 0 = 0;

不同大小的数据位操作的原则，低位对齐，高位补零。

用法

可以通过上面的定义看到，一个数1的话就会0变成1，1变成0，而0则不对原数进行改变。所以根据此特性可以对特定位进行0 1 反转。

例如： 1100 1100 ^ 0000 1100

结果为 1100 0000.

同样的，如果对一个数进行^0,代表保留原值。

取反（~）
对一个二进制数进行取反。1变0，0变1.

 唯一需要注意的一点是，~的优先级是逻辑运算符中最高的，必须优先计算。

左移<<
用法

对运算符<<左边的运算量的每一位全部左移右边运算量表示的位数，右边空出的位补0。

左移<<的原则是高位舍弃，低位补零。

例：char a=0x21；

则a<<2的过程 0010 0001〈〈2 = 1000 0100；即 a<<2的值为0x84。

左移1位相当于该数乘以2，左移n位相当于该数乘以2n。

右移>>
用法

运算规则：对运算符>>左边的运算量的每一位全部右移右边运算量表示的位数，右边低位被移出去舍弃掉，空出的高位补0还是补1，分两种情况：

(1)对无符号数进行右移时，空出的高位补0。这种右移称为逻辑右移。

(2)对带符号数进行右移时，空出的高位全部以符号位填补。即正数补0，负数补1。这种右移称为算术右移。

代码如下（示例）：

class bitset
{
public:bitset(){_bits.resize(N/8 + 1, 0);}void set(size_t x){size_t i = x / 8;//判断第几个字节size_t j = x % 8;//第几个比特位//_bits这个数组初始化全为0//1的二进制位0000 0001//将它左移j位//设x位10，则左移后为0000 0100//在与0或就为0000 0100//则这个字节存储的数应给为04_bits[i] |= (1 << j);//}void reset(size_t x){size_t i = x / 8;size_t j = x % 8;_bits[i] &= ~(1 << j);}bool test(size_t x){size_t i = x / 8;size_t j = x % 8;return _bits[i] & (1 << j);}private:vector<char> _bits;
};

3 位图的应用

1. 快速查找某个数据是否在一个集合中

2. 排序 + 去重

3. 求两个集合的交集、并集等

4. 操作系统中磁盘块标记

三、布隆过滤器

1 布隆过滤器提出我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。如何快速查找呢？

1. 用哈希表存储用户记录，

缺点：浪费空间

2. 用位图存储用户记录，

缺点：位图一般只能处理整形，如果内容编号是字符串，就无法处理了。

3. 将哈希与位图结合，即布隆过滤器

详解布隆过滤器的原理，使用场景和注意事项

2.3 布隆过滤器的插入

我们发现在想布隆过滤器中插入一个字符串时，我们通过多种映射关系，将它映射在不同的位置，这要就避免了哈希碰撞。

1、代码实现

template<size_t N>
class twobitset
{
public:void set(size_t x){// 00 -> 01if (_bs1.test(x) == false&& _bs2.test(x) == false){_bs2.set(x);}else if (_bs1.test(x) == false&& _bs2.test(x) == true){// 01 -> 10_bs1.set(x);_bs2.reset(x);}// 10}void Print(){for (size_t i = 0; i < N; ++i){if (_bs2.test(i)){cout << i << endl;}}}public:bitset<N> _bs1;bitset<N> _bs2;
};

布隆过滤器搭建在位图之上的，然后通过各种映射关系将不同的地方改为1或0

2、布隆过滤器的查找

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。

注意：布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可能存在，因为有些哈希函数存在一定的误判。

比如：在布隆过滤器中查找"alibaba"时，假设3个哈希函数计算的哈希值为：1、3、7，刚好和其他元素的比特位重叠，此时布隆过滤器告诉该元素存在，但实该元素是不存在的。

3、布隆过滤器删除

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。

比如：删除上图中"tencent"元素，如果直接将该元素所对应的二进制比特位置0，“baidu”元素也被删除了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。

缺陷：

1. 无法确认元素是否真正在布隆过滤器中

2. 存在计数回绕