我要、发光~

我要、发光~

关注
发信
关注(28)粉丝(399)

HashMap、Hashtable、ConcurrentHashMap面试总结

原文链接：https://www.cnblogs.com/hexinwei1/p/10000779.html

小总结

  • HashMap、Hashtable、ConcurrentHashMap

HashMap：线程不安全

Hashtable：线程安全，每个方法都加了synchronized修饰。类似Collections.synchronizedMap(hashMap)

对读写加锁，独占式，一个线程在读的时候其他线程必须等待，吞吐量较低，性能较为底下

ConcurrentHashMap：利用CAS+Synchronized来保证并发的安全性。数据结构类同HashMap

  • ConcurrentHashMap如何实现线程安全？

（1）get()方法使用tabAt(Node[], int)方法

调用Unsafe的native方法getObjectVolatile(Object obj, long offset)；

　　// 获取obj对象中offset便宜地址对饮的object性field的值，支持volatileload语义，即：让缓存中的数据失效，重新从主内存加载数据

（2）put()方法

需要获取数组上的Node时同时使用tabAt()方法

设置数组上Node是使用casTabAt()方法，casTabAt()调用Unsafe的native方法compareAndSwapObject()，CAS操作

哈希冲突之后，需要操作改hash值对应的链表/红黑树，此时synchronized（该链表第一个Node）保证线程安全的基础上，减小了锁的粒度

  • 线程安全的容器只能保证自身的数据不被破坏，但无法保证业务的行为是否正确
　　public static void demo1(){
        final Map<String, Integer> count = new ConcurrentHashMap<>();
        final CountDownLatch endLatch = new CountDownLatch(2);
        Runnable task = new Runnable() {
            @Override
            public void run() {
                for (int i = 0; i < 5; i++) {
                    Integer value = count.get("a");
                    if (null == value) {
                        count.put("a", 1);
                    } else {
                        count.put("a", value + 1);
                    }
                }
                endLatch.countDown();
            }
        };
        new Thread(task).start();
        new Thread(task).start();

        try {
            endLatch.await();
            System.out.println(count);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

demo1是两个线程操作ConcurrentHashMap，意图将value变为10。但是，因为多个线程用相同的key调用时，很可能会覆盖相互的结果，造成记录的次数比实际出现的次数少

可以使用锁解决这个问题，也可以使用ConcurrentHashMap定义的方法：

V putIfAbsent(K key, V value)
   如果key对应的value不存在，则put进去，返回null。否则不put，返回已存在的value。

boolean remove(Object key, Object value)
   如果key对应的值是value，则移除K-V，返回true。否则不移除，返回false。

boolean replace(K key, V oldValue, V newValue)
   如果key对应的当前值是oldValue，则替换为newValue，返回true。否则不替换，返回false。

修改：

public static void demo1() {
    final Map<String, Integer> count = new ConcurrentHashMap<>();
    final CountDownLatch endLatch = new CountDownLatch(2);
    Runnable task = new Runnable() {
        @Override
        public void run() {
            Integer oldValue, newValue;
            for (int i = 0; i < 5; i++) {
                while (true) {
                    oldValue = count.get("a");
                    if (null == oldValue) {
                        newValue = 1;
                        if (count.putIfAbsent("a", newValue) == null) {
                            break;
                        }
                    } else {
                        newValue = oldValue + 1;
                        if (count.replace("a", oldValue, newValue)) {
                            break;
                        }
                    }
                }
            }
            endLatch.countDown();
        }
    };
    new Thread(task).start();
    new Thread(task).start();

    try {
        endLatch.await();
        System.out.println(count);
    } catch (Exception e) {
        e.printStackTrace();
    }
}

由于ConcurrentHashMap中不能保存value为null的值，所以需要处理不存在和已存在两种情况，不过可以使用AtomicInteger来替代。

public static void demo1() {
    final Map<String, AtomicInteger> count = new ConcurrentHashMap<>();
    final CountDownLatch endLatch = new CountDownLatch(2);
    Runnable task = new Runnable() {
        @Override
        public void run() {
            AtomicInteger oldValue;
            for (int i = 0; i < 5; i++) {
                oldValue = count.get("a");
                if (null == oldValue) {
                    AtomicInteger zeroValue = new AtomicInteger(0);
                    oldValue = count.putIfAbsent("a", zeroValue);
                    if (null == oldValue) {
                        oldValue = zeroValue;
                    }
                }
                oldValue.incrementAndGet();
            }
            endLatch.countDown();
        }
    };
    new Thread(task).start();
    new Thread(task).start();

    try {
        endLatch.await();
        System.out.println(count);
    } catch (Exception e) {
        e.printStackTrace();
    }
}

属性

// 最大容量：2^30=1073741824
private static final int MAXIMUM_CAPACITY = 1 << 30;

// 默认初始值，必须是2的幕数
private static final int DEFAULT_CAPACITY = 16;

//
static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;

//
private static final int DEFAULT_CONCURRENCY_LEVEL = 16;

//
private static final float LOAD_FACTOR = 0.75f;

// 链表转红黑树阀值,> 8 链表转换为红黑树
static final int TREEIFY_THRESHOLD = 8;

//树转链表阀值，小于等于6（tranfer时，lc、hc=0两个计数器分别++记录原bin、新binTreeNode数量，<=UNTREEIFY_THRESHOLD 则untreeify(lo)）
static final int UNTREEIFY_THRESHOLD = 6;

//
static final int MIN_TREEIFY_CAPACITY = 64;

//
private static final int MIN_TRANSFER_STRIDE = 16;

//
private static int RESIZE_STAMP_BITS = 16;

// 2^15-1，help resize的最大线程数
private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1;

// 32-16=16，sizeCtl中记录size大小的偏移量
private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;

// forwarding nodes的hash值
static final int MOVED     = -1;

// 树根节点的hash值
static final int TREEBIN   = -2;

// ReservationNode的hash值
static final int RESERVED  = -3;

// 可用处理器数量
static final int NCPU = Runtime.getRuntime().availableProcessors();

几个很重要的概念：

  • table：用来存放Node节点数据的，默认为null，默认大小为16的数组，每次扩容时大小总是2的幂次方；
  • nextTable：扩容时新生成的数据，数组为table的两倍；
  • Node：节点，保存key-value的数据结构；
  • ForwardingNode：一个特殊的Node节点，hash值为-1，其中存储nextTable的引用。只有table发生扩容的时候，ForwardingNode才会发挥作用，作为一个占位符放在table中表示当前节点为null或者已经被移动；
  • sizeCtrl：控制标识符，用来控制table初始化和扩容操作的，在不同的地方有不同的用途，其值也不同，所代表的含义也不同
    • 负数代表正在进行初始化或扩容操作
    • -1代表正在初始化
    • -N表示有N-1个线程正在进行扩容操作
    • 正数或0代表hash表还没有被初始化，这个数值表示初始化或下一次进行扩容的大小

构造函数

　　 public ConcurrentHashMap() {
    }

    public ConcurrentHashMap(int initialCapacity) {
        if (initialCapacity < 0)
            throw new IllegalArgumentException();
        int cap = ((initialCapacity >= (MAXIMUM_CAPACITY >>> 1)) ?
                   MAXIMUM_CAPACITY :
                   tableSizeFor(initialCapacity + (initialCapacity >>> 1) + 1));
        this.sizeCtl = cap;
    }

    public ConcurrentHashMap(Map<? extends K, ? extends V> m) {
        this.sizeCtl = DEFAULT_CAPACITY;
        putAll(m);
    }

    public ConcurrentHashMap(int initialCapacity, float loadFactor) {
        this(initialCapacity, loadFactor, 1);
    }

    public ConcurrentHashMap(int initialCapacity,
                             float loadFactor, int concurrencyLevel) {
        if (!(loadFactor > 0.0f) || initialCapacity < 0 || concurrencyLevel <= 0)
            throw new IllegalArgumentException();
        if (initialCapacity < concurrencyLevel)   // Use at least as many bins
            initialCapacity = concurrencyLevel;   // as estimated threads
        long size = (long)(1.0 + (long)initialCapacity / loadFactor);
        int cap = (size >= (long)MAXIMUM_CAPACITY) ?
            MAXIMUM_CAPACITY : tableSizeFor((int)size);
        this.sizeCtl = cap;
    }

put()方法

public V put(K key, V value) {
    return putVal(key, value, false);
}

final V putVal(K key, V value, boolean onlyIfAbsent) {
    if (key == null || value == null) throw new NullPointerException();
    // 得到 hash 值
    int hash = spread(key.hashCode());
    // 用于记录相应链表的长度
    int binCount = 0;
    for (Node<K,V>[] tab = table;;) {
        Node<K,V> f; int n, i, fh;
        // 如果数组"空"，进行数组初始化
        if (tab == null || (n = tab.length) == 0)
            // 初始化数组，后面会详细介绍
            tab = initTable();

        // 找该 hash 值对应的数组下标，得到第一个节点 f
        else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
            // 如果数组该位置为空，
            //    用一次 CAS 操作将这个新值放入其中即可，这个 put 操作差不多就结束了，可以拉到最后面了
            //          如果 CAS 失败，那就是有并发操作，进到下一个循环就好了
            if (casTabAt(tab, i, null,
                         new Node<K,V>(hash, key, value, null)))
                break;                   // no lock when adding to empty bin
        }
        // hash 居然可以等于 MOVED，这个需要到后面才能看明白，不过从名字上也能猜到，肯定是因为在扩容
        else if ((fh = f.hash) == MOVED)
            // 帮助数据迁移，这个等到看完数据迁移部分的介绍后，再理解这个就很简单了
            tab = helpTransfer(tab, f);

        else { // 到这里就是说，f 是该位置的头结点，而且不为空

            V oldVal = null;
            // 获取数组该位置的头结点的监视器锁
            synchronized (f) {
                if (tabAt(tab, i) == f) {
                    if (fh >= 0) { // 头结点的 hash 值大于 0，说明是链表
                        // 用于累加，记录链表的长度
                        binCount = 1;
                        // 遍历链表
                        for (Node<K,V> e = f;; ++binCount) {
                            K ek;
                            // 如果发现了"相等"的 key，判断是否要进行值覆盖，然后也就可以 break 了
                            if (e.hash == hash &&
                                ((ek = e.key) == key ||
                                 (ek != null && key.equals(ek)))) {
                                oldVal = e.val;
                                if (!onlyIfAbsent)
                                    e.val = value;
                                break;
                            }
                            // 到了链表的最末端，将这个新值放到链表的最后面
                            Node<K,V> pred = e;
                            if ((e = e.next) == null) {
                                pred.next = new Node<K,V>(hash, key,
                                                          value, null);
                                break;
                            }
                        }
                    }
                    else if (f instanceof TreeBin) { // 红黑树
                        Node<K,V> p;
                        binCount = 2;
                        // 调用红黑树的插值方法插入新节点
                        if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                       value)) != null) {
                            oldVal = p.val;
                            if (!onlyIfAbsent)
                                p.val = value;
                        }
                    }
                }
            }

            if (binCount != 0) {
                // 判断是否要将链表转换为红黑树，临界值和 HashMap 一样，也是 8
                if (binCount >= TREEIFY_THRESHOLD)
                    // 这个方法和 HashMap 中稍微有一点点不同，那就是它不是一定会进行红黑树转换，
                    // 如果当前数组的长度小于 64，那么会选择进行数组扩容，而不是转换为红黑树
                    //    具体源码我们就不看了，扩容部分后面说
                    treeifyBin(tab, i);
                if (oldVal != null)
                    return oldVal;
                break;
            }
        }
    }
    //
    addCount(1L, binCount);
    return null;
}

按照上面的源码，我们可以确定put整个流程如下：

  • 判空；ConcurrentHashMap的key，value都不允许为null
  • 计算hash。利用方法计算hash值
  • 遍历table，进行节点插入操作，过程如下：
    • 如果table为空，则表示ConcurrentHashMap还没有初始化，则进行初始化操作：initTable()
    • 根据hash值获取节点的位置i，若该位置为空，则直接插入，这个过程是不需要加锁的。计算f位置：i=(n - 1) & hash
    • 如果检测到fh = f.hash == -1，则f是ForwardingNode节点，表示有其他线程正在进行扩容操作，则帮助线程一起进行扩容操作
    • 如果f.hash  >= 0 表示是链表结构，则遍历链表，如果存在当前key节点则替换value，否则插入到链表尾部。如果f是TreeBin类型节点，则按照红黑树的方法更新或者增加节点
    • 若链表长度 > TREEIFY_THRESHOLD（默认是8），则将链表转换成红黑树结构
  • 调用addCount方法，ConcurrentHashMap的size + 1

这里整个put操作已经完成

get()

　　public V get(Object key) {
        Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
        // 计算hash
        int h = spread(key.hashCode());
        if ((tab = table) != null && (n = tab.length) > 0 &&
                (e = tabAt(tab, (n - 1) & h)) != null) {
            // 搜索到的节点key与传入的key相同且不为null,直接返回这个节点
            if ((eh = e.hash) == h) {
                if ((ek = e.key) == key || (ek != null && key.equals(ek)))
                    return e.val;
            }
            // 树
            else if (eh < 0)
                return (p = e.find(h, key)) != null ? p.val : null;
            // 链表，遍历
            while ((e = e.next) != null) {
                if (e.hash == h &&
                        ((ek = e.key) == key || (ek != null && key.equals(ek))))
                    return e.val;
            }
        }
        return null;
　　}

get操作：

  • 计算hash值
  • 判断table是否为空，如果为空，直接返回null
  • 根据hash值获取table中的Node节点（tabAt(tab, (n - 1) & h)）

然后根据链表或者树形方式找到相对应的节点，返回其value值

扩容

// 首先要说明的是，方法参数 size 传进来的时候就已经翻了倍了
private final void tryPresize(int size) {
    // c：size 的 1.5 倍，再加 1，再往上取最近的 2 的 n 次方。
    int c = (size >= (MAXIMUM_CAPACITY >>> 1)) ? MAXIMUM_CAPACITY :
        tableSizeFor(size + (size >>> 1) + 1);
    int sc;
    while ((sc = sizeCtl) >= 0) {
        Node<K,V>[] tab = table; int n;

        // 这个 if 分支和之前说的初始化数组的代码基本上是一样的，在这里，我们可以不用管这块代码
        if (tab == null || (n = tab.length) == 0) {
            n = (sc > c) ? sc : c;
            if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
                try {
                    if (table == tab) {
                        @SuppressWarnings("unchecked")
                        Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
                        table = nt;
                        sc = n - (n >>> 2); // 0.75 * n
                    }
                } finally {
                    sizeCtl = sc;
                }
            }
        }
        else if (c <= sc || n >= MAXIMUM_CAPACITY)
            break;
        else if (tab == table) {
            // 我没看懂 rs 的真正含义是什么，不过也关系不大
            int rs = resizeStamp(n);

            if (sc < 0) {
                Node<K,V>[] nt;
                if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
                    sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
                    transferIndex <= 0)
                    break;
                // 2. 用 CAS 将 sizeCtl 加 1，然后执行 transfer 方法
                //    此时 nextTab 不为 null
                if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
                    transfer(tab, nt);
            }
            // 1. 将 sizeCtl 设置为 (rs << RESIZE_STAMP_SHIFT) + 2)
            //     我是没看懂这个值真正的意义是什么？不过可以计算出来的是，结果是一个比较大的负数
            //  调用 transfer 方法，此时 nextTab 参数为 null
            else if (U.compareAndSwapInt(this, SIZECTL, sc,
                                         (rs << RESIZE_STAMP_SHIFT) + 2))
                transfer(tab, null);
        }
    }
}

这个方法的核心在于 sizeCrl 值的操作，首先将其设置为一个附属，然后执行 transfer(tab, null)，在下一个循环将 sizeCtl 加1，并执行 transfer(tab, nt)， 之后可能是继续 sizeCtl 加 1，并执行 transfer(tab, nt)。

所以，可能得操作就是执行1次 transfer(tab, null) + 多次 transfer(tab, nt)。

参考资料/相关推荐

  • 死磕Java并发—–J.U.C之Java并发容器：ConcurrentHashMap(http://cmsblogs.com/?p=2283)

  • ConcurrentHashMap使用示例(https://my.oschina.net/mononite/blog/144329)

  • ConcurrentHashMap使用示例(https://blog.csdn.net/zero__007/article/details/49833819)

  • Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析(https://javadoop.com/post/hashmap#Java8%20HashMap)

02-11 21:08
Powered by LMLPHP ©2024 我要、发光~ 0.054915