Почему нельзя использовать массивы байтов (byte[]) в качестве ключей в HashMap?

Потому что стандартная реализация equals() для массивов сравнивает их по ссылке, а не по содержимому. HashMap использует методы equals() и hashCode() для сравнения ключей. Если два массива байтов имеют разное содержимое, но одинаковую ссылку, они считаются равными. Если имеют одинаковое содержимое, но разные ссылки, они считаются неравными.

Для корректного использования byte[] в качестве ключа, нужно обернуть его в объект, который переопределяет equals() и hashCode() для сравнения по содержимому. Пример такой обертки:

// Пример реализации обертки
public class ByteArrayWrapper {
    private final byte[] data;

    public ByteArrayWrapper(byte[] data) {
        this.data = data;
    }

    public byte[] getData() {
        return data;
    }

    @Override
    public boolean equals(Object o) {
        if (this == o) return true;
        if (o == null || getClass() != o.getClass()) return false;
        ByteArrayWrapper that = (ByteArrayWrapper) o;
        return Arrays.equals(data, that.data);
    }

    @Override
    public int hashCode() {
        return Arrays.hashCode(data);
    }
}