form 체크시 라디오박스나 체크박스시 적용이 안되는경우가 많은데,

class 를 이용해서 해보세요

<script src="//code.jquery.com/jquery-1.11.3.min.js"></script>

<script>

$(document).ready(function(){

    $('#search').on('click',function(){

        if($('.key').is(':checked')){

            $('form').submit();

        }else{

            $('#keyHelper').text('key를 체크하세요');

        }

    });

});

</script>

</head>

<body>

<form action="./empSearchList3.jsp" method="GET">

    <input type="checkbox" class="key" name="key" value="ename">ename

    <input type="checkbox" class="key" name="key" value="job">job

    <span id="keyHelper"></span>

</form>