자바 스크립트를 쓰면 될 것 같습니다...

$homepath = "http://홈페이지주소/bbs";
if (preg_match($cfg[image_extension], $file))
 &nbsp; &nbsp; &nbsp;return "<a href='$homepath/$cfg[dir_file]/$board[bo_table]/$file' target='_new'><img src='$reldir/$cfg[dir_file]/$board[bo_table]/$file' width='130' height='150' border=0></a><p>";

이 부분을

$homepath = "http://홈페이지주소/bbs";
if (preg_match($cfg[image_extension], $file))
 &nbsp; &nbsp; &nbsp;return "<a href=\"javascript:;\" onclick=\"window.open('$homepath/$cfg[dir_file]/$board[bo_table]/$file', '그림', 'width=$width, height=$height, scrollbars=1');\"><img src='$reldir/$cfg[dir_file]/$board[bo_table]/$file' width='130' height='150' border=0></a><p>";

요것처럼 수정해 주시면 되겠습니다...

'그림'이라는 게 아마 새로 열리는 창의 제목일 것이고요...
width, height가 새로 열리는 창의 크기입니다. $width, $height는 원본 이미지의 크기이고요.
새 창의 스크롤 바를 없애고 싶으시면 scrollbars=0 으로 해 주시면 될 것입니다...