맞아요. 새로 구매한 서버 모두 DB의 데이터 폴더가 NVMe SSD가 아닌 SSD에 있더군요... 헐...
그래서 NVMe SSD에 마운트 되어 있는 /home 디렉토리 밑으로 DB 데이터 폴더를 이동시켰답니다.
그래도 속도가 아주 조금 좋아졌어요. 20초에서 15초로... ㅠㅠ
그런데 생각해보니 0.25초 나오는 서버는 애초에 SSD더군요.
같은 SSD인데 속도 차이가???
NVMe SSD로 옮겼는데도 이거 밖에 안나온다고???

그래서 디스크 읽기/쓰기 테스트를 해본건데요...
저 데이터 정말 이상하죠...
어케 판단해야 하는건지 잘 모르겠어서 난감합니다. 흠냐...

디비의 환경 설정 그러니까 메모리 설정은...
검색을 통하여 처음엔 서버의 사양에 맞게(?) 셋팅했다가...
속도가 안나오니 자꾸 자꾸 바꿔보고...
그러다가 결국은 원래 서버대로도 해보고...
하... 사실 이 부분도 검색을 통해서 한거라 확신은 없답니다.... (무식하면 용감하죠? ㅜㅜ)

셋팅의 변화... 아래거에서 이거 저거 마구 바꿔봤어요.
[mysqld]
init_connect="SET collation_connection = utf8_general_ci"
init_connect="SET NAMES utf8"
character-set-server = utf8
collation-server = utf8_general_ci
slow_query_log = 1
long_query_time = 3

general_log=ON
log-err=/var/lib/mysql/error.log

innodb_file_per_table
innodb_buffer_pool_size=10G
innodb_buffer_pool_instances = 10
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_log_file_size = 1G

tmp_table_size=256m
max_heap_table_size = 256M

event_scheduler = ON


innodb_sort_buffer_size=64m
#innodb_force_recovery = 4

read_only=0
slave-skip-errors=all
skip-name-resolve

key_buffer_size = 768M
join_buffer_size = 4M

max_allowed_packet = 10M
table_open_cache = 512
sort_buffer_size = 64M
read_buffer_size = 64M
myisam_sort_buffer_size = 128M
thread_cache_size = 20

# Try number of CPU's*2 for thread_concurrency
thread_concurrency = 8
max_connections = 2048
table_cache = 512

# Query Cache
query_cache_limit=16M
query_cache_size=512M
query_cache_type=1




에서... 원 서버의 셋팅대로도 해보고...
[mysqld]
init_connect="SET collation_connection = utf8_general_ci"
init_connect="SET NAMES utf8"
character-set-server = utf8
collation-server = utf8_general_ci

open_files_limit = 10240
table_open_cache = 5120

max_connections = 30
key_buffer_size = 128M
join_buffer_size = 4M
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 4M
tmp_table_size = 256M
max_heap_table_size = 256M

innodb_file_per_table
innodb_buffer_pool_size = 1024M
innodb_log_file_size = 1G

thread_cache_size = 4
event_scheduler = ON

slow_query_log = 1
long_query_time = 3

general_log=ON
log-err=/var/lib/mysql/error.log

max_allowed_packet = 10M

#log-bin=/var/log/mysql/bin.log
binlog_cache_size=2M
max_binlog_size=512M
expire_logs_days=10

원서버와 새로 설치한 서버들이 다른 점은... compact와 dynamic이군요... 무슨 차이지... 얼렁 찾아봐야겠군요...

구 서버
 table_type | engine | version | ROW_FORMAT | TABLE_COLLATION |
+------------+--------+---------+------------+-----------------+
| BASE TABLE | InnoDB |      10 | Compact    | utf8_general_ci |
| BASE TABLE | InnoDB |      10 | Compact    | utf8_general_ci |

신 서버
+------------+--------+---------+------------+-----------------+
| table_type | engine | version | ROW_FORMAT | TABLE_COLLATION |
+------------+--------+---------+------------+-----------------+
| BASE TABLE | InnoDB |      10 | Dynamic    | utf8_general_ci |
| BASE TABLE | InnoDB |      10 | Dynamic    | utf8_general_ci |
| BASE TABLE | InnoDB |      10 | Dynamic    | utf8_general_ci |
| BASE TABLE | InnoDB |      10 | Dynamic    | utf8_general_ci |
| BASE TABLE | InnoDB |      10 | Dynamic    | utf8_general_ci |

허허허... 느린 쿼리의 500만건 조금 안되는 놈을 compact로 바꾸었더니... 28초 걸렸어요 ^^ 허허허... 다 바꿔야 하나...

여건이 되면 한번 select를 돌려 보고 싶은 욕구가 드는 상황이군요.