로그인 느려지는 현상

안녕하세요.

다름이 아니옵고, 로그인시 너무 많은 시간이 소요되는 문제가 있습니다.

최근에 로그인한 아이디는 대략 10초 이내에 로그인이 되는데, 2~3일만 접속 안한 아이디는 2분 넘게 소요됩니다.

회원수는 약 4만명정도되구요...

대체 무슨 문제인지 모르겠습니다.

[mysqld]
datadir = /var/lib/mysql
socket = /var/lib/mysql/mysql.sock

symbolic-links=0
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

#innodb_file_per_table=1
open_files_limit=80000
max_allowed_packet=268435456

innodb_buffer_pool_size=2G
#innodb_log_file_size=256M
innodb_flush_method=O_DIRECT
innodb_io_capacity=2000
innodb_old_blocks_time=2000
innodb_open_files=8000

key_buffer_size=16M
read_buffer_size=256K
read_rnd_buffer_size=256K
query_cache_size=128M
query_cache_limit=5M
join_buffer_size=4M
sort_buffer_size=4M
max_heap_table_size=128M
tmp_table_size=128M
table_open_cache=4500
table_definition_cache=4000
thread_cache_size=50

long_query_time=3

#tmp_table_size=2G
#max_heap_table_size=2G
max_connections = 1024
innodb_buffer_pool_size = 6G
innodb_buffer_pool_instances = 4
#query_cache_size = 128M
innodb_write_io_threads = 8
innodb_read_io_threads = 8

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
log-slow-queries=/var/log/mariadb/log-slow-queries.log
pid-file=/var/run/mariadb/mariadb.pid

!includedir /etc/my.cnf.d

서버 스펙: