OpenJDK, 잘못된 Base64 입력이 메모리를 덮는 버그
-
Trends
- 11-20
- 370 회
- 0
OpenJDK의 AVX-512 Base64 디코더에서 잘못된 입력이 힙 메모리를 덮어쓰는 버그가 보고됐다. 9월 수정 제안은 11월 닫혔지만, 오라클이 넘겨받았다는 발언도 전해졌다. 발생 조건과 제안된 수정 방식, 공개 기록만으로 확인할 수 있는 범위를 짚는다.
OpenJDK의 Base64 디코더(문자로 표현한 데이터를 원래 바이트로 되돌리는 기능)에서 출력 범위를 넘어 메모리를 덮어쓰는 버그가 보고됐다. 2026년 9월 9일 올라온 수정 제안은 정상적인 입력이 아니라, 형식이 잘못된 입력을 처리할 때 문제가 생긴다고 설명했다. 핵심은 입력 오류가 단순한 변환 실패에 그치지 않고 자바 프로그램의 힙(실행 중 쓰는 메모리 영역)을 손상시킨다는 점이다.
대상 저장소인 openjdk/jdk는 자바 개발 도구인 JDK의 주 개발 저장소이며, 공개된 라이선스 정보는 GPL-2.0이다. 이번에 문제가 지목된 곳은 x86_64 환경에서 AVX-512 VBMI라는 프로세서 명령어 확장을 사용하는 디코딩 경로다. 따라서 이 보고서를 읽을 때는 ‘자바에서 발생한 버그’라는 큰 범주보다 어떤 처리 경로와 입력 조건이 겹쳤는지를 먼저 살펴볼 필요가 있다.
남은 입력이 네 바이트보다 짧을 때
수정 제안에 따르면 해당 코드는 큰 덩어리를 처리한 뒤 남은 1~63바이트를 별도 경로에서 다룬다. 이때 입력 길이를 4로 나눈 몫에 3을 곱해 출력 길이를 계산한다. 보고서가 설명하는 정상 입력은 길이가 4의 배수이므로, 문제를 일으키는 조건은 잘못된 형식의 입력에서 생긴다. 제시된 예는 문자 A 64개 뒤에 패딩 문자 ‘=’ 하나를 붙인 경우로, 앞부분을 처리하고 나면 한 바이트가 남는다.
남은 길이가 4보다 작으면 계산된 출력 길이는 처음에 0이다. 그런데 패딩을 처리하는 과정에서 이 값을 더 줄여 음수가 되고, 어느 위치에 데이터를 쓸지 정하는 마스크도 잘못 만들어진다. 그 결과 내부 처리 코드가 자바 쪽으로 돌아오기 전에 정해진 출력 길이 바깥에 데이터를 써서 힙을 손상시킨다는 설명이다. 제안된 수정은 남은 입력이 4바이트 미만이면 이 경로의 처리를 멈추고 자바 쪽으로 바로 돌아가도록 하는 것이다.
수정 제안이 닫힌 뒤에도 남은 질문
공개 기록에서 이 수정 제안의 진행은 매끄럽지 않았다. 페이지에는 검토 두 건이 필요하다는 조건과 함께, 연결된 이슈 8392044의 정보를 가져오지 못했다는 통합 차단 안내가 표시돼 있다. 11월 4일에는 봇이 8주 넘게 활동이 없었으며, 추가로 8주가 지나면 자동으로 닫겠다고 알렸다. 다만 실제 기록은 봇의 자동 종료가 아니라 작성자가 같은 날 제안을 닫은 것으로 남아 있다.
그렇다고 이 기록만으로 담당자가 버그를 방치했다고 결론짓기는 어렵다. 개발자 토론의 한 참여자는 연결된 지원 이슈에 남은 작성자의 발언을 인용하며, 10월 1일에는 오라클로부터 승인 전까지 수정 제안을 진행하지 말라는 이메일을 받았다고 전했다. 같은 참여자는 10월 28일 작성자가 오라클이 넘겨받았으며 자신들 쪽에서 더 할 일은 없다고 썼다는 내용도 소개했다. 이는 직접 확인한 지원 이슈 원문이 아니라 토론을 통해 전해진 설명이므로, 공개 제안이 닫힌 배경을 이해하는 보조 근거로 보는 편이 맞다.
11월 19일에도 수정 제안 페이지에는 왜 닫혔는지 묻는 댓글이 올라왔다. 다만 제공된 자료로는 ‘java4shell’이라는 이름과 이 버그의 관계, 원격 코드 실행 가능성, 배포판별 패치 여부까지 확인할 수 없다. 이 기록이 자바 서비스를 운영하는 개발자에게 주는 실질적인 확인 지점은 사용 중인 환경이 해당 처리 경로에 해당하는지, 그리고 배포판에서 어떤 수정이 제공됐는지일 수 있다. 공개 수정 제안의 종료 상태와 실제 배포본의 수정 상태를 따로 확인하는 것이 이번 사례를 읽는 출발점으로 보인다.