OpenVPN·WireGuard·VLESS 프로토콜 비교
"어느 게 제일 빠른가"는 잘못된 질문입니다. 세 프로토콜은 애초에 다른 문제를 풀려고 만들어졌고, 그래서 잘하는 게 서로 다릅니다.
VPN 앱 설정 화면에 프로토콜 선택 항목이 있는데 대부분 건드리지 않고 넘어갑니다. 평소엔 그래도 됩니다. 문제는 이게 결정적으로 중요해지는 순간이 따로 있다는 겁니다 — 국가 단위 검열망 안에 있을 때요.
그 상황에서는 서버를 아무리 바꿔도 소용없고, 요금제를 올려도 안 됩니다. 프로토콜이 걸린 거라면 프로토콜을 바꿔야 합니다. 셋을 하나씩 보겠습니다.
셋은 각자 다른 문제를 풀려고 만들어졌다
OpenVPN — 검증된 범용 표준
2001년에 나왔습니다. 20년 넘게 감사받고 검증된 오픈소스라 신뢰도가 높고, 거의 모든 기기·라우터가 지원합니다. 기업 VPN에서 여전히 널리 쓰이는 이유입니다.
단점은 설계가 오래됐다는 데서 옵니다. 코드베이스가 크고 무거워 모바일에서 배터리를 더 먹고, 속도도 최신 프로토콜에 밀립니다. 그리고 결정적으로 트래픽 패턴이 특징적이라 식별하기 쉽습니다. 20년간 쓰였다는 건 검열 기관도 20년간 연구했다는 뜻이니까요.
적합 — 사내 VPN, 라우터 단위 설정, 호환성이 최우선일 때. 부적합 — 국가 검열 환경.
WireGuard — 속도와 단순함
2020년 리눅스 커널에 정식 편입된 신형입니다. 설계 철학이 명확합니다. 코드를 극단적으로 줄이고(OpenVPN의 수십분의 일 규모) 최신 암호 알고리즘만 남겼습니다. 그 결과 빠르고, 가볍고, 연결이 즉각적입니다. 모바일에서 네트워크가 바뀌어도 세션이 유지됩니다.
지금 속도만 놓고 보면 사실상 최선의 선택입니다. 다만 여기에도 같은 함정이 있습니다. 단순하고 일관된 설계라는 건 패턴이 일정하다는 뜻이기도 합니다. 고정된 핸드셰이크 형태가 지문이 되어, 정교한 DPI 앞에서는 오히려 알아보기 쉽습니다.
적합 — 공용 와이파이 보안, 지역차단 우회, 속도가 중요한 일반 환경. 부적합 — 국가 검열 환경(표준 형태 기준).
VLESS — 검열을 통과하기 위한 설계
앞의 둘과 출발점이 다릅니다. OpenVPN과 WireGuard가 "안전하고 빠른 터널"을 목표로 했다면, VLESS 계열은 처음부터 "검열 장비의 눈에 띄지 않는 것"을 목표로 만들어졌습니다.
특히 Reality라는 방식이 핵심입니다. 실제로 존재하는 유명 웹사이트를 향한 TLS 1.3 핸드셰이크를 그대로 흉내 냅니다. 검사 장비가 들여다봐도 누군가 평범한 사이트에 HTTPS로 접속하는 것과 구분되지 않습니다. 숨기는 게 아니라 다른 것인 척하는 접근입니다.
대가도 있습니다. OS에 내장되지 않아 전용 클라이언트가 필요하고, 설정이 상대적으로 까다롭습니다. 라우터 단위 적용도 어렵습니다. 검열이 없는 환경에서는 굳이 감수할 이유가 없는 불편입니다.
적합 — 중국·이란 등 국가 검열 환경. 부적합 — 라우터 전체 적용, 최대한 단순한 설정을 원할 때.
| 항목 | OpenVPN | WireGuard | VLESS (+Reality) |
|---|---|---|---|
| 설계 목적 | 범용·호환성 | 속도·단순함 | 검열 회피 |
| 속도 | 보통 | 가장 빠름 | 빠름 |
| 검열 내성 | 낮음 | 낮음(표준 형태) | 현재까지 높음 |
| 기기 지원 | 거의 전부 | 넓음 | 전용 앱 필요 |
| 설정 난이도 | 보통 | 쉬움 | 구독 링크 방식이면 쉬움 |
| 2026 중국 | 사실상 차단 | 높은 확률로 탐지 | DPI 단독으로는 미차단 |
검열 환경에서만 순위가 뒤집히는 이유
여기가 이 글에서 가장 중요한 부분입니다. 위 표를 보면 속도 순위와 검열 내성 순위가 거의 반대입니다. 우연이 아닙니다.
빠른 프로토콜은 군더더기를 없앤 프로토콜입니다. 군더더기가 없다는 건 모양이 일정하다는 뜻이고, 모양이 일정하면 알아보기 쉽습니다. 반대로 검열을 통과하려면 일부러 다른 트래픽인 척 위장 계층을 덧씌워야 하는데, 그건 본질적으로 오버헤드입니다.
2026년 기준으로 방화장성은 IP 차단을 넘어 패킷의 크기·타이밍·통계적 지문을 머신러닝으로 판별하고, 의심되면 서버를 직접 찔러 보는 액티브 프로빙까지 씁니다. 여러 기술 분석이 OpenVPN·IKEv2·WireGuard가 거의 100%에 가까운 정확도로 식별된다고 정리합니다. 암호가 풀리는 게 아니라 암호화된 트래픽의 모양을 보고 끊는 겁니다. 그래서 "군사급 암호화"라는 광고 문구는 이 문제와 아무 관련이 없습니다.
주의: "현재까지 안 막힌다"는 영구 보장이 아닙니다. 검열 기술과 우회 기술은 계속 서로를 따라잡는 중이고, 오늘 통하는 방식이 반년 뒤에도 통한다는 근거는 없습니다. 특정 프로토콜을 절대적 해답처럼 광고한다면 그쪽을 의심하는 편이 안전합니다.
내 상황에서는 뭘 골라야 하나
결론은 단순합니다. 검열국에 가지 않는다면 프로토콜은 신경 쓰지 않아도 됩니다. WireGuard가 기본값인 서비스를 쓰면 충분하고, 그게 대개 가장 빠릅니다.
- 공용 와이파이 보안만 필요 — WireGuard. 속도가 가장 중요하고 검열 이슈가 없습니다.
- 해외에서 한국 콘텐츠 시청 — 프로토콜보다 출구 국가가 중요합니다. 한국 IP를 주는지 먼저 확인하세요.
- 사내 시스템 접속 — 회사가 정한 방식을 따릅니다. 대개 OpenVPN이나 IPsec입니다.
- 중국·이란 등 검열국 체류 — VLESS 계열 외에는 선택지가 사실상 없습니다.
마지막 항목이 우리가 만든 서비스의 출발점이었습니다. AYVPN은 VLESS 기반 프로토콜을 쓰고, 출구는 KT·SK 등 국내 다중 회선입니다. 검열 통과와 한국 IP라는 두 조건이 동시에 필요한 사람 — 중국에 있는 한국인이 정확히 그렇습니다 — 을 위한 조합입니다.
구독 링크 하나를 앱에 붙여넣는 방식이라, VLESS의 단점으로 꼽히는 설정 복잡도는 실사용에서 크게 체감되지 않습니다. 실제로 어떻게 돌아가는지는 중국에서 3주 써 본 기록에 적어뒀고, 나라별로 막히는 이유가 어떻게 다른지는 해외에서 한국 인터넷 쓰는 법 총정리에서 다룹니다.
※ 이 글은 주나이테크 주식회사가 운영하는 AYVPN 자사 서비스 소개를 포함한 글입니다. 기능·요금은 2026년 7월 기준이며 변경될 수 있습니다. 프로토콜의 검열 내성은 시점에 따라 달라질 수 있는 사안이며, 해외에서의 VPN 이용은 현지 법령의 적용을 받습니다.