AI가 생성한 코드까지 검증할 수 있는 보안 분석 서비스를 기획한 졸업과제·창업 프로젝트

2026.03 ~ 진행 중 · 기획 / 방법 선정 / 평가 기준 수정 / 결과 검토

모두의창업 1라운드 진출 · 부울경 예비창업가 트랙 최우수상

한 줄 요약

초기 LLM 중심 접근에서 출발해, Joern CPG(Code Property Graph)의 구조 분석과 LLM의 의미 판단을 결합하는 방향으로 설계를 수정한 보안 분석 서비스입니다. Java 코드의 source-to-sink 경로 분석, 웹 동적 분석(ZAP), GitHub PR 분석과 리포트를 구성했습니다.

내가 맡은 역할과 AI 활용

코드 작성은 Codex와 Claude가 담당했고, 문제 정의·방법 선정·평가 기준 수정·결과 검토는 제가 맡았습니다. 방법을 고르고 결과를 해석할 때에도 AI의 의견과 설명을 참고하며, 비교할 대안과 확인할 지표를 정하고 방향을 수정했습니다.

LLM 내부 원리를 충분히 이해한 상태에서 시작한 프로젝트는 아닙니다. 모델 자체를 독자적으로 개발한 경험과 구분하여, 서비스 기획과 분석 방식의 선택·평가를 수행한 경험으로 소개합니다.

• 문제 정의·사업 기획: 코드 생성 속도 증가에 따른 보안 검증 부담을 문제로 정하고, 서비스 방향과 사업계획서를 구성했습니다.
• 방법 선정: LLM 단독 분석의 한계를 검토하고 관련 논문의 CPG + LLM 방법을 참고하여 아키텍처 변경을 주도했습니다.
• 평가 기준 수정: AI가 F1 중심으로 성과를 설명하는 것에 의문을 갖고 재현율·정밀도·오탐률·MCC를 함께 확인하도록 했습니다.
• 결과 검토: 개선된 수치뿐 아니라 증가한 오탐과 탐지하지 못한 유형도 함께 살폈습니다.

현재 분석 구성

• Frontend / Backend: React·TypeScript, Java·Spring Boot, PostgreSQL
• 분석 엔진: Python·FastAPI, Joern CPG, Qwen 계열 LLM
• 웹 동적 분석·연동: OWASP ZAP, GitHub 저장소·PR 분석, 취약점 리포트와 수정 가이드

벤치마크에서는 기존 CPG 규칙에 LLM 생성 규칙을 추가하는 효과를 비교합니다. 서비스에서는 CPG 경고와 LLM의 소스코드 의미 분석 결과를 보존하고 CWE·행 번호 기준으로 통합합니다. 아래 수치를 서비스 전체의 탐지 성능으로 해석하지 않습니다.

평가 설계와 결과

2026년 졸업과제 발표회 포스터에 정리한 Java 실험입니다. 초기 QLoRA·OWASP 실험과 구분합니다.