AI는 생각보다 많은 것을 못 본다. 비정형 데이터를 제대로 읽지 못하기 때문이다. 숙련된 의사는 청진기 소리, 안색, 말투, 자세까지 종합해서 진단을 내린다. 그런데 AI는 혈압 수치, 체온, 혈액 검사 결과처럼 정해진 칸에 들어온 숫자만 본다. 칸 밖에 있는 정보는 존재하지 않는 것과 같다. 현장도 마찬가지다. 설비 보고서, 정비 일지, 현장 메모 — 베테랑 엔지니어가 수십 년 동안 쌓아온 판단의 근거들이 PDF와 텍스트 파일 안에 잠들어 있다. AI가 그것을 읽지 못하는 한, 현장의 진짜 지식은 영원히 디지털화되지 않는다.
이 글에서는 비정형 데이터가 무엇인지, 왜 AI의 핵심 병목인지, 그리고 이 문제가 풀리기 시작했을 때 현장과 산업에 어떤 변화가 생기는지를 엔지니어의 시각으로 짚어본다. 후반부에서는 이 기술의 최전선에 있는 한글과컴퓨터의 기술 비전과 냉정한 약점까지 함께 다룬다.
비정형 데이터란 무엇인가 — 의사의 오감과 AI의 간극
데이터는 크게 두 종류로 나뉜다.
| 구분 | 정의 | 예시 |
|---|---|---|
| 정형 데이터 | 행과 열로 정리된 구조화된 데이터 | 온도 로그, 생산량 수치, DB 테이블 |
| 비정형 데이터 | 정해진 구조 없이 저장된 데이터 | PDF 보고서, 이메일, 현장 메모, 이미지 |
문제는 비율이다. 기업 데이터의 80~90%는 비정형 포맷으로 존재한다. 엑셀 표 안에 들어온 깔끔한 숫자는 전체의 10~20%에 불과하다. 그런데 지금까지 AI는 정형 데이터만 잘 읽어왔다. 나머지 80~90%는 사실상 AI에게 보이지 않는 영역이었다.
의사의 진단 과정을 생각해보자. 혈압 160, 체온 37.8, 헤모글로빈 수치 — 이 숫자들은 정형 데이터다. 그런데 베테랑 의사는 거기에 더해 환자의 안색이 창백한지, 말할 때 숨이 차는지, 걸어오는 자세가 어떤지를 동시에 읽는다. 이 오감의 정보는 어떤 칸에도 들어가 있지 않다. 비정형이다.
현장 엔지니어도 정확히 같은 방식으로 일한다. 장비 소리, 진동의 패턴, 예전과 다른 냄새, 오래된 정비 일지에 손으로 적힌 메모 — 이것들이 합쳐져서 “이 장비 곧 문제 생긴다”는 판단이 나온다. 비정형 데이터를 읽지 못하는 AI는 이 판단 과정에 끼어들 수가 없다.
현장 노하우가 사라지는 이유 — 암묵지는 왜 전수되지 않는가
제조 현장에는 오래된 농담이 있다. “저 사람이 퇴직하면 그 노하우도 같이 퇴직한다.” 20년 경력의 엔지니어가 떠날 때, 그의 머릿속에 있던 판단 기준, 예외 처리 방법, 장비별 특성 — 이것들은 대부분 문서화되지 않은 채로 사라진다.
왜 문서화가 안 됐을까. 귀찮아서가 아니다. 구조가 없어서다. 베테랑 엔지니어가 “이 장비는 가동 초기 3시간이 중요하다”고 말할 때, 그 근거는 수십 개의 정비 일지, 수백 번의 파라미터 확인, 몇 번의 아찔한 트러블슈팅 경험이 합쳐진 것이다. 이걸 DB 테이블 하나에 넣을 방법이 없다. 비정형이기 때문이다.
RAG 개념이 주목받는 이유가 여기 있다. RAG는 AI가 외부 문서를 실시간으로 검색해서 답변에 활용하는 구조다. 만약 현장의 정비 일지, 트러블슈팅 보고서, 설비 매뉴얼을 정확하게 파싱해서 RAG 시스템에 연결할 수 있다면 — 20년 경력 엔지니어의 판단 패턴이 시스템 안에 살아남을 수 있다. 퇴직과 함께 사라지지 않고.
이것이 비정형 데이터 파싱 기술이 단순한 IT 기술이 아닌 이유다. 현장 지식의 생존 문제다.
비정형 데이터 파싱이 현장 아카이브를 가능하게 하는 3가지 구조
비정형 데이터를 AI가 쓸 수 있는 형태로 바꾸는 과정을 파싱(Parsing)이라고 한다. 파싱의 품질이 RAG 시스템 전체 성능의 90%를 결정한다는 말이 있다. 쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out). 아무리 좋은 LLM을 붙여도 입력 데이터가 엉망이면 결과는 엉망이다.
현장 아카이브가 실제로 작동하려면 파싱이 세 가지를 해낼 수 있어야 한다.
첫째, 읽기 순서를 복원해야 한다.
PDF는 보기엔 깔끔하지만 내부 구조는 복잡하다. 다단 레이아웃, 표, 헤더와 푸터가 뒤섞인 문서를 잘못 파싱하면 문장이 뒤죽박죽 섞인다. “3번 파라미터 이상 시 → 즉시 정지”라는 문장이 “즉시 정지 → 3번 파라미터 이상 시”로 뒤집히면, AI는 엉뚱한 판단을 내린다.
둘째, 표의 행·열 구조를 살려야 한다.
현장 보고서에서 표는 핵심이다. 어떤 조건에서 어떤 조치를 취했는지, 수치가 어느 범위에 들어왔을 때 어떻게 판단했는지 — 이 정보는 표 안에 있다. 표 구조가 무너지면 조건과 결론의 연결이 끊어진다.
셋째, AI가 학습하기 좋은 포맷으로 변환해야 한다.
파싱한 결과를 마크다운, JSON, HTML 같은 구조화된 형식으로 출력할 수 있어야 RAG 파이프라인에 연결된다. 텍스트 덩어리를 그대로 뽑아내는 것과 구조를 살려서 변환하는 것은 완전히 다른 결과를 만든다.
이 세 가지가 제대로 작동할 때, 현장의 비정형 데이터가 AI가 읽고 추론할 수 있는 지식 베이스로 전환된다.
산업에서 관찰되는 신호 — 한컴 오픈데이터로더 사례
💡 아래 기업명·수치는 산업 구조를 설명하기 위한 참고 정보이며, 매수·매도 권유가 아닙니다. 투자 판단과 그 책임은 전적으로 본인에게 있습니다.
한글과컴퓨터가 공개한 오픈데이터로더 PDF v2.0은 2026년 3월 깃허브 전체 개발 언어 대상 트렌딩 1위를 기록했다. 약 4억 개 프로젝트가 등록된 플랫폼에서 국내 기업의 솔루션이 전체 1위를 차지한 건 이례적인 일로 관찰된다.
현장 엔지니어 시각에서 이 기술을 뜯어보면 두 가지가 눈에 띈다.
하나는 속도와 GPU 독립성이다. 로컬 모드 기준 페이지당 0.015초, 정확도 90%, GPU 없이 CPU만으로 구동 가능하다. 클라우드 인프라가 부족한 중소 제조 현장에서도 실제로 쓸 수 있다는 뜻이다. 좋은 기술이 현장에서 외면받는 가장 흔한 이유는 인프라 장벽이다. 이 장벽을 낮췄다는 점은 현장 적용 가능성 측면에서 의미 있다.
다른 하나는 하이브리드 설계다. 단순 텍스트는 규칙 기반(Rule-based)으로 즉시 처리하고, 복잡한 레이아웃 분석에만 AI를 개입시킨다. AI를 무조건 많이 쓰는 것이 최선이 아니라는 설계 철학이 담겨 있다. 연산 자원을 최적화하고 처리 속도를 높이는 이 방식은, 데이터 설계에서 도구보다 구조가 먼저라는 원칙과 맞닿아 있다.
라이선스는 아파치 2.0으로 완전 개방했다. 단기 수익보다 글로벌 AI 생태계에서 기술 표준으로 자리잡는 쪽에 무게를 둔 전략으로 읽힌다.
기술 비전과 약점 — 냉정하게 보는 시선
이 기술이 현장 아카이브의 인프라가 될 수 있다는 가능성은 분명히 있다. 그러나 가능성과 현실 사이에는 항상 간격이 있다.
비전과 약점을 함께 정리하면 이렇다.
| 구분 | 내용 |
|---|---|
| 기술 비전 | RAG·AI 에이전트 확산과 맞물린 PDF 파싱 수요 구조적 성장 |
| 기술 비전 | 기업 데이터 80~90%가 비정형 — 시장 자체가 크다 |
| 기술 비전 | 공공·금융 등 보안 민감 환경에 유리한 100% 로컬 구동 |
| 현실적 약점 | 오픈소스 무료 공개 → 직접 수익화까지 타임라인 불투명 |
| 현실적 약점 | 글로벌 빅테크(MS, Google)의 문서 AI 내재화 경쟁 심화 |
| 현실적 약점 | 오픈소스 생태계 1위 유지 보장 어려움 — 후발 경쟁자 진입 용이 |
| 현실적 약점 | 연결 자회사 부동산 부실 리스크 — 본업 외 변수 존재 |
한컴은 2026년 별도 기준 매출 2100억 원, 영업이익 600억 원을 경영 목표로 제시했다. 전년 대비 각각 20%, 18% 성장 목표다. 비오피스 매출 비중을 전체의 50%까지 끌어올리겠다는 계획도 포함됐다. 이 목표가 실제로 달성되는지에 따라, 패키지 소프트웨어 중심에서 플랫폼 기업으로 평가 축이 옮겨갈 수 있다는 해석도 업계에서 거론된다.
다만 이 모든 판단은 독자 각자의 투자 원칙과 리스크 허용 범위 안에서 이루어져야 한다. 기술이 좋다는 것과 지금 투자하기 적합하다는 것은 별개의 질문이다. 이 글은 기술의 방향성을 엔지니어 시각으로 짚는 것이지, 투자 판단을 대신하지 않는다.
정리 — 비정형 데이터, 현장의 언어를 AI가 읽기 시작했다
비정형 데이터는 현장이 오랫동안 디지털화하지 못했던 영역이다. 보고서, 일지, 메모 안에 잠든 수십 년의 경험이 파싱 기술의 발전과 함께 AI가 읽을 수 있는 형태로 전환되기 시작했다. 이것은 단순한 문서 변환 기술이 아니다. 현장 엔지니어의 암묵지를 시스템 안에 살려두는 구조가 현실이 될 수 있다는 신호다.
핵심 요약:
- 비정형 데이터는 기업 데이터의 80~90% — AI가 보지 못한 영역이 더 크다
- 파싱 품질이 RAG 시스템 전체 성능을 결정한다
- 현장 노하우 아카이브는 파싱 기술이 성숙할수록 현실에 가까워진다
- 기술 비전과 투자 판단은 별개의 질문이다
함께 읽으면 좋은 글
비정형 데이터를 RAG로 연결하는 구조가 궁금하다면, 그 3단계 흐름부터 잡는 것이 먼저다.
도메인 지식이 AI 시대에 왜 여전히 핵심인지 더 깊이 보고 싶다면 이 글을 이어서 읽어보길 권한다.
한컴 오픈데이터로더 PDF의 기술 문서와 깃허브 현황은 한글과컴퓨터 공식 GitHub에서 직접 확인할 수 있다.
이 글은 현장 엔지니어의 시각으로 기술과 산업의 방향성을 분석한 콘텐츠이며, 특정 종목의 매수·매도를 권유하지 않습니다. 본문에 언급된 종목명, 매출·이익 목표 등은 산업 구조를 설명하기 위한 참고 정보일 뿐, 투자 자문이나 수익 보장이 아닙니다. 모든 투자 결정에는 원금 손실의 위험이 따르며, 최종 판단과 그 결과에 대한 책임은 투자자 본인에게 있습니다. 투자 전 반드시 공시 자료 등 1차 출처를 직접 확인하고, 필요시 전문가와 상담하시기 바랍니다. 본 게시물은 작성일 기준 공개된 정보를 바탕으로 하며, 이후 사실관계가 달라질 수 있습니다.
