LLM 보안은 왜 우리가 알던 웹 보안과 완전히 다른가 우리 팀이 처음으로 내부 RAG 챗봇을 프로덕션에 올린 것은 2025년 초였습니다. 사용자가 PDF를 업로드하면 임베딩 파이프라인을 거쳐 벡터 DB에 저장되고, 이후 대화에서 관련 청크를 꺼내 GPT 4o에 컨텍스트로 주입하는 전형적인 RAG 구조였
카테고리
AI
총 7편의 글
📡 AI RSS 피드월 800만 원짜리 API 청구서를 받아든 날 2025년 4분기, 우리 팀의 LLM API 청구액이 처음으로 800만 원을 돌파했습니다. 서비스가 성장하고 있다는 신호이기도 했지만, 동시에 "이대로 두면 스케일이 두 배가 될 때 비용도 두 배가 되는 구조"라는 사실을 직시해야 했습니다. 애플리케이션 코드
벡터 DB를 고르는 일이 왜 이렇게 어려운가 — 선택 실수가 운영비로 돌아오는 이유 우리 팀이 처음 RAG 파이프라인을 도입했을 때, 선택은 빨랐습니다. 이미 PostgreSQL을 운영 중이었고, pgvector 익스텐션 하나면 벡터 검색을 바로 붙일 수 있었기 때문입니다. 초기 문서 수 40만 건, 쿼
한 달 만에 터진 품질 회귀, 그리고 우리가 내린 결론 지난해 11월, 우리 팀은 고객 응대 자동화 서비스에서 예상치 못한 품질 회귀를 경험했습니다. 프롬프트 템플릿을 일부 수정하고 모델을 gpt 4o 2024 08 06 에서 gpt 4o mini 로 전환한 PR이 메인 브랜치에 머지된 지 나흘째, 운영
에이전트 하네스 엔지니어링: Claude Code를 외골격으로 설계하는 실전 아키텍처 왜 똑같은 Claude Code를 써도 어떤 팀은 생산성이 3배가 되고 어떤 팀은 사고가 나는가 Claude Code를 처음 도입하는 팀이 흔히 빠지는 함정이 있습니다. "좋은 프롬프트만 쓰면 된다"는 가정입니다. 같은
인공지능(AI)과 거대 언어 모델(LLM)의 발전 속도는 경이로울 정도입니다. 불과 몇 년 전만 해도 자연스러운 대화가 가능한 챗봇에 열광했지만, 이제 우리는 AI가 직접 코드를 작성하고, 복잡한 시스템의 로그를 분석하며, 인간을 대신해 다양한 도구(Tools)를 자율적으로 제어하는 'AI 에이전트(AI
인공지능(AI) 기술, 특히 LLM(거대 언어 모델)의 혁명은 이제 단순히 채팅을 넘어 기업의 실제 비즈니스 로직에 깊숙이 침투하고 있습니다. 하지만 OpenAI의 GPT나 Anthropic의 Claude를 기업용 서비스에 그대로 도입하려는 개발자들은 공통된 난관에 부착하게 됩니다. 바로 모델이 학습하지