Scrapling
Scrapling은 현대 웹 환경에 최적화된 웹 크롤링 및 스크래핑 프레임워크입니다. 이 프로젝트의 주요 목적은 사용자들이 쉽고 빠르게 다양한 웹 사이트의 데이터를 수집할 수 있도록 돕는 것으로, 복잡한 방지 시스템 우회, 사이트 구조 변화 적응, 멀티 세션 지원 등 강력한 기능을 제공합니다. 주요 기능으로는 크롤러(스파이더) 기반의 동시 요청 처리, 세션별 브라우저 자동화, 프록시 회전, 반자동 요청 재시도, 실시간 데이터 스트리밍, 그리고 AI 연동을 위한 MCP 서버 등을 포함하고 있습니다. 구조적으로는 선택자(selection methods), 요청(request/response), 스파이더(전체 크롤링 프레임워크), fetchers(다양한 요청 방식을 담당하는 모듈), 커맨드라인 인터페이스(CLI)와 쉘을 지원하는 부분으로 구성되어 있으며, 사용자는 파이썬 환경에서 간단한 API 호출이나 커맨드라인 명령으로 크롤링을 수행할 수 있습니다. 기술 스택은 Python 3.10 이상과 asyncio, Playwright 기반의 브라우저 자동화, 다양한 HTTP 요청 기술 및 병렬 처리 기법이 활용됩니다. 최근 릴리즈에서는 높은 성능과 안정성을 확보하기 위해 많은 최적화와 테스트가 이루어졌으며, 데이터 추출 속도가 타 경쟁 라이브러리보다 현저히 빠른 것이 특징입니다. 참고로, 도커 이미지를 통해 손쉽게 배포 및 환경 세팅도 지원합니다. 전체적으로, Scrapling은 사용자 친화적인 API와 강력한 성능을 동시에 갖춘 오픈소스 크롤링 솔루션으로서, 데이터 수집 전문가와 일반 사용자 모두에게 적합하며, 다양한 확장성과 커스터마이징 옵션을 제공합니다.
Hugging Face Skills
Hugging Face Skills는 AI 및 머신러닝 작업을 위한 표준화된 정의 모음입니다. 이 프로젝트는 데이터셋 생성, 모델 학습, 평가 등 다양한 작업을 수행하는 스킬들을 포함하며, 주요 목적은 AI 에이전트들이 상호 운용될 수 있게 돕는 것입니다. 이 스킬들은 각각의 폴더에 독립된 구성으로 되어 있으며, SKILL.md 파일에 YAML 형식의 기본 정보와 작업 지침, 예제, 가드레일 등을 포함하고 있습니다.
이 프로젝트는 OpenAI Codex, Anthropic Claude Code, Google DeepMind Gemini CLI, Cursor 등 여러 주요 AI/ML 코딩 에이전트 도구들과 호환 가능하며, 각 도구는 특성에 맞게 해당 스킬을 불러와 활용합니다. 예를 들어, Codex는 .agents/skills 위치에서 SKILL.md를 발견하여 작업에 활용하며, Gemini는 JSON 확장 파일인 gemini-extension.json을 통해 통합됩니다.
기술 스택으로는 Python 기반의 스크립트와 YAML, JSON 포맷, CLI 명령어 및 GitHub 레포지토리 구조를 사용하며, GitHub Actions 등을 통해 정기적 또는 수동으로 스킬들의 업데이트와 검증도 진행됩니다. 최근 변경사항으로는 다양한 스킬과 연동 방법의 확장, 호환성을 위한 표준화 추진이 이루어졌으며, 사용자들은 새로운 스킬 개발 또는 기존 스킬 커스터마이징, marketplace 등록 등을 통해 지속적으로 확장할 수 있습니다.
이 프로젝트의 특이사항으로는 각각의 스킬이 독립된 폴더 구조로 되어 있어 커스터마이징이 용이하며, 다양한 에이전트와의 호환성을 위해 표준 포맷을 채택하는 것, 그리고 새 스킬을 추가하려면 기존 구조를 복제 후 수정하는 방식이 저변 기술로 자리 잡았다는 점이 있습니다. 참고 링크로는 Agent Skill 표준 공식 페이지와 각 스킬별 상세 문서, 그리고 Github 저장소의 scripts/publish.sh 스크립트 등이 있습니다.
GitNexus
GitNexus는 코드베이스의 구조를 분석하고 지식 그래프로 구축하는 오픈소스 도구입니다. 이 프로젝트는 대형 언어모델(LLM)과 AI 에이전트가 코드의 의존성, 호출 관계, 클러스터, 실행 흐름 등을 깊이 이해할 수 있도록 지원하는 것이 목적입니다. GitNexus는 명령형 CLI와 MCP 서버를 통해 코드 인덱싱, 구조 분석, 쿼리 실행, 관계 탐색 및 문서 생성을 가능하게 하며, 웹 기반 UI를 이용한 손쉬운 탐색도 제공합니다. 구조 분석에는 Tree-sitter AST 파싱, Graphology를 통한 관계 클러스터링, KuzuDB를 활용한 그래프 저장 및 검색 기술이 사용됩니다. 주요 기능으로는 코드 인덱싱, 영향도 분석, 관계 쿼리, 변경 감지, 이름 변경 자동화, Cypher 그래프 쿼리, 위키 생성, 그리고 다양한 지원 언어(TS, JS, Python, Java, C/C++, Go, Rust)가 포함됩니다.
최신 릴리즈에서는 멀티-레포 MCP 서버 구축, 프로젝트 구조 분석, 커뮤니티 통합, 다양한 AI 툴 지원, 그리고 브라우저 기반의 웹 UI 기능이 구현되어 있으며, 보안과 개인정보 보호를 위해 모든 작업이 로컬 또는 브라우저 내에서 수행됩니다. 기술 스택은 Node.js 기반의 런타임, Tree-sitter AST, KuzuDB, transformers.js, WebAssembly(WASM), React 18, TypeScript, Vite, Tailwind를 포함하며, 프로젝트는 지속적으로 기능 확장과 최적화를 진행 중입니다.
Superpowers
Superpowers는 소프트웨어 개발 워크플로우를 지원하는 도구로, 주로 코딩 에이전트를 위한 체계적이고 자동화된 개발 프로세스를 제공합니다. 이 프로젝트의 목적은 코드 작성, 설계 검증, 테스트, 리뷰, 병렬 개발 등 여러 개발 단계에서 강력하고 일관된 슈퍼파워를 갖춘 에이전트를 활용하는 것이며, 이를 통해 효율적이고 품질 높은 개발 작업을 돕는 것입니다.
주요 기능으로는 설계 단계에서 아이디어를 구체화하고 검증하는 브레인스토밍 및 설계 검증, 깃 워크트리 기반으로 격리된 작업 공간을 만들고 프로젝트를 세팅하는 gix 작업 워크플로우 지원, 상세 작업 계획 수립과 서브에이전트를 통한 자동화, TDD 기반의 테스트, 디버깅, 코드 리뷰 도구들이 포함되어 있습니다. 구성요소는 Skill 라이브러리, 다양한 개발, 테스트, 디버깅 관련 스킬들, 그리고 이를 호출하는 에이전트와 플러그인 마켓플레이스에서의 확장성을 지원하는 구조입니다. 특히, Claude Code와 Cursor는 플러그인 마켓플레이스를 통해 설치/업데이트 가능하며, Codex와 OpenCode는 수동 설치 방식입니다.
이 프로젝트의 특징은 체계적이고 자동화된 워크플로우, 커뮤니티 기여 유도, 그리고 빠른 개발과 검증 환경 제공에 집중되어 있으며, 오픈소스 라이선스는 MIT입니다.
Agent Skills for Context Engineering
이 프로젝트는 AI 에이전트 시스템에서 맥락(컨텍스트)을 효과적으로 관리할 수 있도록 하는 포괄적 오픈소스 컬렉션입니다. 목표는 에이전트의 성능을 극대화하기 위해 맥락 조작과 관련된 원리와 기술, 구조를 제공하는 것이며, 이를 통해 개발자들이 일관된 맥락 엔지니어링 전략을 구현할 수 있도록 돕습니다.
이 프로젝트는 다양한 AI 플랫폼(예: Claude, Cursor, 기타 에이전트 프레임워크)에서 통용 가능한 패턴과 원리들을 담고 있으며, 맥락 기본 이해, 맥락 실패 패턴 인식, 맥락 압축 기술, 다중 에이전트 구조, 도구 설계, 메모리 시스템, 평가 및 자기 개선 방법론 등을 포함하고 있습니다. 또한, 실무 적용 가능 예제(개인 디지털 브레인, 평가 도구, 학습 파이프라인 등)를 제공하여 플랫폼 독립적 구조로 설계되었습니다.
최근에는 인지 아키텍처 패턴 확장, 실험 및 예제 확대, 표준화 추진 등 활발히 개발되고 있으며, 기여 구조와 연구 문헌도 함께 제공되어 학술적 근거를 갖춘 지침을 제시합니다.
hello-agents
이 프로젝트는 인공지능 및 강력한 언어모델 기반 ‘지능형 에이전트’ 시스템을 배우고 구축하는 포괄적 실습 가이드입니다. 2024년 이후 AI 중심 에이전트 개발이 부상함에 따라, 이 프로젝트는 이론과 실습을 병행하여 AI 네이티브 에이전트 이해와 개발 역량을 키우기 위한 목적으로 만들어졌습니다.
주요 내용은 인공지능과 언어 모델의 기초 학습, 다양한 클래스 프레임워크와 프로토콜, 고급 시스템 기술, 실제 다중 에이전트 사례를 아우릅니다. 제공하는 기능은 강좌, 실습, 프레임워크 개발, 기술 확장 사례이며, Python, Transformer 기반 LLM API, 저코드 플랫폼, 오픈소스 프레임워크 등을 활용합니다.
이 프로젝트는 AI 개발자, 연구자, 학생, 기업 실무자 모두에게 적합하며, 국내외 커뮤니티와 활동하여 지속적인 자료와 사례를 공유하고 있습니다.
DeerFlow - 2.0
DeerFlow 2.0은 오픈소스 기반의 슈퍼 에이전트 운용체계로, 다양한 하위 에이전트, 메모리, 샌드박스, 확장 가능한 스킬을 통합하여 거의 모든 작업을 지원하는 구조입니다. 딥 리서치 프레임워크에서 유래했고, 현재는 복잡한 멀티스텝 작업, 데이터 파이프라인, 보고서 생성 등을 지원하는 완전한 실행 환경입니다.
구조는 langgraph와 langchain을 기반으로 하며, 모델 구성 후 API, CLI, 스키마를 통해 제어 가능합니다. Docker 또는 로컬 환경에서 쉽게 실행할 수 있으며, sandbox 모드 제공이 특징입니다.
핵심 기능으로는 유연한 워크플로우 설계, 서브 에이전트 병렬 처리, 격리 환경에서의 안전한 코드 실행, 장기 기억 저장, MCP 서버 지원이 있습니다. 최신 개발은 활발하며, API와 문서, 커스터마이징 가이드도 제공됩니다.
PageIndex: Vectorless, Reasoning-based RAG
PageIndex는 긴 문서에 대한 추론 기반 정보 검색 시스템입니다. 기존 벡터 검색법의 한계를 극복하기 위해 문서 구조를 계층적 트리 인덱스로 생성하고, LLM으로 관련 내용 추론 후 찾는 방식을 채택했습니다. 이 시스템은 목차와 내용을 계층적 트리로 변환하며, 트리 내 계통적 검색을 수행하여 설명 가능성과 추적성을 높였습니다.
API와 CLI, 오픈소스 코드로 제공되며, 금융, 법률, 학술 등 복잡한 긴 문서를 효과적으로 검색합니다. 최신 업데이트와 성과를 기록하며, 해석 가능성과 신뢰성을 높인 차세대 RAG 시스템입니다.
memU
memU는 24시간 가동되는 프로액티브 메모리 프레임워크로, AI 에이전트들이 항상 온라인 상태를 유지하며 사용자 맥락과 의도를 지속적으로 파악합니다. 장기 기억 유지와 사용자 행동 예측으로 효율적 운영이 가능하며, 실시간 정보 수집, 구조화, 검색 기능을 갖추고 있습니다.
구성은 API와 CLI, 데이터 저장소와 연결된 API 계층으로, Memory as File System 개념을 이용해 폴더, 링크, 마운트포인트로 기억을 조직합니다. Python, OpenAI API, PG, Embedding 기술 등을 활용하며, 다양한 AI 시스템과 연동 가능합니다. 대상은 개인 비서, 고객 지원, 연구, 금융 등이며, 커뮤니티 참여와 개발 기여가 활성화되어 있습니다.
RuVector
RuVector는 인간과 기계의 지능 연결을 목표로 하는 지능형 벡터 데이터베이스 및 시스템입니다. 자기학습, 그래프 질의, 로컬 LLM 실행 등을 지원하며, 하이퍼볼릭 HNSW, 그래프 및 GNN, 자기학습, 암호 검증 등 첨단 기술을 통합하고 있습니다. 러스트, WebAssembly, Node.js, CUDA, 딥러닝 솔루션 등 강력한 기술 스택으로, 데이터 사이언스, 인지과학, 금융 등 다양한 분야에 활용도가 높으며, 활발한 오픈소스 커뮤니티를 통해 개발과 기여가 이루어지고 있습니다.
Megatron-LM and Megatron Core
이 프로젝트는 NVIDIA가 제작한 초대형 트랜스포머 언어모델 (LLM) 학습용 오픈소스 라이브러리입니다. 수십억 파라미터 모델을 GPU 클러스터에서 효율적 훈련하는 것을 목적으로 하며, 강력한 병렬화와 혼합 정밀도 지원, 맞춤형 프롭램 등 고성능 구성요소를 포함하고 있습니다.
구성은 Megatron-LM, Megatron Core로 구분되며, 최신 성능 벤치마크와 함께 다중 데이터 센터 지원, 모델 확장, 체크포인트 호환 등을 제공. GPU 병렬화, 분산 학습, 최적화 기법에 최적화 되어 있으며, 공식 문서와 커뮤니티 지원으로 발전 중입니다.
Learn Claude Code
Learn Claude Code는 간소화된 Claude Style 에이전트 학습 프로젝트입니다. 사용자 메시지와 AI 응답 루프, 도구 활용, 계획, 팀 분리 등을 단계별로 실습하며 이해를 높입니다. Python 기반의 참고 구현과 Next.js 인터랙티브 플랫폼으로 구성되고, 단계별 학습 세션을 통해 자율 에이전트와 협업 구조를 실험할 수 있으며, 초보자도 접근 가능합니다.
DeerFlow - 2.0
DeerFlow 2.0은 오픈소스 슈퍼 에이전트 운용체계로, 하위 에이전트, 메모리, 샌드박스, 확장 가능 스킬을 통해 거의 모든 작업을 수행할 수 있게 설계되었습니다. 딥리서치 기반이며, langgraph, langchain, API, CLI, 환경 설정 등을 지원합니다. 사용자 환경에 맞춰 모델(예: GPT-4) 구성 후 유연한 워크플로우, 서브 에이전트 병렬 처리, 격리된 실행, 장기 기억 저장, MCP 서버 연동이 핵심 기능입니다.
system-prompts-and-models-of-ai-tools
이 저장소는 AI 도구들의 시스템 프롬프트와 모델 구조를 체계적으로 정리하는 방대한 정보 자료입니다. 수만 줄의 코드와 문서로 구성되어 있으며, 다양한 AI 시스템 프롬프트, 모델 설명, API와 구조 스키마 등을 포함해 개발자와 연구자들이 참고할 수 있도록 돕습니다. 보안 우려와 AI 시스템 보호 방안도 안내되어 있습니다.
Plano
Plano는 AI 기반의 네이티브 프록시 서버 및 데이터 플레인으로, 에이전트 중심 애플리케이션 개발과 운영을 지원합니다. 에이전트 라우팅, 오케스트레이션, 신호·추적, 안전 및 모더레이션, LLM API 등을 하나의 프레임워크로 통합했으며, Envoy 기반으로 빠르고 안전한 환경을 제공합니다. YAML 선언, 모델 공급, 트레이서, 보안 필터, 엔드투엔드 관찰성, CI/CD, 무료 호스팅 LLM 지원이 특징입니다.
ai-guide
이 플랫폼은 누구나 무료로 이용하는 AI 지식 공유 사이트로, AI 개념, 도구, 튜토리얼, 산업별 적용 사례 등을 포괄합니다. ‘Vibe Coding’ 중심의 단계별 강의, 실습 자료, 최신 AI 모델과 도구, 커뮤니티 참여를 유도하며, 쉽게 접근하는 AI 학습과 활용 플랫폼입니다. 오픈소스 기여와 콘텐츠 확장도 활발히 이루어지고 있습니다.
Cloud CLI (Claude Code UI)
이 프로젝트는 Claude Code, Cursor CLI, Codex 등 AI 기반 코딩 도구들의 데스크탑-모바일 UI로, 프로젝트와 세션 관리를 시각화하고 편집하는 환경을 제공합니다. React, Node.js, WebSocket, Tailwind, CodeMirror 등을 활용하며, 반응형 디자인과 대화형 인터페이스, 파일 탐색, Git 연동, 세션 관리 기능을 갖추었습니다. 배포와 운영 편의성도 고려되어 있으며, 필요 시 Claude Code 활성화를 지원합니다.