Posts

MediaCrawler MediaCrawler는 다양한 자가미디어 플랫폼(红书, 抖音, 快手, B站, 微博, 贴吧, 知乎 등)의 공개 데이터를 크롤링하는 강력한 데이터 수집 도구입니다. 이 프로젝트의 목표는 여러 플랫폼의 데이터(게시물, 댓글, 프로필 등)를 자동으로 수집하여 연구와 학습에 활용하는 것입니다. 핵심 기능으로는 키워드 검색, 특정 게시물 ID 기반 크롤링, 댓글 수집, 댓글 워드 클라우드 생성, 로그인 세션 유지, IP 프록시 관리 등의 다양한 기능을 제공하며, Playwright를 활용한 브라우저 자동화 기술을 기반으로 복잡한 역공학 또는 암호화 우회없이 데이터를 수집할 수 있습니다. 구조는 Python 기반으로, CLI 명령어를 통해 실행하며 MySQL, CSV, JSON 저장 방식을 지원합니다. 최근 버전에서는 로그인 상태 유지, 다중 계정 지원, IP 프록시 풀, 로드맵 확장(예: AI 에이전트 개발), 그리고 Playwright를 통한 로컬 브라우저 연결 방식이 포함되어 사용자 편의성과 확장성을 높였습니다. 참고로 MediaCrawlerPro 버전은 차별화된 아키텍처와 더 많은 고급 기능이 포함된 유료/프로 버전으로 개발되어 있으며, Github 페이지 및 공식 문서에서 상세 정보를 확인할 수 있습니다. 사용 기술로는 Python, Playwright, Node.js, Shell, MySQL, 그리고 다양한 웹 크롤링 및 자동화 관련 라이브러리를 활용하고 있으며, 주의사항으로는 법률 준수와 비상업적 학습 목적으로만 활용해야 함을 강조하고 있습니다. 개발자들은 활발한 커뮤니티 지원과 공식 문서, 튜토리얼, 관련 프로젝트들(예: 内网穿透기술, sms 포워더 등)과 연계하여 지속적 발전 및 지원을 하고 있습니다. ...

MediaCrawler https://github.com/NanmiCoder/MediaCrawler 바로가기 MediaCrawler는 여러 대표적인 自媒体 플랫폼(소셜 미디어)에서 공개 정보를 크롤링할 수 있는 강력한 다중 플랫폼 데이터 수집 도구입니다. 주요 목적은 다양한 플랫폼(소红书, 抖音, 快手, B站, 微博, 贴吧, 知乎)의 공개 게시글, 댓글, 사용자 정보 등을 수집하여 연구와 학습 목적으로 활용하는 데 있습니다. 이 프로젝트는 Playwright 기반의 브라우저 자동화 기술, JS 표현식을 활용한 서명签名参数 추출 방식을 사용하며, 별도의 JS 역공학 과정이 필요하지 않아 기술적 난이도를 낮춘 것이 특징입니다. 구조는 크롤러 핵심 모듈, 플랫폼별 크롤링 설정 및 브라우저 환경관리, 데이터 저장 모듈 (MySQL, CSV, JSON)로 구성되어 있으며, 크롤러는 검색, 상세,评论등 유스케이스를 지원하고, 다중 계정과 IP池, 로그인 상태 캐시 기능도 제공하여 대량 데이터 수집에 적합하도록 설계되었습니다. 최신 릴리즈는 여러 기능 개선과架构优化, 断点续爬, 多账号+IP池 지원, Linux 완전 지원 등으로 꾸준히 업데이트 중입니다. 또한 유료版인 MediaCrawlerPro는 보다 확장된 기능과 모듈 설계로, 기업이나 연구자가 대규모 데이터 수집에 활용할 수 있도록 고도화되어 있습니다. 기술스택은 Python, Playwright, Node.js, 데이터베이스(MySQL), 그리고 다양한 자동화 및 스크래핑 기법을 활용하며, 크로스 플랫폼 지원 및 성능 향상에 주력하고 있습니다. 공식 문서와 커뮤니티 지원을 통해 학습과 개발이 가능하며, 법적・윤리적 준수 유의사항도 안내하고 있습니다. ...

MediaCrawler MediaCrawler는 다중 플랫폼의 자가 미디어 데이터 크롤러로, 샤오홍수(小红书), 더우인(抖音), 쾀셔(快手), 비디오사이트(B站), 웨이보(微博), 바닥글(贴吧), 지우허(知乎) 등 주요 미디어 플랫폼의 공개 정보를 수집하는 강력한 오픈소스 툴입니다. 이 프로젝트는 Playwright 기반의 브라우저 자동화 기술을 활용하여 로그인 유지, 키워드 검색, 특정 게시글 ID로 데이터 수집, 댓글/댓글분석 등 다양한 기능을 제공합니다. 구조는 플러그인 형식으로 설계돼 있으며, API, CLI, 데이터 저장(MySQL, CSV, JSON) 등의 구성요소를 포함합니다. 대상은 연구자, 개발자, 데이터 분석가 등으로, 플랫폼별 데이터 수집, 인사이트 추출, 텍스트 분석, 시각화 등에 활용됩니다. 최신 릴리즈는 유지보수와 기능 확장에 집중되었으며, 사용자들이 쉽게 환경 구축하고 다양한 기능을 수행할 수 있도록 자세한 문서와 튜토리얼, 커뮤니티 지원이 제공됩니다. 기술 스택에는 Python, Node.js, Playwright, 데이터베이스(MySQL), 프로그래밍 원칙(클린 코드, 모듈화), 환경관리(uv, virtualenv)가 포함되며, Pro 버전은 확장 기능, 더 나은 설계, 차별화된 성능을 자랑합니다. 참고 링크와 공식 문서 역시 활발히 운영돼 있어, 학습과 연구 목적으로 적합하며, 법적 책임은 사용자에게 있으니 사용할 때 주의가 필요합니다. ...

generative-ai-for-beginners https://github.com/microsoft/generative-ai-for-beginners 바로가기 이 프로젝트는 초보자를 위한 생성형 인공지능(GAI) 학습 자료와 실습용 코드를 제공하는 교육용 커리큘럼입니다. 총 21개의 레슨으로 구성되어 있으며, AI 개념 이해부터 실습 프로젝트까지 포괄적으로 다루어 집니다. 주요 목적은 AI 개발에 대한 기초 이해와 실무 적용 능력 배양입니다. 제공하는 기능으로는 Azure OpenAI API, OpenAI API, 벡터 데이터베이스, 오픈소스 모델 활용, 챗봇 및 이미지 생성 애플리케이션 개발 등 다양한 실습 예제와 강의 영상이 포함되어 있습니다. 구조는 각 레슨별로 README 문서, 동영상, 코드 샘플, 추가 학습 자료 링크로 구성되어 있으며, Python과 TypeScript를 지원하는 실습 코드 예제와 함께 AI 설계, 보안, UX 설계, AI 모델 파인튜닝 등 폭넓은 주제를 다룹니다. 대상은 AI에 관심 있는 초보자부터 개발자, 학생 등이며, 이들이 실습과 학습을 통해 AI 프로젝트를 시작하는 데 도움을 주도록 설계되었습니다. 기술 스택으로는 Python, TypeScript, Azure OpenAI, Hugging Face 오픈소스 모델, Vector 데이터베이스 등이 사용됩니다. 최신 릴리즈 및 업데이트는 주기적으로 GitHub Actions를 통해 자동으로 업로드되며, 일부 강좌는 곧 영상이 제공될 예정입니다. 참고로, AI 윤리와 책임 있는 AI 사용, 보안, 모델 미세조정 등 실무에 필요한 핵심 주제를 포괄합니다. 이 자료는 GitHub 저장소로 공개되어 있어 누구든 포크하고 자유롭게 개선하거나 연계 활용할 수 있으며, 커뮤니티를 통한 지원과 피드백도 활성화되어 있습니다. ...

generative-ai-for-beginners GitHub 바로가기 이 프로젝트는 초보자를 위한 종합적인 머신러닝 및 생성적 AI 입문 자료로, Microsoft Cloud Advocates가 제공하는 21개의 강의를 통해 생성적 AI 애플리케이션 개발에 필요한 핵심 개념과 실습 내용을 제공합니다. 학습자는 AI의 기본 개념, 대형 언어 모델(LLM)의 작동 원리, 모델 선택과 활용, 프롬프트 엔지니어링, 책임감 있는 AI 사용법, 그리고 실제 다양한 애플리케이션 구축 방법(텍스트, 채팅, 검색, 이미지 생성, 낮은 코드 활용, 외부 시스템과의 연동, 보안 등)을 배울 수 있습니다. 이 과정은 Python과 TypeScript를 활용한 실습 예제와 함께, Azure OpenAI, OpenAI API, Hugging Face 등 다양한 기술 스택을 지원하며, 각 강의는 비디오, 상세 설명, 코드 샘플 링크 등으로 구성되어 있어 초보자가 쉽게 따라할 수 있도록 설계되었습니다. 또한, GitHub 저장소를 포크하거나 관련 리소스에 접속하여 학습을 확장하고, 커뮤니티 지원과 피드백을 받을 수 있는 링크도 제공됩니다. 최근에는 다양한 언어 번역 지원과 지속적인 업데이트를 통해 최신 정보를 학습자에게 전달하며, AI 및 생성적 AI 분야에 관심 있는 학생, 개발자, 스타트업 기업 등에 적합한 교육 자료입니다. ...

Graphite GitHub 바로가기 Graphite는 무료 오픈소스 벡터 및 래스터 그래픽 엔진으로, 현재 알파 버전으로 제공되고 있습니다. 이 프로젝트의 주요 목적은 창의성을 해방하는 포괄적인 아트 및 디자인 도구를 모두가 접근 가능하게 만드는 것이며, 벡터 편집을 기반으로 하면서도 레이어 기반 합성과 노드 기반 생성적 디자인을 결합한 비파괴적 편집 워크플로우를 지원합니다. 더 발전하면 사진 편집, 모션 그래픽, 디지털 페인팅, 데스크탑 퍼블리싱, VFX 합성 등 다양한 콘텐츠 제작 기능도 계획되어 있어 매우 다목적적인 도구로 발전하는 것이 목표입니다. ...

twenty GitHub 저장소 바로가기 Twenty는 오픈소스 기반의 고객관계관리(CRM) 시스템으로, 비용 효율적이고 사용자 친화적인 CRM 솔루션을 제공하는 것을 목표로 합니다. 기존의 비싼 상용 CRM과 달리, 사용자들이 데이터를 통제하며 보다 개방적이고 탄력적인 고객 관리 환경을 구축할 수 있도록 설계되었습니다. 이 프로젝트는 레이아웃 커스터마이징, 필터, 정렬, 그룹핑, 칸반 및 표형 뷰 지원 등 다양한 강력한 기능을 제공합니다. 사용자는 객체와 필드를 자유롭게 설정하며, 권한과 역할도 맞춤형으로 관리할 수 있어 유연한 보안 정책을 펼칠 수 있습니다. 자동화 워크플로우를 위한 트리거와 액션도 지원하며, 이메일, 캘린더, 파일 관리 등 다양한 업무 편의 기능도 포함되어 있습니다. ...

twenty twenty는 오픈소스로 제공되는 CRM(고객관계관리) 솔루션으로, 비용 효율적이고 유연한 고객 데이터 관리들을 가능하게 하는 프로젝트입니다. 이 프로젝트의 목적은 기존 CRM들의 높은 비용과 폐쇄성을 극복하고, 커뮤니티 참여와 확장성을 강조한 새로운 사용자 경험을 제공하는 것입니다. 최신 트렌드와 UX 패턴을 반영하며, 개발자와 사용자 모두가 기여할 수 있는 환경을 지향합니다. 기본 제공 기능으로는 필터링, 정렬, 그룹화, Kanban 및 테이블 뷰를 통한 레이아웃 커스터마이징, 고객 객체 및 필드 커스터마이징, 권한과 역할 설정, 자동화 워크플로우 구축(트리거와 액션), 이메일, 캘린더, 파일 연동 등 다양한 고객관리 작업이 포함되어 있습니다. ...

ottomator-agents 이 프로젝트는 Live Agent Studio라는 커뮤니티 기반 플랫폼의 소스 코드와 워크플로 JSON을 제공하며, 모든 에이전트가 오픈소스로 공개되어 있습니다. 플랫폼은 최첨단 AI 에이전트를 탐구하고 직접 구현 방법을 배우도록 설계되었으며, AI 활용 능력을 키우는 교육적 목적으로 사용됩니다. 현재 베타 단계로, 서버 부하 시 응답속도 느려질 수 있고, 앞으로 더 많은 에이전트 라이브러리와 콘텐츠가 추가될 예정입니다. 주요 구성요소로는 각 에이전트의 소스 코드와 JSON 워크플로, 개발 가이드, 샘플 에이전트(n8n, Python)가 있으며, 플랫폼 이용에는 토큰이 필요합니다. 토큰은 유료이며, 첫 시작 시 무료 토큰이 제공됩니다. 기술 스택에는 LLM(대형 언어 모델) API 호출 및 오픈소스 툴이 활용됩니다. 앞으로 AI 기술과 리서치, 신기술이 플랫폼에 계속 반영될 계획이며, 커뮤니티를 통한 협업과 정보 공유가 활발히 이루어지고 있습니다. FAQ와 커뮤니티 링크를 통해 개발자들이 도움을 받고 에이전트를 제작하는 방법도 안내됩니다. ...

프로젝트명: Edit 바로가기 Edit 프로젝트는 간단한 텍스트 편집기로서, 고전적인 MS-DOS 에디터를 현대적인 인터페이스와 VS Code와 유사한 입력 제어를 갖춘 버전으로 재구성한 것입니다. 이 프로젝트의 주된 목적은 터미널에 익숙하지 않은 사용자들도 쉽게 사용할 수 있는 직관적이고 접근성 높은 편집 도구를 제공하는 데 있습니다. 기능적으로는 텍스트 편집을 위한 기본적인 인터페이스와 키보드 입력 지원이 포함되어 있으며, MS-DOS 에디터를 모티브로 한 단순성에 초점을 맞추고 있습니다. 구조는 크로스 플랫폼으로 작동하며, Rust로 개발되어 다양한 운영체제에서 빌드 및 실행이 가능합니다. 사용 대상은 텍스트 파일의 빠른 편집이 필요한 개발자 및 일반 사용자이며, 간단한 텍스트 편집, 스크립트 수정, 빠른 파일 내용 확인 등에 유용합니다. 기술 스택으로는 Rust 언어가 사용되었으며, Windows, macOS, UNIX 계열 등 다양한 플랫폼에서 빌드할 수 있도록 설계되었습니다. 빌드 방법은 Rust 환경이 필요하며, Rust의 nightly 버전과 Cargo 빌드 시스템을 이용하여 수행할 수 있습니다. 최근 변경 사항이나 릴리즈에 대한 구체적인 정보는 제공되지 않았으며, Windows에서 WinGet을 통한 설치 방법, GitHub 릴리즈 페이지에서 바이너리 다운로드, 그리고 Rust 빌드 지침이 주요 참고사항입니다. 패키지 이름 관련 권장사항으로는 ’edit’ 또는 ‘msedit’가 있으며, ICU 라이브러리의 의존성 관련 환경 변수 설정 방법도 안내되어 있습니다. 전반적으로 간단하고 모던한 편집기를 목표로 하며, 상세한 사용법이나 개발 정보는 GitHub 저장소를 참고하는 것이 좋습니다. ...