자기 주도 학습 개발자가 Mozilla Add‑ons API를 활용해 모든 Firefox 확장 프로그램을 수집한 결과, 84,235개의 고유 항목을 확보했습니다. 이 작업을 통해 전체 코드 용량이 50 GB 미만이며, 확장 프로그램당 평균 585 kB에 불과하다는 놀라운 사실이 드러났습니다. 이 프로젝트는 공개 API가 데이터 마이닝의 금광이 될 수 있음을 보여줍니다.
초기에 검색 엔드포인트는 30,000개의 결과만 반환했기 때문에, 작성일, 평점, 인기, 업데이트 시간 순으로 정렬하는 실험을 진행했습니다. 그럼에도 불구하고 누락된 항목이 남아 있었으며, 병렬 요청과 카테고리별 쿼리를 통해 빈틈을 메웠습니다. 최종 데이터셋은 현재 Hugging Face에 호스팅되어 연구자와 보안 분석가에게 포괄적인 스냅샷을 제공합니다.
컬렉션을 분석한 결과 몇몇 특이점이 발견되었습니다: 가장 큰 확장 프로그램인 *dmitlichess*는 196 MB의 오디오 파일을 포함하고, 가장 작은 *theTabs‑saver*는 단 7.5 kB에 불과합니다. 또한 여러 확장 프로그램이 시드 구문을 수집하는 보안 위험을 내포하고 있음을 밝혀냈습니다. 이 데이터셋은 이제 취약점 스캔 및 시장 조사에 대한 기준점으로 활용됩니다.
스크래핑을 자동화함으로써 저자는 반복적인 수작업을 없애고, 커뮤니티에 감사, 성능 연구, 확장 프로그램 생태계 개요 등에 활용할 수 있는 즉시 사용 가능한 리소스를 제공했습니다.
핵심 엔터티: 기업: Mozilla
출처: Hacker News · 요약: HeadlinesBriefing