2024년 10월 17일 일일 요약

=============================================

1: Basecamp Research는 생물학 및 자연계의 생물다양성에 대한 질문에 답하고 새로운 통찰력을 제공하는 AI 에이전트를 개발하기 위해 6천만 달러를 모금했습니다. 이 스타트업은 100개 이상의 파트너십을 통해 생물학 데이터를 수집하며, AlphaFold 2보다 더 나은 성능을 발휘하는 AI 모델인 BaseFold를 개발했습니다. Gowers는 AI가 DNA의 언어를 이해하여 인간이 할 수 없는 수준의 생물학적 설계를 가능하게 할 것이라고 밝혔습니다. 그들은 생물학 분야의 데이터 수집을 혁신적으로 추진하고 있으며, B2B 모델에 중점을 두고 있습니다.

키워드: Basecamp Research, AI, 생물학, AlphaFold 2, BaseFold, 파트너십, 생물다양성

출처: https://substack.com/redirect/e75f6032-faee-48ae-8b88-eae793256692?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Basecamp Research draws $60M to build a 'GPT for biology' | TechCrunch

=============================================

2: Gradio 5의 출시 소식입니다. Gradio 5는 가볍고 성능이 뛰어난 머신러닝 웹 어플리케이션을 쉽게 개발할 수 있도록 해줍니다. 주요 개선 사항으로는 서버 측 렌더링(SSR)을 통한 빠른 로딩, 현대적인 디자인의 UI 업데이트, 실시간 앱 구축을 위한 저지연 스트리밍 기능, AI 플레이그라운드를 통한 앱 생성 기능이 포함되어 있습니다. 보안성 또한 강화되어 있으며, 곧 멀티 페이지 앱, 모바일 지원 등 더 많은 기능이 추가될 예정입니다.

키워드: Gradio 5, 머신러닝, 서버 측 렌더링, 저지연 스트리밍, 보안성

출처: https://substack.com/redirect/c0beb2cb-8622-4ec2-8d8d-e241ab6d09a2?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Welcome, Gradio 5

=============================================

3: AI 관측 및 평가 플랫폼 제공기업인 Galileo가 4천5백만 달러의 신규 자금을 조달하였다고 발표하였습니다. 이 자금은 신뢰할 수 있는 AI 플랫폼 구축을 위한 연구 개발 및 엔지니어링 강화에 사용될 예정입니다. Galileo는 AI 성능 측정 문제를 해결하기 위해 평가 지능 플랫폼을 개발하고, LLM과 LLM 응용 프로그램의 평가 및 신뢰성을 관리하는 사용자 경험을 제공합니다. 이들은 Fortune 50 기업을 포함한 많은 고객을 확보하고 있으며, AI 기술의 신뢰성을 높이기 위해 급속히 혁신하고 있습니다.

키워드: AI, LLM, Galileo, 평가 지능 플랫폼, 신뢰성, 기업

출처: https://substack.com/redirect/4c504e6f-3cab-4324-a41d-c22fdcc615ce?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

AI observability firm Galileo raises $45M to improve AI model accuracy - SiliconANGLE

=============================================

4: OpenAI의 Python API는 LLM(대형 언어 모델) 기반 애플리케이션 개발자에게 인기 있는 도구로, Opik은 이러한 LLM의 성능을 평가하기 위한 플랫폼입니다. Opik은 입력, 출력 및 메타데이터를 추적할 수 있으며, 평가 실험을 통해 다양한 프롬프트와 모델의 성능을 비교할 수 있습니다. Opik SDK를 통해 OpenAI와의 상호작용을 쉽게 로깅할 수 있으며, 자동화된 평가 메트릭과 수동 주석 기능을 제공합니다. 이러한 기능들은 LLM의 정확성과 개선 필요성을 측정하고 개발할 수 있도록 돕습니다.

키워드: OpenAI API, LLM, Opik, 성능 평가, 자동화된 메트릭

출처: https://substack.com/redirect/f1743c76-c83a-4b0e-8d68-b34026fee5f6?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

OpenAI Evals: Log Datasets & Evaluate LLM Performance with Opik

=============================================

5: Shopify는 소비자의 검색 의도 개선을 위해 AI 기반의 실시간 검색 기능을 통합하였습니다. Semantic Search를 통해 키워드 매칭을 넘어서 소비자의 검색 의도를 이해하고, 이를 바탕으로 가장 관련성 높은 제품을 제시합니다. 이를 위한 머신러닝 자산 구축과 실시간 임베딩 파이프라인 개발에 투자하였으며, 특히 Google Cloud의 Dataflow를 활용하여 평균 2,500개의 임베딩을 초당 처리할 수 있는 시스템을 구축하였습니다. 이로 인해 상점주들은 매출 증가 혜택을 보고 있으며 사용자 경험도 향상되었습니다.

키워드: Shopify, AI, Semantic Search, 임베딩, Dataflow, 머신러닝

출처: https://substack.com/redirect/7a038279-3910-4e1a-9a34-d09b11cef50c?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

How Shopify improved consumer search intent with real-time ML | Google Cloud Blog

=============================================

6: Pinterest에서의 Ray Batch Inference에 대한 블로그 포스트에서, Ray를 사용하여 오프라인 배치 추론의 효율성을 크게 향상시킨 방법을 논의하였습니다. Ray 기반의 배치 추론 솔루션은 데이터 로딩, 전처리, 추론, 후처리, 결과 쓰기 등의 단계에서 병렬 처리와 스트리밍 실행을 통해 4.5배의 처리량 증가와 30배의 비용 절감을 달성하였습니다. Ray Data를 활용하여 쿠팡 AI 모델과의 통합을 가능하게 하고, 다중 모델 추론, 누적기 기능 및 대규모 언어 모델(LLM) 추론에 대해 설명하였습니다.

키워드: Ray, 배치 추론, GPU, 다중 모델 추론, 누적기, LLM, PyTorch, TensorFlow

출처: https://substack.com/redirect/f244c446-5a7d-4e0f-9ff3-21ee61302daf?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Ray Batch Inference at Pinterest (Part 3)

=============================================

7: 본 글에서는 Salesforce가 AI 제품의 안전성과 효율성을 높이기 위해 재현 가능한 레드팀 인프라를 구축하는 방법에 대해 설명하고 있습니다. AI 시스템 테스트에 있어 고품질 데이터의 중요성과 이를 저장하고 유지 관리하는 방법을 강조하며, 제품에 대한 프로그래밍적 접근의 필요성을 언급합니다. 또한, 테스트 결과를 평가하기 위한 분류 체계의 중요성과 이를 통해 다양한 이해관계자와의 조정을 촉진하는 방법을 다룹니다. 마지막으로, 테스트 계획을 수립하고 실행하는 과정이 올바른 테스팅 인프라 구축에 어떻게 기여하는지를 설명하며, 이러한 인프라가 안전한 제품 출시를 도와주는 역할을 한다고 강조합니다.

키워드: 고품질 데이터, 프로그래밍적 접근, 분류 체계, 테스트 계획, Responsible AI

출처: https://substack.com/redirect/bdbd5106-ca5c-4655-b09c-d3a43ff98b08?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

How Salesforce Builds Reproducible Red Teaming Infrastructure

=============================================

8: RAG(회수 증강 생성)는 대규모 어플리케이션에 사용되는 구조로, 문서의 인덱스 검색을 통해 LLM(대형 언어 모델)에 풍부한 문맥을 제공하여 더 정확한 응답을 생성합니다. POC(개념 증명)에서 생산 환경으로의 확장 시 성능, 데이터 관리, 위험, 기존 워크플로우와의 통합, 비용과 같은 여러 도전에 직면합니다. 이러한 문제들은 확장 가능한 벡터 데이터베이스, 캐시 메커니즘, 고급 검색 기술, 책임 있는 AI 계층, API 게이트웨이를 포함한 아키텍처 구성 요소를 통해 해결할 수 있습니다. RAG 시스템을 성공적으로 운영하기 위해서는 전략적 방향성과 신중한 계획도 필요합니다.

키워드: RAG, LLM, 벡터 데이터베이스, 캐시, 검색 기술

출처: https://substack.com/redirect/f66f6af5-fff0-49f1-8eef-eacc125b473a?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Scaling RAG from POC to Production

=============================================

9: 이 글에서는 생성형 인공지능(GenAI)을 기업에 통합할 때, 독점 모델과 오픈 소스 생태계 간의 선택이 어떤 영향을 미치는지에 대해 다루고 있습니다. 초기에는 독점 모델을 사용해 AI의 가능성을 배우고, 최종적으로는 오픈 소스를 활용하여 지속 가능한 솔루션을 구축하는 것이 기업에 적합하다고 언급합니다. 다양한 산업에서 GenAI의 활용이 증가하고 있으며, 대형 모델과 소형 모델 간의 성능 차이가 점점 줄어들고 있다는 점이 강조됩니다. 또한 정보 검색을 통한 모델의 성능 개선과 기업 내 데이터 활용 방법도 설명하고 있습니다.

키워드: 생성형 인공지능, 독점 모델, 오픈 소스, 정보 검색, 모델 최적화

출처: https://substack.com/redirect/9b812c29-1013-4c02-932b-bc591ed46a8d?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

The AI Developer’s Dilemma: Proprietary AI vs. Open Source Ecosystem

=============================================

10: 본 글에서는 메커니즘 해석 가능성을 활용한 레드팀핑 방법에 대해 소개하고 있습니다. 메커니즘 해석 가능성(모델의 내부 프로세스 분석)을 통해 위험한 행동을 유도할 수 있는 활성화 조작 기법인 `활성화 조정`을 사용하여, 언어 모델의 특정 행동을 유도할 수 있음을 보여줍니다. 특히 Goodfire 플랫폼을 활용하여 사용자는 전문 지식 없이도 모델의 행동을 실험하고 지도할 수 있습니다. 이후, Llama-3 모델을 대상으로 해로운 요청에 대한 반응을 조작하며, 해로운 특성을 증가시키고 거부 특성을 줄이는 방법으로 효과적인 레드팀핑을 시도합니다. 최종적으로는 이러한 기법들이 방어 메커니즘으로도 활용될 수 있을 것이라는 기대를 나타냅니다.

키워드: 메커니즘 해석 가능성, 활성화 조정, 레드팀핑, Goodfire 플랫폼, Llama-3 모델

출처: https://substack.com/redirect/2a8936a2-8643-47bf-bd00-846788344183?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Leveraging Mechanistic Interpretability for Red-Teaming: Haize Labs x Goodfire