2024년 10월 03일 일일 요약

=============================================

1: Liquid AI에서 최초의 Liquid Foundation Models (LFM)을 발표하였습니다. LFM은 1B, 3B, 40B의 활성 파라미터를 가진 언어 모델로, 메모리 사용량이 적고 효율적인 추론을 통해 각 모델 사이즈에서 최상의 성능을 보입니다. 모델 아키텍처는 동적 시스템, 신호 처리 및 수치 선형 대수의 이론에 기반하여 만들어졌습니다. LFM은 다양한 순차 데이터를 모델링할 수 있는 일반 목적의 AI 모델이며, 32k의 긴 컨텍스트 길이를 제공하여 문서 분석과 요약, 컨텍스트 인식 채팅봇과 같은 새로운 애플리케이션을 가능하게 합니다.

키워드: Liquid Foundation Models, 메모리 효율성, 긴 컨텍스트 길이, 아키텍처 최적화, 동적 시스템

출처: https://substack.com/redirect/f6a054d1-5de9-4cca-b643-890ea4ad5ce3?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Liquid Foundation Models: Our First Series of Generative AI Models

=============================================

2: Google LLC는 AI 노트-taking 및 연구 도구인 NotebookLM에 새로운 기능을 추가하여 사용자가 YouTube URL에서 비디오와 오디오 파일을 직접 업로드할 수 있게 되었습니다. NotebookLM은 Gemini 1.5 대규모 언어 모델을 기반으로 하여 다양한 출처에서 정보를 정리하고 통찰력을 추출하는 데 도움을 줍니다. 업로드되는 자료는 최대 50개 소스로 제한되며, 사용자는 생성된 요약과 질문을 통해 자료를 심도 있게 탐구할 수 있습니다. Google은 오디오 개요 기능을 통해 사용자 노트를 음성으로 요약하는 서비스도 제공하고 있으며, 이를 URL로 공유할 수 있는 옵션도 추가하였습니다.

키워드: NotebookLM, Gemini 1.5, 오디오 개요, 비디오 및 오디오 입력, AI 노트-taking

출처: https://substack.com/redirect/c62e0a55-3556-4a99-93e8-1974b90d86f6?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Google Labs adds video and audio input to AI-powered note-taking assistant NotebookLM - SiliconANGLE

=============================================

3: Microsoft Azure AI에서 새로운 커스터마이징 기능과 모델 지원이 발표되었습니다. GPT-4o 및 GPT-4o mini의 일반 제공 및 Phi-3.5-MoE, Meta의 Llama 3.2 등의 새로운 모델도 추가되었습니다. 또한 사용자가 고유 데이터를 기반으로 LLMs(대형 언어 모델)를 더 효과적으로 맞춤화할 수 있도록 하는 Fine-tuning 기능이 확대되었으며, 데이터 보호 및 보안 강화를 위한 새로운 기능도 포함되었습니다.

키워드: Azure AI, Fine-tuning, GPT-4o, 모델 커스터마이징, LLMs

출처: https://substack.com/redirect/76067987-b3ba-455d-864a-cfcacd1e535a?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Announcing fine-tuning for customization and support for new models in Azure AI  | Microsoft Azure Blog

=============================================

4: Llama 3.2 모델 컬렉션은 비전 언어 모델(VLM), 소형 언어 모델(SLM), 비전 지원 Llama Guard 모델을 포함하며, NVIDIA의 가속 컴퓨팅 플랫폼과 함께 사용하여 생성 AI 솔루션을 제공합니다. Llama 3.2는 최적화된 변환기 아키텍처로 설계되었으며, 긴 문맥 길이와 빠른 추론 성능을 지원합니다. TensorRT 및 NIM 마이크로서비스를 통해 이러한 모델을 배포하고 관리할 수 있으며, NVIDIA AI Foundry와 NeMo를 활용해 맞춤형 모델을 개발할 수 있습니다. 또한, RTX와 Jetson 플랫폼에서 로컬 추론을 최적화하여 엣지 장치에 적합한 소형 모델을 제공합니다.

키워드: Llama 3.2, 비전 언어 모델(VLM), 소형 언어 모델(SLM), NVIDIA TensorRT, NIM, NVIDIA AI Foundry, NeMo, 엣지 장치

출처: https://substack.com/redirect/bfba8f69-6b81-448d-978f-e63c8dd3c158?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Deploying Accelerated Llama 3.2 from the Edge to the Cloud | NVIDIA Technical Blog

=============================================

5: 이 블로그 글은 Gabriel Chua가 Machine Learning Singapore에서 발표한 내용을 요약한 것입니다. HuggingFace의 Daily Papers에서 자동으로 논문 요약을 생성하는 과정에 대해 설명하고 있으며, GitHub Actions와 Gemini를 활용하여 매일 최신 연구 논문을 automating하는 방법을 소개합니다. 이 프로젝트는 무료로 운영되며, LLM 호출과 GitHub Pages에 직접 업데이트를 게시하는 시스템이 구현되어 있습니다.

키워드: GitHub Actions, HuggingFace, Gemini, LLM, 자동 요약, 연구 논문

출처: https://substack.com/redirect/cd05578a-dc13-4e02-b4ba-00d3b2045219?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Gabriel Chua - Summarising Daily AI Papers with GitHub and Gemini

=============================================

6: NVIDIA NIM Operator는 Kubernetes에서 NVIDIA NIM 마이크로서비스의 배포, 스케일링, 모니터링 및 관리를 용이하게 해주는 오퍼레이터입니다. 이는 AI 추론 파이프라인의 수명 주관리를 자동화하여 MLOps 및 LLMOps 엔지니어와 클러스터 관리자의 작업을 줄여줍니다. NIM Operator는 모델 사전 캐싱, 자동 스케일링, 롤링 업그레이드 등 다양한 기능을 제공하여 AI 모델의 배포 및 관리를 손쉽게 합니다.

키워드: NVIDIA NIM Operator, Kubernetes, AI 마이크로서비스, 자동 스케일링, 모델 사전 캐싱

출처: https://substack.com/redirect/294a91de-8f5b-4bc6-94f4-dc057547afc7?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

=============================================

7: 본 글에서는 Hugging Face의 TRL 라이브러리를 사용하여 다중모달 비전-언어 모델(VLM)을 미세 조정하는 방법을 설명하고 있습니다. 먼저, 미세 조정의 용도를 정의하고, 개발 환경을 설정한 후, 데이터 세트를 생성하여 준비합니다. 이후 TRL의 SFTTrainer를 사용해 VLM을 미세 조정하고, 모델을 테스트 및 평가합니다. 또한, QLoRA와 같은 기술을 통해 메모리 포트폴리오를 최적화하며 훈련 과정을 진행합니다. 마지막으로 훈련된 모델을 기반으로 제품 설명을 생성하는 예시를 보여줍니다.

키워드: 다중모달 모델, 비전-언어 모델, Hugging Face, TRL, SFTTrainer, QLoRA, 미세 조정

출처: https://substack.com/redirect/13a6fe4c-25a0-4aa0-94a1-322143c43b39?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

How to Fine-Tune Multimodal Models or VLMs with Hugging Face TRL

=============================================

8: 이 글은 복잡한 질문을 여러 개의 하위 질문으로 나눠서 각 하위 질문에 대한 답변을 구한 후, 이를 바탕으로 원래 질문에 대한 최종 답변을 도출하는 방법인 쿼리 분해(query decomposition)와 추론(reasoning) 기법에 대해 설명하고 있습니다. 사용된 예시는 `제이미와 산사 중 누가 더 많은 형제를 가지고 있는가?`라는 질문을 통해, 이를 하위 질문으로 쪼개고, 각 답변을 종합하여 최종적인 결론을 내리는 과정을 보여줍니다.

키워드: 쿼리 분해, 추론, 하위 질문, LLM, 데이터셋, 프롬프트

출처: https://substack.com/redirect/35e5e6e3-1062-4699-b7d5-0f1e5b73cb7c?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

Advanced RAG: Query Decomposition & Reasoning | Haystack

=============================================

9: 본 글에서는 의미 기반 텍스트 청킹(semantic chunking) 기법에 대해 설명하고, 이 기법이 어떻게 유사한 텍스트 조각들을 자동으로 그룹화하여 Retrieval Augmented Generation(RAG)와 같은 응용 프로그램에서 활용될 수 있는지를 다루고 있습니다. 텍스트를 의미적으로 일관된 청크로 나누는 과정은 유사도 기반의 임베딩을 통해 이루어지며, 클러스터링과 LLM 기반 레이블링 등 다양한 기법을 활용하여 시각화됩니다. 이를 통해 대량의 정보에서 유용한 통찰을 신속하게 도출할 수 있음을 보여줍니다.

키워드: 의미 기반 텍스트 청킹, 임베딩, 클러스터링, LLM, 시각화, Retrieval Augmented Generation, UMAP

출처: https://substack.com/redirect/6411443b-ca28-4761-a9b4-819717fb7ced?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

A Visual Exploration of Semantic Text Chunking

=============================================

10: IBM 연구팀은 대형 언어 모델(LLM)의 메모리 문제를 해결하기 위해 다양한 메모리 증강 전략을 개발하고 있습니다. 이들은 LLM이 긴 입력 시퀀스를 처리하는데 어려움을 겪고 있으며, 기존 메모리 용량의 한계를 극복하기 위한 방법들을 모색하고 있습니다. CAMELoT와 Larimar라는 두 가지 접근 방식을 통해 LLM의 메모리 용량을 향상시켜 데이터의 정확성을 높이고, 계산 자원을 절약할 수 있는 가능성을 보여주고 있습니다. CAMELoT는 기존 모델에 연결되어 긴 컨텍스트를 처리할 수 있는 연상 기억 모듈을 사용하고, Larimar는 적응 가능한 외부 에피소딕 메모리를 제공하여 LLM의 메모리를 관리하는 역할을 합니다. 이러한 연구 결과는 LLM의 성능을 향상시키고, 정확한 정보 생성 및 사용자 경험 개선에 기여할 것으로 기대됩니다.

키워드: 대형 언어 모델, 메모리 증강, CAMELoT, Larimar, 에피소딕 메모리

출처: https://substack.com/redirect/61663be0-90d6-412e-a2ce-2d16f1c05438?j=eyJ1IjoiNDY3cTJpIn0.5dctKUt2JSQUI0C1UTiYF5n5OCgFpls_-htAXgcvvSs

How memory augmentation can improve large language models