제노 엔진

WhisperX 리뷰

WhisperX는 OpenAI의 Whisper 모델 기반으로, 긴 오디오를 효율적이고 정확하게 받아쓰기하며 단어 단위의 정밀한 시간 정보를 제공하는 시스템이다. 이 리뷰에서는 논문에서 제안하는 기술 중 수식과 코드 블록을 중심으로 정리함1. Voice Activity Detection (VAD)WhisperX는 오디오 전체를 처리하기 전에, 음성이 존재하는 구간만을 식별하는 VAD를 선행적으로 수행한다. 이를 통해 불필요한 연산을 줄이고, 후속 처리를 위한 정제된 오디오 구간을 생성할 수 있다.오디오는 시간 단위로 나뉜 특징 벡터 시퀀스로 표현된다:$A = \{a_1, a_2, ..., a_T\}$ 이에 대한 VAD 모델의 출력은 각 시점의 음성 여부를 나타내는 이진 시퀀스이다:$y = \{y_1, y_..

1. 포님 (Phoneme)정의: 사람이 말할 때 구분 가능한 소리의 최소 단위예시:"cat"이라는 단어는 [k] + [æ] + [t] → 3개의 포님영어에는 약 44개의 포님음성 인식(Speech Recognition)은 이 포님을 구분해서 텍스트로 바꿔줌핵심듣는 입장에서의 단위말하는 방식, 악센트, 빠르기 등에 따라 포님 발음은 달라질 수 있음2. 비짐 (Viseme)정의: 말할 때 나타나는 입술, 혀, 턱 등 얼굴의 움직임의 시각적 단위쉽게 말하면, 보이는 발음여러 포님들이 같은 입 모양을 가질 수 있어서, 몇 개의 포님이 하나의 비짐으로 매핑예시:[p], [b], [m] → 입을 다물기 때문에 같은 비짐으로 보임핵심보는 입장에서의 단위 (입 모양)시각 정보로 음성을 인식할 때 사용 (예: 영상 속..

LangChain이란?LangChain은 LLM을 기반으로 하는 애플리케이션을 구축하기 위한 프레임워크로, 주로 순차적인 작업을 처리하는 데 강점을 가집니다. 예를 들어, 데이터를 가져와 요약하고, 그 요약을 바탕으로 사용자에게 답변을 생성하는 순차적인 프로세스를 쉽게 구현할 수 있습니다.구성 요소:문서 로더: 다양한 데이터 소스에서 정보를 불러옵니다.텍스트 분리기: 큰 문서를 의미 있는 작은 덩어리로 나눕니다.체인(Chain): 여러 LLM 작업을 연결하여 실행합니다.메모리: 대화의 맥락을 저장하여 이전 대화 내용을 활용할 수 있습니다.적합한 용도:순차적인 프로세스를 자동화하고, 한 단계씩 처리하는 워크플로우에 적합합니다.예: 데이터 가져오기 → 요약 → 질문 응답2. LangGraph란?LangGra..

애니메이션 업데이트 틱 최적화 (URO)URO는 애니메이션의 틱 속도를 조정하여 CPU 사용량을 크게 줄입니다. 예를 들어, 애니메이션은 매 프레임마다, 4 프레임마다, 또는 심지어 10 프레임마다 틱할 수 있습니다. 틱된 프레임 간의 보간을 비활성화하면 GameThread 비용을 더욱 줄일 수 있습니다.그러나 플레이어 근처에 많은 캐릭터가 있는 대규모 이벤트나 게임 모드를 처리할 때는 URO의 효과가 감소합니다. 추가되는 각 캐릭터는 제거할 수 없는 비용을 초래하기 때문입니다.에픽은 이를 해결하기 위해 렌더링을 위한 동적 해상도(Dynamic Resolution) 와 유사한 시스템이 추가했습니다.동적 애니메이션 예산고정된 예산(Budget) 내에서 작동하며, 시간보다는 애니메이션의 품질과 양을 조정합니..

NetDriver 네트워크 처리의 핵심 NetConnections 의 목록을 유지 관리 각 연결은 플레이어를 나타내며 클라이언트의 NetDriver는 서버에 대한 단일 연결을 관리 네트워크로부터 패킷을 수신, 패킷을 적절한 NetConnection으로 전달하는 일을 담당 패킷 패킷 메타데이터, Bunches로 구성 Bunche 채널간 전송되는 데이터 패킷이 수신되면, 개별 묶음으로 분할 된 다음, 개별 채널로 전달됨 패킷에는 번치가 포함되거나, 단일 번치가 포함되거나, 여러개의채널로 전달됨. 패킷에는 번치가 포함되지 않거나, 단일 번치가 포함되거나, 여러번 포함 될 수 있음 번치가 너무 크면, 전송에 여러개의 작은 번치로 분할되고 PartialInitial, Partial, PartialFinal로 표시..

Line–sphere intersection - Wikipedia

셀레니움은 브라우저를 직접 제어해서 자동화 테스트, 크롤링 할때 유용하게 쓸 수 있는 도구 입니다. 1. 데스크탑의 브라우저 버전 확인 사용할 브라우저의 버전을 확인합니다. 예를 들어 Chrome 브라우저의 경우 도움말-크롬정보를 통해서 접속하거나 아래 주소를 통해서 접근할 수 있습니다. chrome://settings/help2. Driver 다운로드 본인의 브라우저 버전에 맞는 Driver를 다운로드합니다. Browser Driver download page Chrome https://sites.google.com/a/chromium.org/chromedriver/downloads Edge https://developer.microsoft.com/en-us/microsoft-edge/tools/web..

C++의 클래스에 한개이상 꼭 들어있는 것들은 생성자, 소멸자 대입연산자다. 5. C++가 암시적으로 호출하는 함수를 주의하자 컴파일러는 클래스에 대해 기본 생성자, 복사생성자, 복사대입연산자, 소멸자를 암시적으로 만들어 놓을 수 있다. class Empty(); class Empty() { public: Empty() {...}; Empty(const Empty& rhs) {...}; ~Empty() {...}; Empty& operator={const Empty& rhs} {...}; } 디폴트 생성자는 멤버 변수 생성자를 호출할수 있도록 자리를 마련함 디폴트 복사, 대입 생성자는 원본 객체의 비정적 객체를 복사함 주의점 : 복사,대입 생성자의 경우 legal & Reasonable 해야만 자동 생성..

www.oreilly.com/library/view/hands-on-machine-learning/9781492032632/ Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition Through a series of recent breakthroughs, deep learning has boosted the entire field of machine learning. Now, even programmers who know close to nothing about this technology can use simple, … - Selection from Hands-On Machine Learning with Scikit..

케라스를 사용한 인공신경망 소개 자연으로부터 영감을 받은 발명품들(새 -> 비행기, 산우엉 -> 벨크로)처럼 인공신경망도 뇌 구조로부터 영감을 받음 새를 보고 비행기를 만들었지만, 날개를 펄럭일 필요는 없는 것처럼 인공신 경망도 생물학적 뉴런에서 점점 멀어지고 있다. 10장에서는 인공 신경망의 초창기 구조, 다중 퍼셉트론, 케라스를 소개 함 뉴런을 사용한 논리 연산 매컬러와 피츠가 생물학적 뉴런에서 착안한 매우 단순한 신경망 모델을 제안함 (MCP) McCulloch-Pitts 모델에서 사용한 가설은 다음과 같다. 1. 뉴런은 활성화되거나 혹은 활성화되지 않은 2 가지 상태이다. 즉, 뉴런의 활성화는 all-or-none 프로세스이다. 2. 어떤 뉴런을 흥분되게 (excited) 하려면 2개 이상의 고정..