ML - Lecture 20: Convolutional Neural Networks
시대가 점점 지나고 점점 neural network가 발전하게 되면서 deep learning의 중요성은 늘어나고 있다. 그중 특히 vision쪽에서의 유용함이 크다.
Tag
- ML 20
- OS 16
- CA 11
- Math 9
- Regression 7
- Classification 7
- AI Accelerator 7
- Virtual Memory 6
- PR 6
- ODE 6
- Regularization 5
- Deep Learning 5
- Quantization 5
- Hardware-Software Co-Design 5
- Concurrency 4
- Signals and Systems 4
- System Call 3
- Process 3
- Address Translation 3
- Logistic Regression 3
- Linear Algebra 3
- Neural Networks 3
- Synchronization 3
- Convolution 3
- Electromagnetics 3
- Eigenvalues 3
- MLE 2
- Least Squares 2
- Gradient Descent 2
- Virtualization 2
- Interrupt 2
- CPU Scheduling 2
- Model Evaluation 2
- Memory Allocation 2
- Ridge Regression 2
- LASSO 2
- Feature Selection 2
- Coordinate Descent 2
- Overfitting 2
- SGD 2
- Pruning 2
- moment 2
- Paging 2
- Cache 2
- Storage 2
- Thread 2
- Lock 2
- CNN 2
- Power Efficiency 2
- RISC-V 2
- FPGA 2
- Zynq 2
- Verilog 2
- Memory Hierarchy 2
- Bit-Serial 2
- Sparse Attention 2
- TPU 2
- LLM 2
- BitMoD 2
- Nonlinear Systems 2
- Circuit Analysis 2
- Fourier 2
- DSP 2
- CV 1
- Supervised Learning 1
- Statistics 1
- Parameter Estimation 1
- PAC Learning 1
- Linear Regression 1
- Persistence 1
- Process API 1
- Context Switch 1
- Round Robin 1
- Generalization 1
- Bias-Variance Tradeoff 1
- MLFQ 1
- Lottery Scheduling 1
- Address Space 1
- MAP 1
- Cross Validation 1
- Memory Protection 1
- Cross Entropy 1
- Softmax 1
- Online Learning 1
- Decision Tree 1
- Segmentation 1
- Fragmentation 1
- Ensemble Learning 1
- Bagging 1
- Random Forest 1
- Boosting 1
- AdaBoost 1
- Page Table 1
- Precision 1
- Recall 1
- TLB 1
- I/O 1
- DMA 1
- Device Driver 1
- KNN 1
- Instance-Based Learning 1
- Kernel Regression 1
- Unsupervised Learning 1
- Clustering 1
- K-Means 1
- File System 1
- Inode 1
- Dimensionality Reduction 1
- PCA 1
- LDA 1
- SSD 1
- Flash Memory 1
- FTL 1
- Garbage Collection 1
- MLP 1
- Race Condition 1
- Backpropagation 1
- Vectorization 1
- Pthreads 1
- Condition Variable 1
- Dropout 1
- Activation Functions 1
- Spinlock 1
- Atomic Operation 1
- Pooling 1
- Computer Vision 1
- CPU Performance 1
- Parallelism 1
- ISA 1
- Assembly 1
- Addressing Mode 1
- Computer Arithmetic 1
- ALU 1
- Binary Arithmetic 1
- Multiplier 1
- Datapath 1
- Control Unit 1
- Pipelining 1
- Pipeline Hazard 1
- Embedded Systems 1
- Vivado 1
- SoC 1
- Locality 1
- Sparsity 1
- Laconic 1
- Near-Memory Processing 1
- Memory Bandwidth 1
- Embedding 1
- Recommender Systems 1
- TensorDIMM 1
- Transformer 1
- SpAtten 1
- Sanger 1
- Initial Value Problem 1
- Integrating Factor 1
- RLC Circuit 1
- Resonance 1
- Damping 1
- Laplace Transform 1
- Transfer Function 1
- Power Series 1
- Frobenius Method 1
- Legendre Polynomials 1
- Bessel Functions 1
- Waveguide 1
- Vector Calculus 1
- Maxwell Equations 1
- Matrix Exponential 1
- State Space 1
- Phase Plane 1
- Stability 1
- Linearization 1
- Orthogonal Functions 1
- Communication 1
- OFDM 1
- Complex Analysis 1
- Sampling 1
- Z Transform 1
- FFT 1
- Digital Filter 1
- LeNet 1
- BCQ 1
- ShiftAddLLM 1
- AnyBCQ 1
- LUT-GEMM 1
- FIGLUT 1
ML
ML - Lecture 19: Neural Networks part3
이제 이 neural network를 실제로 어떻게 써야할지에 대해 다뤄보자.
ML - Lecture 18: Neural Networks part2
앞에서는 neural network가 무엇인지에 대해 배웠다. 이번에는 앞에서 언급한 back propagation을 해볼 것이다.
ML - Lecture 17: Neural Networks part1
이제 그 유명한 neural network에 대해 다루어 볼 것이다. 이번 장에서의 목표는 classifier를 좀더 복잡하고 non-linear한 feature를 사용하는 것이다. Linear한 model은 만들기가 쉽지만 실제로는 잘 적용이 안된다는 단점이 있다. 그래서 pol...
ML - Lecture 16: Dimension reduction
앞에서 공부를 하면서 느꼈을 것인데 dimension이 크고 그러면 힘들다고 배웠다. 근데 정확히 왜 그런 것일까? 이번 장에서는 그 정확한 이유에 대해 알아보고 PCA와 LDA라는 방법을 통해 dimension을 줄여보는 것을 해 보겠다.
ML - Lecture 15: Clustering
일단 clustering(군집화)이 뭘까? Clustering은 유사성이나 같은 패턴을 가지는 객체들을 그룹으로 묶는 것이라고 생각하면 된다. 앞에서 배운 classification이나 그런 분류와 뭐가 다르냐는 생각일 들 것이다. 크게 차이나는 부분은 clustering은 uns...
ML - Lecture 14: Instance-Based Learning
이번 장에서는 Nearest neighbor, kernel regression, 그리고 이를 이용하는 classification에 대해 다룰 것이다. 지금까지 우리는 선형적이고 항수가 하나로 나타나는 그러한 것들만 봤다.
ML - Lecture 13: Evaluating classifiers: Precision & Recall
지금까지 우리는 classifier에 대하여 배우면서 어떤 얼마나 좋은지 나쁜지 이런거에 대해 분류를 했었다. 그런데 과연 이 classifier가 정확한지 안한지는 어떻게 알 수 있을까? 정확하기만 한 classifier는 항상 믿을 수 있는 것일까? 이러한 이유로 다양한 eva...
ML - Lecture 12: Ensemble learning
우리가 앞에서 구한 classifier들은 꽤나 좋은 성능을 보여줬다. Variance가 낮고 빠르게 learning을 하는 장점이 있었다. 하지만 bias가 높게나온다는 단점이 있다. 왜냐하면 우리가 true error를 줄이기 위해 weak(simple) classifier를 ...
ML - Lecture 11: Decision tree
Decision tree도 classification에 속하는 supervised learning이다. 하지만 조금 다른 특성이 있다. 이걸 이해하기 위해서는 우선 parametric과 nonparametric model의 차이를 알아야 한다.
ML - Lecture 10: Linear classifier - scaling up learning via SGD
◼︎ Stochastic gradient descent: Learning, one data point at a time
ML - Lecture 9: Linear classifier - overfitting and regularization
이렇게 모델을 만들고나면 우리가 하는게 있다. overfitting 되었는가와 그것을 regularization으로 해결하는 것이다. 그걸 또 logistic regression에서 해보려고 한다.
ML - Lecture 8: Linear classifier - Logistic regression
이제 좀 다른 이야기를 해 볼것이다. 방금 전까지 우리는 연속적인(continuous)한 output에 대해 다뤘는데 이제는 불연속(discrete)한 output인 경우에 대해 알아볼 것이다. Classifier라는 것을 다룰 것인데 이것은 logistic regression...
ML - Lecture 7: Regularized regression
◼︎ Geometric intuition for ridge regression
ML - Lecture 6: LASSO regression
저번 lecture에서는 ridge regression을 다루었으니 이번 lecture에서는 다른 regularization인 LASSO regression에 대해 다룰 것이다.
ML - Lecture 5: Ridge regression
앞의 lecture에서 complexity가 많아지면 overfitting될 수 있다고 하였다. 특히 overfitting에 영향을 크게 주는 parameter는 $\hat{w}$이다. $\hat{w}$가 너무 크면 필연적으로 overfitting해져버린다. 이러한 overfi...
ML - Lecture 4: Linear regression part 2
◼︎ Assessing performance
ML - Lecture 3: Linear regression part 1
◼︎ Linear regression
ML - Lecture 2: Point estimation
◼︎ Estimators
ML - Lecture 1: Introduction
◼︎ Meta Meta의 뜻? -> 무엇에 관한 무엇 Meta-learning: 학습에 관한 학습 Meta-data: 데이터에 대한 데이터 Meta-recognition: 무엇을 알고 있는지 인지
OS
Operating system - Locks
앞에서 락에 대해 간단히 다뤘는데 이번 장에서는 조금 더 자세히 다뤄볼 것이다. 락은 동시성 프로그래밍을 할때 쓰레드에서 발생하는 공유자원에 여러 스레드가 동시에 접근 하는 문제를 해결하는 방법이다. Concurrency에서 명령을 atomically하게 수행하고 싶지만 프로세...
Operating system - Thread API
Thread API의 주요 부분들을 간략하게 다뤄볼 것이다. 운영체제가 쓰레드를 생성하고 제어하는데 어떤 인터페이스를 제공해야할까?
Operating system - Concurrency
앞에서는 virtualization과 같은 것을 배웠다. 이번 장에서는 프로세스를 위한 새로운 개념인 thread에 대해 배울 것이다. 프로그램이 한 순간에 하나의 명령어만 실행하는 고전적인 관점에서 벗어나 멀티 쓰레드 프로그램은 하나 이상의 명령을 실행하게 한다. 쓰레드는 주...
Operating system - FlashSSD
저장장치로 유명한 SSD에 대해 다뤄볼 것이다. 지금 기준으로 제일 빠르다는게 하이닉스 p51이라던데…. 일단 SSD는 전원이 꺼지더라도 데이터를 유지하기 때문에 HDD대신 쓰인다. 이는 Flash(NAND 기반 Flash)에서 시작되는데 어떤 데이터를 쓸 때 해당 데이터가...
Operating system - File system
vsfs(Very Simple File System)에 대해 배울 것이다. 파일 시스템은 순수한 소프트웨어로 CPU 가상화나 메모리 가상화랑은 다른다. 그때는 kernel mode가 필요했지만 vsfs는 그렇지 않다. 우선 파일 시스템은 두가지 측면이 있다. Data st...
Operating system - I/O Devices
영속성을 설명하기에 앞서 입력/출력 장치의 개념을 소개할 것이다. I/O device는 컴퓨터 시스템을 유용하기 쓰기 위해서는 필요하다. 그러면 시스템에과 I/O를 어떻게 합쳐야 할까?
Operating system - Translation Lookaside Buffer
앞에서 말했듯 paging은 상당한 성능 저하를 가져올 수도 있다. 모든 load/store 명령어 실행이 계속 반복해서 일어나는 것이다. 그래서 이 주소 변환 속도를 향상시키기 위한 방법을 도입하게 된다. 이는 Translatiion-Lookaside Buffer(TLB)라고...
Operating system - Paging
앞에서 보았듯 공간을 다양한 크기의 청크로 분할하면 공간이 fragmented되게 된다. 그래서 동일 크기의 조각으로 분할하는 방법을 생각해볼 수 있다. 이를 paging이라고 한다. 고정 크기의 단위를 page라고 하고 이에 대응되는 물리 메모리를 page frame이라고 한...
Operating system - Segmentation
지금 우리가 배운건 베이스와 바운드 레지스터를 이용해 주소 공간 전체를 메모리에 탑재한다. 이 방식은 스택과 힙 사이의 공간이 사용되지 않더라도 물리 메모리를 차지하고 있다. 그렇기 때문에 메모리 낭비 (wasteful) 가 심하다. 그리고 주소 공간이 물리 메모리보다 클 때 ...
Operating sysetem - Address translation
CPU를 가상화 할 때 우리는 LDE(Limited Direct Execution)을 사용한다는 것을 알았다. 그런데 메모리 또한 비슷한 방식을 이용한다. 우리가 다룰 기법은 하드웨어-기반 주소 변환(hardware-based address translation) 혹은 주소 변...
Operating sysetem - Address space
가상 메모리를 이해하기 위해서는 사용자 프로그램이 생성하는 모든 주소는 가상주소라는 것부터 시작해야한다. 프로세스가 자신만의 커다란 전용 메모리를 가진다는 환상을 제공하는 것이다. 운영체제는 각 프로세스에게 코드와 데이터를 저장할 수 있는 대용량의 연속된 주소 공간(addres...
Operating sysetem - MLFQ
◼︎ MLFQ
Operating sysetem - CPU_scheduling
◼︎ 워크로드에 대한 가정
Operating sysetem - Direct execution
◼︎ Limited Direct Execution (제한적 직접 실행 원리)
Operating sysetem - Virtualization_processes
◼︎ Process
Operating sysetem - Introduction
◼︎ 들어가기 전에 운영체제에 대해 공부할 때 크게 3가지의 중요한 내용을 나눠서 공부하게 된다. 그 3개는 다음과 같다.
CA
Sanger: A Co-Design Framework for Enabling Sparse Attention using Reconfigurable Architecture, MICRO 2021
◼︎ Abstract
SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning, HPCA 2021
발표자료
CA - chapter 5 Large and Fast: Exploiting Memory Hierarchy
이제 우리는 전체적인 CPU의 구조에 대해 이해할 수 있게 됐다. 그런데 우리가 자세히 다루지 않고 계속 사용하던 것이 있다. 바로 memory이다. gate나 mux등을 통해 많은 것을 만들 수 있지만 저장공간에 대한것은 아무 설명 없이 그냥 사용했다. 이번 장에는 이 memor...
CA - chapter 4 The Processor - Datapath and Control
앞에서는 성능과 명령어에 대하여 알아보았다. 이번 장에서는 하드웨어가 어떤식으로 구조가 돼있는지에 대해 배울 예정이다.
CA - chapter 3 Arithmetic for Computers
이번장에서는 컴퓨터가 계산하는 방식에 대해 볼것이다. Addition, subtraction, multiplication, overflow에 대해 다뤄볼 것이다. Division이나 floating point같은 것도 있긴 하지만 교수님은 이부분을 크게 다루시지 않아서 넘기겠다.
CA - chapter 2 Instructions: Language of the Computer
하드웨어가 알아들을수 있는 컴퓨터 언어를 명령어(instruction)이라고 한다. 이번 장에서는 RISC-V의 명령어에 대하여 알아볼 것이다.
CA - chapter 1 Computer Abstraction and Technology
우선 컴퓨터 구조를 시작하기 전에 비트수의 단위에 대한 표를 하나만 보겠다.
Math
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
Phase Plane, Critical Points and Stability
위상평면과 임계점 및 안정성
Linear System
연립선형미분방정식은 처음 보면 식이 갑자기 여러 개가 한꺼번에 묶여 나와서 좀 부담스럽다.
Vector and Vector Calculus
공업수학에서 벡터와 행렬은 여러 개의 값과 상태를 한꺼번에 다루는 언어이고, 벡터 미적분학은 공간에 분포한 전기장·자기장처럼 위치에 따라 변하는 양을 다루는 언어이다.
Power Series Solution
고계 미분방정식에서는 상수계수 미분방정식의 해를 지수함수로 찾았다. 라플라스 변환에서는 시간 미분을 $s$에 대한 곱셈으로 바꾸어 초기값 문제를 대수적으로 풀었다.
Higher-Order ODE
고계 미분방정식을 배우는 이유
Ordinary Differential Equation (ODE)
1계 미분방정식의 기초
Regression
ML - Lecture 14: Instance-Based Learning
이번 장에서는 Nearest neighbor, kernel regression, 그리고 이를 이용하는 classification에 대해 다룰 것이다. 지금까지 우리는 선형적이고 항수가 하나로 나타나는 그러한 것들만 봤다.
ML - Lecture 7: Regularized regression
◼︎ Geometric intuition for ridge regression
ML - Lecture 6: LASSO regression
저번 lecture에서는 ridge regression을 다루었으니 이번 lecture에서는 다른 regularization인 LASSO regression에 대해 다룰 것이다.
ML - Lecture 5: Ridge regression
앞의 lecture에서 complexity가 많아지면 overfitting될 수 있다고 하였다. 특히 overfitting에 영향을 크게 주는 parameter는 $\hat{w}$이다. $\hat{w}$가 너무 크면 필연적으로 overfitting해져버린다. 이러한 overfi...
ML - Lecture 4: Linear regression part 2
◼︎ Assessing performance
ML - Lecture 3: Linear regression part 1
◼︎ Linear regression
ML - Lecture 1: Introduction
◼︎ Meta Meta의 뜻? -> 무엇에 관한 무엇 Meta-learning: 학습에 관한 학습 Meta-data: 데이터에 대한 데이터 Meta-recognition: 무엇을 알고 있는지 인지
Classification
ML - Lecture 13: Evaluating classifiers: Precision & Recall
지금까지 우리는 classifier에 대하여 배우면서 어떤 얼마나 좋은지 나쁜지 이런거에 대해 분류를 했었다. 그런데 과연 이 classifier가 정확한지 안한지는 어떻게 알 수 있을까? 정확하기만 한 classifier는 항상 믿을 수 있는 것일까? 이러한 이유로 다양한 eva...
ML - Lecture 12: Ensemble learning
우리가 앞에서 구한 classifier들은 꽤나 좋은 성능을 보여줬다. Variance가 낮고 빠르게 learning을 하는 장점이 있었다. 하지만 bias가 높게나온다는 단점이 있다. 왜냐하면 우리가 true error를 줄이기 위해 weak(simple) classifier를 ...
ML - Lecture 11: Decision tree
Decision tree도 classification에 속하는 supervised learning이다. 하지만 조금 다른 특성이 있다. 이걸 이해하기 위해서는 우선 parametric과 nonparametric model의 차이를 알아야 한다.
ML - Lecture 10: Linear classifier - scaling up learning via SGD
◼︎ Stochastic gradient descent: Learning, one data point at a time
ML - Lecture 9: Linear classifier - overfitting and regularization
이렇게 모델을 만들고나면 우리가 하는게 있다. overfitting 되었는가와 그것을 regularization으로 해결하는 것이다. 그걸 또 logistic regression에서 해보려고 한다.
ML - Lecture 8: Linear classifier - Logistic regression
이제 좀 다른 이야기를 해 볼것이다. 방금 전까지 우리는 연속적인(continuous)한 output에 대해 다뤘는데 이제는 불연속(discrete)한 output인 경우에 대해 알아볼 것이다. Classifier라는 것을 다룰 것인데 이것은 logistic regression...
ML - Lecture 1: Introduction
◼︎ Meta Meta의 뜻? -> 무엇에 관한 무엇 Meta-learning: 학습에 관한 학습 Meta-data: 데이터에 대한 데이터 Meta-recognition: 무엇을 알고 있는지 인지
AI Accelerator
Sanger: A Co-Design Framework for Enabling Sparse Attention using Reconfigurable Architecture, MICRO 2021
◼︎ Abstract
Virtual Memory
CA - chapter 5 Large and Fast: Exploiting Memory Hierarchy
이제 우리는 전체적인 CPU의 구조에 대해 이해할 수 있게 됐다. 그런데 우리가 자세히 다루지 않고 계속 사용하던 것이 있다. 바로 memory이다. gate나 mux등을 통해 많은 것을 만들 수 있지만 저장공간에 대한것은 아무 설명 없이 그냥 사용했다. 이번 장에는 이 memor...
Operating system - Translation Lookaside Buffer
앞에서 말했듯 paging은 상당한 성능 저하를 가져올 수도 있다. 모든 load/store 명령어 실행이 계속 반복해서 일어나는 것이다. 그래서 이 주소 변환 속도를 향상시키기 위한 방법을 도입하게 된다. 이는 Translatiion-Lookaside Buffer(TLB)라고...
Operating system - Paging
앞에서 보았듯 공간을 다양한 크기의 청크로 분할하면 공간이 fragmented되게 된다. 그래서 동일 크기의 조각으로 분할하는 방법을 생각해볼 수 있다. 이를 paging이라고 한다. 고정 크기의 단위를 page라고 하고 이에 대응되는 물리 메모리를 page frame이라고 한...
Operating system - Segmentation
지금 우리가 배운건 베이스와 바운드 레지스터를 이용해 주소 공간 전체를 메모리에 탑재한다. 이 방식은 스택과 힙 사이의 공간이 사용되지 않더라도 물리 메모리를 차지하고 있다. 그렇기 때문에 메모리 낭비 (wasteful) 가 심하다. 그리고 주소 공간이 물리 메모리보다 클 때 ...
Operating sysetem - Address translation
CPU를 가상화 할 때 우리는 LDE(Limited Direct Execution)을 사용한다는 것을 알았다. 그런데 메모리 또한 비슷한 방식을 이용한다. 우리가 다룰 기법은 하드웨어-기반 주소 변환(hardware-based address translation) 혹은 주소 변...
Operating sysetem - Address space
가상 메모리를 이해하기 위해서는 사용자 프로그램이 생성하는 모든 주소는 가상주소라는 것부터 시작해야한다. 프로세스가 자신만의 커다란 전용 메모리를 가진다는 환상을 제공하는 것이다. 운영체제는 각 프로세스에게 코드와 데이터를 저장할 수 있는 대용량의 연속된 주소 공간(addres...
PR
Sanger: A Co-Design Framework for Enabling Sparse Attention using Reconfigurable Architecture, MICRO 2021
◼︎ Abstract
ODE
Phase Plane, Critical Points and Stability
위상평면과 임계점 및 안정성
Linear System
연립선형미분방정식은 처음 보면 식이 갑자기 여러 개가 한꺼번에 묶여 나와서 좀 부담스럽다.
Power Series Solution
고계 미분방정식에서는 상수계수 미분방정식의 해를 지수함수로 찾았다. 라플라스 변환에서는 시간 미분을 $s$에 대한 곱셈으로 바꾸어 초기값 문제를 대수적으로 풀었다.
Higher-Order ODE
고계 미분방정식을 배우는 이유
Ordinary Differential Equation (ODE)
1계 미분방정식의 기초
Regularization
ML - Lecture 19: Neural Networks part3
이제 이 neural network를 실제로 어떻게 써야할지에 대해 다뤄보자.
ML - Lecture 9: Linear classifier - overfitting and regularization
이렇게 모델을 만들고나면 우리가 하는게 있다. overfitting 되었는가와 그것을 regularization으로 해결하는 것이다. 그걸 또 logistic regression에서 해보려고 한다.
ML - Lecture 7: Regularized regression
◼︎ Geometric intuition for ridge regression
ML - Lecture 6: LASSO regression
저번 lecture에서는 ridge regression을 다루었으니 이번 lecture에서는 다른 regularization인 LASSO regression에 대해 다룰 것이다.
ML - Lecture 5: Ridge regression
앞의 lecture에서 complexity가 많아지면 overfitting될 수 있다고 하였다. 특히 overfitting에 영향을 크게 주는 parameter는 $\hat{w}$이다. $\hat{w}$가 너무 크면 필연적으로 overfitting해져버린다. 이러한 overfi...
Deep Learning
ML - Lecture 20: Convolutional Neural Networks
시대가 점점 지나고 점점 neural network가 발전하게 되면서 deep learning의 중요성은 늘어나고 있다. 그중 특히 vision쪽에서의 유용함이 크다.
ML - Lecture 19: Neural Networks part3
이제 이 neural network를 실제로 어떻게 써야할지에 대해 다뤄보자.
ML - Lecture 18: Neural Networks part2
앞에서는 neural network가 무엇인지에 대해 배웠다. 이번에는 앞에서 언급한 back propagation을 해볼 것이다.
ML - Lecture 17: Neural Networks part1
이제 그 유명한 neural network에 대해 다루어 볼 것이다. 이번 장에서의 목표는 classifier를 좀더 복잡하고 non-linear한 feature를 사용하는 것이다. Linear한 model은 만들기가 쉽지만 실제로는 잘 적용이 안된다는 단점이 있다. 그래서 pol...
Quantization
BCQ-Binary Coded Quantization
BCQ가 필요한 이유와 양자화·LUT 구현 원리를 정리하고, ShiftAddLLM·AnyBCQ·LUT-GEMM·FIGLUT가 같은 표현을 어떻게 서로 다른 가속 전략으로 연결하는지 비교한다.
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
Hardware-Software Co-Design
BCQ-Binary Coded Quantization
BCQ가 필요한 이유와 양자화·LUT 구현 원리를 정리하고, ShiftAddLLM·AnyBCQ·LUT-GEMM·FIGLUT가 같은 표현을 어떻게 서로 다른 가속 전략으로 연결하는지 비교한다.
Concurrency
Operating system - Locks
앞에서 락에 대해 간단히 다뤘는데 이번 장에서는 조금 더 자세히 다뤄볼 것이다. 락은 동시성 프로그래밍을 할때 쓰레드에서 발생하는 공유자원에 여러 스레드가 동시에 접근 하는 문제를 해결하는 방법이다. Concurrency에서 명령을 atomically하게 수행하고 싶지만 프로세...
Operating system - Thread API
Thread API의 주요 부분들을 간략하게 다뤄볼 것이다. 운영체제가 쓰레드를 생성하고 제어하는데 어떤 인터페이스를 제공해야할까?
Operating system - Concurrency
앞에서는 virtualization과 같은 것을 배웠다. 이번 장에서는 프로세스를 위한 새로운 개념인 thread에 대해 배울 것이다. 프로그램이 한 순간에 하나의 명령어만 실행하는 고전적인 관점에서 벗어나 멀티 쓰레드 프로그램은 하나 이상의 명령을 실행하게 한다. 쓰레드는 주...
Operating sysetem - Introduction
◼︎ 들어가기 전에 운영체제에 대해 공부할 때 크게 3가지의 중요한 내용을 나눠서 공부하게 된다. 그 3개는 다음과 같다.
Signals and Systems
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
Higher-Order ODE
고계 미분방정식을 배우는 이유
System Call
Operating sysetem - Direct execution
◼︎ Limited Direct Execution (제한적 직접 실행 원리)
Operating sysetem - Virtualization_processes
◼︎ Process
Operating sysetem - Introduction
◼︎ 들어가기 전에 운영체제에 대해 공부할 때 크게 3가지의 중요한 내용을 나눠서 공부하게 된다. 그 3개는 다음과 같다.
Process
Operating sysetem - CPU_scheduling
◼︎ 워크로드에 대한 가정
Operating sysetem - Direct execution
◼︎ Limited Direct Execution (제한적 직접 실행 원리)
Operating sysetem - Virtualization_processes
◼︎ Process
Address Translation
Operating system - Translation Lookaside Buffer
앞에서 말했듯 paging은 상당한 성능 저하를 가져올 수도 있다. 모든 load/store 명령어 실행이 계속 반복해서 일어나는 것이다. 그래서 이 주소 변환 속도를 향상시키기 위한 방법을 도입하게 된다. 이는 Translatiion-Lookaside Buffer(TLB)라고...
Operating system - Paging
앞에서 보았듯 공간을 다양한 크기의 청크로 분할하면 공간이 fragmented되게 된다. 그래서 동일 크기의 조각으로 분할하는 방법을 생각해볼 수 있다. 이를 paging이라고 한다. 고정 크기의 단위를 page라고 하고 이에 대응되는 물리 메모리를 page frame이라고 한...
Operating sysetem - Address translation
CPU를 가상화 할 때 우리는 LDE(Limited Direct Execution)을 사용한다는 것을 알았다. 그런데 메모리 또한 비슷한 방식을 이용한다. 우리가 다룰 기법은 하드웨어-기반 주소 변환(hardware-based address translation) 혹은 주소 변...
Logistic Regression
ML - Lecture 10: Linear classifier - scaling up learning via SGD
◼︎ Stochastic gradient descent: Learning, one data point at a time
ML - Lecture 9: Linear classifier - overfitting and regularization
이렇게 모델을 만들고나면 우리가 하는게 있다. overfitting 되었는가와 그것을 regularization으로 해결하는 것이다. 그걸 또 logistic regression에서 해보려고 한다.
ML - Lecture 8: Linear classifier - Logistic regression
이제 좀 다른 이야기를 해 볼것이다. 방금 전까지 우리는 연속적인(continuous)한 output에 대해 다뤘는데 이제는 불연속(discrete)한 output인 경우에 대해 알아볼 것이다. Classifier라는 것을 다룰 것인데 이것은 logistic regression...
Linear Algebra
Linear System
연립선형미분방정식은 처음 보면 식이 갑자기 여러 개가 한꺼번에 묶여 나와서 좀 부담스럽다.
Vector and Vector Calculus
공업수학에서 벡터와 행렬은 여러 개의 값과 상태를 한꺼번에 다루는 언어이고, 벡터 미적분학은 공간에 분포한 전기장·자기장처럼 위치에 따라 변하는 양을 다루는 언어이다.
ML - Lecture 16: Dimension reduction
앞에서 공부를 하면서 느꼈을 것인데 dimension이 크고 그러면 힘들다고 배웠다. 근데 정확히 왜 그런 것일까? 이번 장에서는 그 정확한 이유에 대해 알아보고 PCA와 LDA라는 방법을 통해 dimension을 줄여보는 것을 해 보겠다.
Neural Networks
ML - Lecture 19: Neural Networks part3
이제 이 neural network를 실제로 어떻게 써야할지에 대해 다뤄보자.
ML - Lecture 18: Neural Networks part2
앞에서는 neural network가 무엇인지에 대해 배웠다. 이번에는 앞에서 언급한 back propagation을 해볼 것이다.
ML - Lecture 17: Neural Networks part1
이제 그 유명한 neural network에 대해 다루어 볼 것이다. 이번 장에서의 목표는 classifier를 좀더 복잡하고 non-linear한 feature를 사용하는 것이다. Linear한 model은 만들기가 쉽지만 실제로는 잘 적용이 안된다는 단점이 있다. 그래서 pol...
Synchronization
Operating system - Locks
앞에서 락에 대해 간단히 다뤘는데 이번 장에서는 조금 더 자세히 다뤄볼 것이다. 락은 동시성 프로그래밍을 할때 쓰레드에서 발생하는 공유자원에 여러 스레드가 동시에 접근 하는 문제를 해결하는 방법이다. Concurrency에서 명령을 atomically하게 수행하고 싶지만 프로세...
Operating system - Thread API
Thread API의 주요 부분들을 간략하게 다뤄볼 것이다. 운영체제가 쓰레드를 생성하고 제어하는데 어떤 인터페이스를 제공해야할까?
Operating system - Concurrency
앞에서는 virtualization과 같은 것을 배웠다. 이번 장에서는 프로세스를 위한 새로운 개념인 thread에 대해 배울 것이다. 프로그램이 한 순간에 하나의 명령어만 실행하는 고전적인 관점에서 벗어나 멀티 쓰레드 프로그램은 하나 이상의 명령을 실행하게 한다. 쓰레드는 주...
Convolution
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
ML - Lecture 20: Convolutional Neural Networks
시대가 점점 지나고 점점 neural network가 발전하게 되면서 deep learning의 중요성은 늘어나고 있다. 그중 특히 vision쪽에서의 유용함이 크다.
Electromagnetics
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
Vector and Vector Calculus
공업수학에서 벡터와 행렬은 여러 개의 값과 상태를 한꺼번에 다루는 언어이고, 벡터 미적분학은 공간에 분포한 전기장·자기장처럼 위치에 따라 변하는 양을 다루는 언어이다.
Power Series Solution
고계 미분방정식에서는 상수계수 미분방정식의 해를 지수함수로 찾았다. 라플라스 변환에서는 시간 미분을 $s$에 대한 곱셈으로 바꾸어 초기값 문제를 대수적으로 풀었다.
Eigenvalues
Phase Plane, Critical Points and Stability
위상평면과 임계점 및 안정성
Linear System
연립선형미분방정식은 처음 보면 식이 갑자기 여러 개가 한꺼번에 묶여 나와서 좀 부담스럽다.
Vector and Vector Calculus
공업수학에서 벡터와 행렬은 여러 개의 값과 상태를 한꺼번에 다루는 언어이고, 벡터 미적분학은 공간에 분포한 전기장·자기장처럼 위치에 따라 변하는 양을 다루는 언어이다.
MLE
ML - Lecture 8: Linear classifier - Logistic regression
이제 좀 다른 이야기를 해 볼것이다. 방금 전까지 우리는 연속적인(continuous)한 output에 대해 다뤘는데 이제는 불연속(discrete)한 output인 경우에 대해 알아볼 것이다. Classifier라는 것을 다룰 것인데 이것은 logistic regression...
ML - Lecture 2: Point estimation
◼︎ Estimators
Least Squares
Vector and Vector Calculus
공업수학에서 벡터와 행렬은 여러 개의 값과 상태를 한꺼번에 다루는 언어이고, 벡터 미적분학은 공간에 분포한 전기장·자기장처럼 위치에 따라 변하는 양을 다루는 언어이다.
ML - Lecture 3: Linear regression part 1
◼︎ Linear regression
Gradient Descent
ML - Lecture 5: Ridge regression
앞의 lecture에서 complexity가 많아지면 overfitting될 수 있다고 하였다. 특히 overfitting에 영향을 크게 주는 parameter는 $\hat{w}$이다. $\hat{w}$가 너무 크면 필연적으로 overfitting해져버린다. 이러한 overfi...
ML - Lecture 3: Linear regression part 1
◼︎ Linear regression
Virtualization
Operating sysetem - Virtualization_processes
◼︎ Process
Operating sysetem - Introduction
◼︎ 들어가기 전에 운영체제에 대해 공부할 때 크게 3가지의 중요한 내용을 나눠서 공부하게 된다. 그 3개는 다음과 같다.
Interrupt
Operating system - I/O Devices
영속성을 설명하기에 앞서 입력/출력 장치의 개념을 소개할 것이다. I/O device는 컴퓨터 시스템을 유용하기 쓰기 위해서는 필요하다. 그러면 시스템에과 I/O를 어떻게 합쳐야 할까?
Operating sysetem - Direct execution
◼︎ Limited Direct Execution (제한적 직접 실행 원리)
CPU Scheduling
Operating sysetem - MLFQ
◼︎ MLFQ
Operating sysetem - CPU_scheduling
◼︎ 워크로드에 대한 가정
Model Evaluation
ML - Lecture 13: Evaluating classifiers: Precision & Recall
지금까지 우리는 classifier에 대하여 배우면서 어떤 얼마나 좋은지 나쁜지 이런거에 대해 분류를 했었다. 그런데 과연 이 classifier가 정확한지 안한지는 어떻게 알 수 있을까? 정확하기만 한 classifier는 항상 믿을 수 있는 것일까? 이러한 이유로 다양한 eva...
ML - Lecture 4: Linear regression part 2
◼︎ Assessing performance
Memory Allocation
Operating system - Segmentation
지금 우리가 배운건 베이스와 바운드 레지스터를 이용해 주소 공간 전체를 메모리에 탑재한다. 이 방식은 스택과 힙 사이의 공간이 사용되지 않더라도 물리 메모리를 차지하고 있다. 그렇기 때문에 메모리 낭비 (wasteful) 가 심하다. 그리고 주소 공간이 물리 메모리보다 클 때 ...
Operating sysetem - Address space
가상 메모리를 이해하기 위해서는 사용자 프로그램이 생성하는 모든 주소는 가상주소라는 것부터 시작해야한다. 프로세스가 자신만의 커다란 전용 메모리를 가진다는 환상을 제공하는 것이다. 운영체제는 각 프로세스에게 코드와 데이터를 저장할 수 있는 대용량의 연속된 주소 공간(addres...
Ridge Regression
ML - Lecture 7: Regularized regression
◼︎ Geometric intuition for ridge regression
ML - Lecture 5: Ridge regression
앞의 lecture에서 complexity가 많아지면 overfitting될 수 있다고 하였다. 특히 overfitting에 영향을 크게 주는 parameter는 $\hat{w}$이다. $\hat{w}$가 너무 크면 필연적으로 overfitting해져버린다. 이러한 overfi...
LASSO
ML - Lecture 7: Regularized regression
◼︎ Geometric intuition for ridge regression
ML - Lecture 6: LASSO regression
저번 lecture에서는 ridge regression을 다루었으니 이번 lecture에서는 다른 regularization인 LASSO regression에 대해 다룰 것이다.
Feature Selection
ML - Lecture 11: Decision tree
Decision tree도 classification에 속하는 supervised learning이다. 하지만 조금 다른 특성이 있다. 이걸 이해하기 위해서는 우선 parametric과 nonparametric model의 차이를 알아야 한다.
ML - Lecture 6: LASSO regression
저번 lecture에서는 ridge regression을 다루었으니 이번 lecture에서는 다른 regularization인 LASSO regression에 대해 다룰 것이다.
Coordinate Descent
ML - Lecture 15: Clustering
일단 clustering(군집화)이 뭘까? Clustering은 유사성이나 같은 패턴을 가지는 객체들을 그룹으로 묶는 것이라고 생각하면 된다. 앞에서 배운 classification이나 그런 분류와 뭐가 다르냐는 생각일 들 것이다. 크게 차이나는 부분은 clustering은 uns...
ML - Lecture 6: LASSO regression
저번 lecture에서는 ridge regression을 다루었으니 이번 lecture에서는 다른 regularization인 LASSO regression에 대해 다룰 것이다.
Overfitting
ML - Lecture 11: Decision tree
Decision tree도 classification에 속하는 supervised learning이다. 하지만 조금 다른 특성이 있다. 이걸 이해하기 위해서는 우선 parametric과 nonparametric model의 차이를 알아야 한다.
ML - Lecture 9: Linear classifier - overfitting and regularization
이렇게 모델을 만들고나면 우리가 하는게 있다. overfitting 되었는가와 그것을 regularization으로 해결하는 것이다. 그걸 또 logistic regression에서 해보려고 한다.
SGD
ML - Lecture 19: Neural Networks part3
이제 이 neural network를 실제로 어떻게 써야할지에 대해 다뤄보자.
ML - Lecture 10: Linear classifier - scaling up learning via SGD
◼︎ Stochastic gradient descent: Learning, one data point at a time
Pruning
SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning, HPCA 2021
발표자료
ML - Lecture 11: Decision tree
Decision tree도 classification에 속하는 supervised learning이다. 하지만 조금 다른 특성이 있다. 이걸 이해하기 위해서는 우선 parametric과 nonparametric model의 차이를 알아야 한다.
moment
Moment 2 - Review of 2024
열심히 블로그 쓴다고 한지 거의 4달만에 글을 다시 씁니다. 이거 굉장히 귀찮긴 하네요;;; 벌써 2025년이 돼서 개강도 했는데 이제야 24년 사진들을을 올려볼까 합니다. 24년은 제 인생에서 제일 행복한 해였던것 같습니다. 입시에서 벗어났다는 해방감도 있고 작년에 정말 많은...
Moment 1
블로그 일상글 써야지 써야지 하다가 이제 쓰게되네요…. 사실 이 블로그를 만든건 합격하고 2월부터 만들기 시작하긴 했는데 깃헙블로그 사용법이 처음에 익히기도 어렵고 귀찮아서 안하다가 ㅎㅎ. 그래도 2학기 중간부터 공부용으로 쓰겠다고 뭔가 많이 꾸미고 공부한거 업로드 하고 이것저...
Paging
Operating system - Translation Lookaside Buffer
앞에서 말했듯 paging은 상당한 성능 저하를 가져올 수도 있다. 모든 load/store 명령어 실행이 계속 반복해서 일어나는 것이다. 그래서 이 주소 변환 속도를 향상시키기 위한 방법을 도입하게 된다. 이는 Translatiion-Lookaside Buffer(TLB)라고...
Operating system - Paging
앞에서 보았듯 공간을 다양한 크기의 청크로 분할하면 공간이 fragmented되게 된다. 그래서 동일 크기의 조각으로 분할하는 방법을 생각해볼 수 있다. 이를 paging이라고 한다. 고정 크기의 단위를 page라고 하고 이에 대응되는 물리 메모리를 page frame이라고 한...
Cache
CA - chapter 5 Large and Fast: Exploiting Memory Hierarchy
이제 우리는 전체적인 CPU의 구조에 대해 이해할 수 있게 됐다. 그런데 우리가 자세히 다루지 않고 계속 사용하던 것이 있다. 바로 memory이다. gate나 mux등을 통해 많은 것을 만들 수 있지만 저장공간에 대한것은 아무 설명 없이 그냥 사용했다. 이번 장에는 이 memor...
Operating system - Translation Lookaside Buffer
앞에서 말했듯 paging은 상당한 성능 저하를 가져올 수도 있다. 모든 load/store 명령어 실행이 계속 반복해서 일어나는 것이다. 그래서 이 주소 변환 속도를 향상시키기 위한 방법을 도입하게 된다. 이는 Translatiion-Lookaside Buffer(TLB)라고...
Storage
Operating system - FlashSSD
저장장치로 유명한 SSD에 대해 다뤄볼 것이다. 지금 기준으로 제일 빠르다는게 하이닉스 p51이라던데…. 일단 SSD는 전원이 꺼지더라도 데이터를 유지하기 때문에 HDD대신 쓰인다. 이는 Flash(NAND 기반 Flash)에서 시작되는데 어떤 데이터를 쓸 때 해당 데이터가...
Operating system - File system
vsfs(Very Simple File System)에 대해 배울 것이다. 파일 시스템은 순수한 소프트웨어로 CPU 가상화나 메모리 가상화랑은 다른다. 그때는 kernel mode가 필요했지만 vsfs는 그렇지 않다. 우선 파일 시스템은 두가지 측면이 있다. Data st...
Thread
Operating system - Thread API
Thread API의 주요 부분들을 간략하게 다뤄볼 것이다. 운영체제가 쓰레드를 생성하고 제어하는데 어떤 인터페이스를 제공해야할까?
Operating system - Concurrency
앞에서는 virtualization과 같은 것을 배웠다. 이번 장에서는 프로세스를 위한 새로운 개념인 thread에 대해 배울 것이다. 프로그램이 한 순간에 하나의 명령어만 실행하는 고전적인 관점에서 벗어나 멀티 쓰레드 프로그램은 하나 이상의 명령을 실행하게 한다. 쓰레드는 주...
Lock
Operating system - Locks
앞에서 락에 대해 간단히 다뤘는데 이번 장에서는 조금 더 자세히 다뤄볼 것이다. 락은 동시성 프로그래밍을 할때 쓰레드에서 발생하는 공유자원에 여러 스레드가 동시에 접근 하는 문제를 해결하는 방법이다. Concurrency에서 명령을 atomically하게 수행하고 싶지만 프로세...
Operating system - Thread API
Thread API의 주요 부분들을 간략하게 다뤄볼 것이다. 운영체제가 쓰레드를 생성하고 제어하는데 어떤 인터페이스를 제공해야할까?
CNN
ML - Lecture 20: Convolutional Neural Networks
시대가 점점 지나고 점점 neural network가 발전하게 되면서 deep learning의 중요성은 늘어나고 있다. 그중 특히 vision쪽에서의 유용함이 크다.
Power Efficiency
CA - chapter 1 Computer Abstraction and Technology
우선 컴퓨터 구조를 시작하기 전에 비트수의 단위에 대한 표를 하나만 보겠다.
RISC-V
CA - chapter 4 The Processor - Datapath and Control
앞에서는 성능과 명령어에 대하여 알아보았다. 이번 장에서는 하드웨어가 어떤식으로 구조가 돼있는지에 대해 배울 예정이다.
CA - chapter 2 Instructions: Language of the Computer
하드웨어가 알아들을수 있는 컴퓨터 언어를 명령어(instruction)이라고 한다. 이번 장에서는 RISC-V의 명령어에 대하여 알아볼 것이다.
FPGA
Back to top ↑Zynq
Back to top ↑Verilog
Back to top ↑Memory Hierarchy
CA - chapter 5 Large and Fast: Exploiting Memory Hierarchy
이제 우리는 전체적인 CPU의 구조에 대해 이해할 수 있게 됐다. 그런데 우리가 자세히 다루지 않고 계속 사용하던 것이 있다. 바로 memory이다. gate나 mux등을 통해 많은 것을 만들 수 있지만 저장공간에 대한것은 아무 설명 없이 그냥 사용했다. 이번 장에는 이 memor...
Bit-Serial
Sparse Attention
TPU
LLM
BCQ-Binary Coded Quantization
BCQ가 필요한 이유와 양자화·LUT 구현 원리를 정리하고, ShiftAddLLM·AnyBCQ·LUT-GEMM·FIGLUT가 같은 표현을 어떻게 서로 다른 가속 전략으로 연결하는지 비교한다.
BitMoD
Nonlinear Systems
Phase Plane, Critical Points and Stability
위상평면과 임계점 및 안정성
Ordinary Differential Equation (ODE)
1계 미분방정식의 기초
Circuit Analysis
Linear System
연립선형미분방정식은 처음 보면 식이 갑자기 여러 개가 한꺼번에 묶여 나와서 좀 부담스럽다.
Fourier
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
DSP
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
CV
CV
Name: SeokChan Jeong +82 10-9027-0282 coolstone@yonsei.ac.kr
Supervised Learning
ML - Lecture 1: Introduction
◼︎ Meta Meta의 뜻? -> 무엇에 관한 무엇 Meta-learning: 학습에 관한 학습 Meta-data: 데이터에 대한 데이터 Meta-recognition: 무엇을 알고 있는지 인지
Statistics
ML - Lecture 2: Point estimation
◼︎ Estimators
Parameter Estimation
ML - Lecture 2: Point estimation
◼︎ Estimators
PAC Learning
ML - Lecture 2: Point estimation
◼︎ Estimators
Linear Regression
ML - Lecture 3: Linear regression part 1
◼︎ Linear regression
Persistence
Operating sysetem - Introduction
◼︎ 들어가기 전에 운영체제에 대해 공부할 때 크게 3가지의 중요한 내용을 나눠서 공부하게 된다. 그 3개는 다음과 같다.
Process API
Operating sysetem - Virtualization_processes
◼︎ Process
Context Switch
Operating sysetem - Direct execution
◼︎ Limited Direct Execution (제한적 직접 실행 원리)
Round Robin
Operating sysetem - CPU_scheduling
◼︎ 워크로드에 대한 가정
Generalization
ML - Lecture 4: Linear regression part 2
◼︎ Assessing performance
Bias-Variance Tradeoff
ML - Lecture 4: Linear regression part 2
◼︎ Assessing performance
MLFQ
Operating sysetem - MLFQ
◼︎ MLFQ
Lottery Scheduling
Operating sysetem - MLFQ
◼︎ MLFQ
Address Space
Operating sysetem - Address space
가상 메모리를 이해하기 위해서는 사용자 프로그램이 생성하는 모든 주소는 가상주소라는 것부터 시작해야한다. 프로세스가 자신만의 커다란 전용 메모리를 가진다는 환상을 제공하는 것이다. 운영체제는 각 프로세스에게 코드와 데이터를 저장할 수 있는 대용량의 연속된 주소 공간(addres...
MAP
ML - Lecture 5: Ridge regression
앞의 lecture에서 complexity가 많아지면 overfitting될 수 있다고 하였다. 특히 overfitting에 영향을 크게 주는 parameter는 $\hat{w}$이다. $\hat{w}$가 너무 크면 필연적으로 overfitting해져버린다. 이러한 overfi...
Cross Validation
ML - Lecture 7: Regularized regression
◼︎ Geometric intuition for ridge regression
Memory Protection
Operating sysetem - Address translation
CPU를 가상화 할 때 우리는 LDE(Limited Direct Execution)을 사용한다는 것을 알았다. 그런데 메모리 또한 비슷한 방식을 이용한다. 우리가 다룰 기법은 하드웨어-기반 주소 변환(hardware-based address translation) 혹은 주소 변...
Cross Entropy
ML - Lecture 8: Linear classifier - Logistic regression
이제 좀 다른 이야기를 해 볼것이다. 방금 전까지 우리는 연속적인(continuous)한 output에 대해 다뤘는데 이제는 불연속(discrete)한 output인 경우에 대해 알아볼 것이다. Classifier라는 것을 다룰 것인데 이것은 logistic regression...
Softmax
ML - Lecture 8: Linear classifier - Logistic regression
이제 좀 다른 이야기를 해 볼것이다. 방금 전까지 우리는 연속적인(continuous)한 output에 대해 다뤘는데 이제는 불연속(discrete)한 output인 경우에 대해 알아볼 것이다. Classifier라는 것을 다룰 것인데 이것은 logistic regression...
Online Learning
ML - Lecture 10: Linear classifier - scaling up learning via SGD
◼︎ Stochastic gradient descent: Learning, one data point at a time
Decision Tree
ML - Lecture 11: Decision tree
Decision tree도 classification에 속하는 supervised learning이다. 하지만 조금 다른 특성이 있다. 이걸 이해하기 위해서는 우선 parametric과 nonparametric model의 차이를 알아야 한다.
Segmentation
Operating system - Segmentation
지금 우리가 배운건 베이스와 바운드 레지스터를 이용해 주소 공간 전체를 메모리에 탑재한다. 이 방식은 스택과 힙 사이의 공간이 사용되지 않더라도 물리 메모리를 차지하고 있다. 그렇기 때문에 메모리 낭비 (wasteful) 가 심하다. 그리고 주소 공간이 물리 메모리보다 클 때 ...
Fragmentation
Operating system - Segmentation
지금 우리가 배운건 베이스와 바운드 레지스터를 이용해 주소 공간 전체를 메모리에 탑재한다. 이 방식은 스택과 힙 사이의 공간이 사용되지 않더라도 물리 메모리를 차지하고 있다. 그렇기 때문에 메모리 낭비 (wasteful) 가 심하다. 그리고 주소 공간이 물리 메모리보다 클 때 ...
Ensemble Learning
ML - Lecture 12: Ensemble learning
우리가 앞에서 구한 classifier들은 꽤나 좋은 성능을 보여줬다. Variance가 낮고 빠르게 learning을 하는 장점이 있었다. 하지만 bias가 높게나온다는 단점이 있다. 왜냐하면 우리가 true error를 줄이기 위해 weak(simple) classifier를 ...
Bagging
ML - Lecture 12: Ensemble learning
우리가 앞에서 구한 classifier들은 꽤나 좋은 성능을 보여줬다. Variance가 낮고 빠르게 learning을 하는 장점이 있었다. 하지만 bias가 높게나온다는 단점이 있다. 왜냐하면 우리가 true error를 줄이기 위해 weak(simple) classifier를 ...
Random Forest
ML - Lecture 12: Ensemble learning
우리가 앞에서 구한 classifier들은 꽤나 좋은 성능을 보여줬다. Variance가 낮고 빠르게 learning을 하는 장점이 있었다. 하지만 bias가 높게나온다는 단점이 있다. 왜냐하면 우리가 true error를 줄이기 위해 weak(simple) classifier를 ...
Boosting
ML - Lecture 12: Ensemble learning
우리가 앞에서 구한 classifier들은 꽤나 좋은 성능을 보여줬다. Variance가 낮고 빠르게 learning을 하는 장점이 있었다. 하지만 bias가 높게나온다는 단점이 있다. 왜냐하면 우리가 true error를 줄이기 위해 weak(simple) classifier를 ...
AdaBoost
ML - Lecture 12: Ensemble learning
우리가 앞에서 구한 classifier들은 꽤나 좋은 성능을 보여줬다. Variance가 낮고 빠르게 learning을 하는 장점이 있었다. 하지만 bias가 높게나온다는 단점이 있다. 왜냐하면 우리가 true error를 줄이기 위해 weak(simple) classifier를 ...
Page Table
Operating system - Paging
앞에서 보았듯 공간을 다양한 크기의 청크로 분할하면 공간이 fragmented되게 된다. 그래서 동일 크기의 조각으로 분할하는 방법을 생각해볼 수 있다. 이를 paging이라고 한다. 고정 크기의 단위를 page라고 하고 이에 대응되는 물리 메모리를 page frame이라고 한...
Precision
ML - Lecture 13: Evaluating classifiers: Precision & Recall
지금까지 우리는 classifier에 대하여 배우면서 어떤 얼마나 좋은지 나쁜지 이런거에 대해 분류를 했었다. 그런데 과연 이 classifier가 정확한지 안한지는 어떻게 알 수 있을까? 정확하기만 한 classifier는 항상 믿을 수 있는 것일까? 이러한 이유로 다양한 eva...
Recall
ML - Lecture 13: Evaluating classifiers: Precision & Recall
지금까지 우리는 classifier에 대하여 배우면서 어떤 얼마나 좋은지 나쁜지 이런거에 대해 분류를 했었다. 그런데 과연 이 classifier가 정확한지 안한지는 어떻게 알 수 있을까? 정확하기만 한 classifier는 항상 믿을 수 있는 것일까? 이러한 이유로 다양한 eva...
TLB
Operating system - Translation Lookaside Buffer
앞에서 말했듯 paging은 상당한 성능 저하를 가져올 수도 있다. 모든 load/store 명령어 실행이 계속 반복해서 일어나는 것이다. 그래서 이 주소 변환 속도를 향상시키기 위한 방법을 도입하게 된다. 이는 Translatiion-Lookaside Buffer(TLB)라고...
I/O
Operating system - I/O Devices
영속성을 설명하기에 앞서 입력/출력 장치의 개념을 소개할 것이다. I/O device는 컴퓨터 시스템을 유용하기 쓰기 위해서는 필요하다. 그러면 시스템에과 I/O를 어떻게 합쳐야 할까?
DMA
Operating system - I/O Devices
영속성을 설명하기에 앞서 입력/출력 장치의 개념을 소개할 것이다. I/O device는 컴퓨터 시스템을 유용하기 쓰기 위해서는 필요하다. 그러면 시스템에과 I/O를 어떻게 합쳐야 할까?
Device Driver
Operating system - I/O Devices
영속성을 설명하기에 앞서 입력/출력 장치의 개념을 소개할 것이다. I/O device는 컴퓨터 시스템을 유용하기 쓰기 위해서는 필요하다. 그러면 시스템에과 I/O를 어떻게 합쳐야 할까?
KNN
ML - Lecture 14: Instance-Based Learning
이번 장에서는 Nearest neighbor, kernel regression, 그리고 이를 이용하는 classification에 대해 다룰 것이다. 지금까지 우리는 선형적이고 항수가 하나로 나타나는 그러한 것들만 봤다.
Instance-Based Learning
ML - Lecture 14: Instance-Based Learning
이번 장에서는 Nearest neighbor, kernel regression, 그리고 이를 이용하는 classification에 대해 다룰 것이다. 지금까지 우리는 선형적이고 항수가 하나로 나타나는 그러한 것들만 봤다.
Kernel Regression
ML - Lecture 14: Instance-Based Learning
이번 장에서는 Nearest neighbor, kernel regression, 그리고 이를 이용하는 classification에 대해 다룰 것이다. 지금까지 우리는 선형적이고 항수가 하나로 나타나는 그러한 것들만 봤다.
Unsupervised Learning
ML - Lecture 15: Clustering
일단 clustering(군집화)이 뭘까? Clustering은 유사성이나 같은 패턴을 가지는 객체들을 그룹으로 묶는 것이라고 생각하면 된다. 앞에서 배운 classification이나 그런 분류와 뭐가 다르냐는 생각일 들 것이다. 크게 차이나는 부분은 clustering은 uns...
Clustering
ML - Lecture 15: Clustering
일단 clustering(군집화)이 뭘까? Clustering은 유사성이나 같은 패턴을 가지는 객체들을 그룹으로 묶는 것이라고 생각하면 된다. 앞에서 배운 classification이나 그런 분류와 뭐가 다르냐는 생각일 들 것이다. 크게 차이나는 부분은 clustering은 uns...
K-Means
ML - Lecture 15: Clustering
일단 clustering(군집화)이 뭘까? Clustering은 유사성이나 같은 패턴을 가지는 객체들을 그룹으로 묶는 것이라고 생각하면 된다. 앞에서 배운 classification이나 그런 분류와 뭐가 다르냐는 생각일 들 것이다. 크게 차이나는 부분은 clustering은 uns...
File System
Operating system - File system
vsfs(Very Simple File System)에 대해 배울 것이다. 파일 시스템은 순수한 소프트웨어로 CPU 가상화나 메모리 가상화랑은 다른다. 그때는 kernel mode가 필요했지만 vsfs는 그렇지 않다. 우선 파일 시스템은 두가지 측면이 있다. Data st...
Inode
Operating system - File system
vsfs(Very Simple File System)에 대해 배울 것이다. 파일 시스템은 순수한 소프트웨어로 CPU 가상화나 메모리 가상화랑은 다른다. 그때는 kernel mode가 필요했지만 vsfs는 그렇지 않다. 우선 파일 시스템은 두가지 측면이 있다. Data st...
Dimensionality Reduction
ML - Lecture 16: Dimension reduction
앞에서 공부를 하면서 느꼈을 것인데 dimension이 크고 그러면 힘들다고 배웠다. 근데 정확히 왜 그런 것일까? 이번 장에서는 그 정확한 이유에 대해 알아보고 PCA와 LDA라는 방법을 통해 dimension을 줄여보는 것을 해 보겠다.
PCA
ML - Lecture 16: Dimension reduction
앞에서 공부를 하면서 느꼈을 것인데 dimension이 크고 그러면 힘들다고 배웠다. 근데 정확히 왜 그런 것일까? 이번 장에서는 그 정확한 이유에 대해 알아보고 PCA와 LDA라는 방법을 통해 dimension을 줄여보는 것을 해 보겠다.
LDA
ML - Lecture 16: Dimension reduction
앞에서 공부를 하면서 느꼈을 것인데 dimension이 크고 그러면 힘들다고 배웠다. 근데 정확히 왜 그런 것일까? 이번 장에서는 그 정확한 이유에 대해 알아보고 PCA와 LDA라는 방법을 통해 dimension을 줄여보는 것을 해 보겠다.
SSD
Operating system - FlashSSD
저장장치로 유명한 SSD에 대해 다뤄볼 것이다. 지금 기준으로 제일 빠르다는게 하이닉스 p51이라던데…. 일단 SSD는 전원이 꺼지더라도 데이터를 유지하기 때문에 HDD대신 쓰인다. 이는 Flash(NAND 기반 Flash)에서 시작되는데 어떤 데이터를 쓸 때 해당 데이터가...
Flash Memory
Operating system - FlashSSD
저장장치로 유명한 SSD에 대해 다뤄볼 것이다. 지금 기준으로 제일 빠르다는게 하이닉스 p51이라던데…. 일단 SSD는 전원이 꺼지더라도 데이터를 유지하기 때문에 HDD대신 쓰인다. 이는 Flash(NAND 기반 Flash)에서 시작되는데 어떤 데이터를 쓸 때 해당 데이터가...
FTL
Operating system - FlashSSD
저장장치로 유명한 SSD에 대해 다뤄볼 것이다. 지금 기준으로 제일 빠르다는게 하이닉스 p51이라던데…. 일단 SSD는 전원이 꺼지더라도 데이터를 유지하기 때문에 HDD대신 쓰인다. 이는 Flash(NAND 기반 Flash)에서 시작되는데 어떤 데이터를 쓸 때 해당 데이터가...
Garbage Collection
Operating system - FlashSSD
저장장치로 유명한 SSD에 대해 다뤄볼 것이다. 지금 기준으로 제일 빠르다는게 하이닉스 p51이라던데…. 일단 SSD는 전원이 꺼지더라도 데이터를 유지하기 때문에 HDD대신 쓰인다. 이는 Flash(NAND 기반 Flash)에서 시작되는데 어떤 데이터를 쓸 때 해당 데이터가...
MLP
ML - Lecture 17: Neural Networks part1
이제 그 유명한 neural network에 대해 다루어 볼 것이다. 이번 장에서의 목표는 classifier를 좀더 복잡하고 non-linear한 feature를 사용하는 것이다. Linear한 model은 만들기가 쉽지만 실제로는 잘 적용이 안된다는 단점이 있다. 그래서 pol...
Race Condition
Operating system - Concurrency
앞에서는 virtualization과 같은 것을 배웠다. 이번 장에서는 프로세스를 위한 새로운 개념인 thread에 대해 배울 것이다. 프로그램이 한 순간에 하나의 명령어만 실행하는 고전적인 관점에서 벗어나 멀티 쓰레드 프로그램은 하나 이상의 명령을 실행하게 한다. 쓰레드는 주...
Backpropagation
ML - Lecture 18: Neural Networks part2
앞에서는 neural network가 무엇인지에 대해 배웠다. 이번에는 앞에서 언급한 back propagation을 해볼 것이다.
Vectorization
ML - Lecture 18: Neural Networks part2
앞에서는 neural network가 무엇인지에 대해 배웠다. 이번에는 앞에서 언급한 back propagation을 해볼 것이다.
Pthreads
Operating system - Thread API
Thread API의 주요 부분들을 간략하게 다뤄볼 것이다. 운영체제가 쓰레드를 생성하고 제어하는데 어떤 인터페이스를 제공해야할까?
Condition Variable
Operating system - Thread API
Thread API의 주요 부분들을 간략하게 다뤄볼 것이다. 운영체제가 쓰레드를 생성하고 제어하는데 어떤 인터페이스를 제공해야할까?
Dropout
ML - Lecture 19: Neural Networks part3
이제 이 neural network를 실제로 어떻게 써야할지에 대해 다뤄보자.
Activation Functions
ML - Lecture 19: Neural Networks part3
이제 이 neural network를 실제로 어떻게 써야할지에 대해 다뤄보자.
Spinlock
Operating system - Locks
앞에서 락에 대해 간단히 다뤘는데 이번 장에서는 조금 더 자세히 다뤄볼 것이다. 락은 동시성 프로그래밍을 할때 쓰레드에서 발생하는 공유자원에 여러 스레드가 동시에 접근 하는 문제를 해결하는 방법이다. Concurrency에서 명령을 atomically하게 수행하고 싶지만 프로세...
Atomic Operation
Operating system - Locks
앞에서 락에 대해 간단히 다뤘는데 이번 장에서는 조금 더 자세히 다뤄볼 것이다. 락은 동시성 프로그래밍을 할때 쓰레드에서 발생하는 공유자원에 여러 스레드가 동시에 접근 하는 문제를 해결하는 방법이다. Concurrency에서 명령을 atomically하게 수행하고 싶지만 프로세...
Pooling
ML - Lecture 20: Convolutional Neural Networks
시대가 점점 지나고 점점 neural network가 발전하게 되면서 deep learning의 중요성은 늘어나고 있다. 그중 특히 vision쪽에서의 유용함이 크다.
Computer Vision
ML - Lecture 20: Convolutional Neural Networks
시대가 점점 지나고 점점 neural network가 발전하게 되면서 deep learning의 중요성은 늘어나고 있다. 그중 특히 vision쪽에서의 유용함이 크다.
CPU Performance
CA - chapter 1 Computer Abstraction and Technology
우선 컴퓨터 구조를 시작하기 전에 비트수의 단위에 대한 표를 하나만 보겠다.
Parallelism
CA - chapter 1 Computer Abstraction and Technology
우선 컴퓨터 구조를 시작하기 전에 비트수의 단위에 대한 표를 하나만 보겠다.
ISA
CA - chapter 2 Instructions: Language of the Computer
하드웨어가 알아들을수 있는 컴퓨터 언어를 명령어(instruction)이라고 한다. 이번 장에서는 RISC-V의 명령어에 대하여 알아볼 것이다.
Assembly
CA - chapter 2 Instructions: Language of the Computer
하드웨어가 알아들을수 있는 컴퓨터 언어를 명령어(instruction)이라고 한다. 이번 장에서는 RISC-V의 명령어에 대하여 알아볼 것이다.
Addressing Mode
CA - chapter 2 Instructions: Language of the Computer
하드웨어가 알아들을수 있는 컴퓨터 언어를 명령어(instruction)이라고 한다. 이번 장에서는 RISC-V의 명령어에 대하여 알아볼 것이다.
Computer Arithmetic
CA - chapter 3 Arithmetic for Computers
이번장에서는 컴퓨터가 계산하는 방식에 대해 볼것이다. Addition, subtraction, multiplication, overflow에 대해 다뤄볼 것이다. Division이나 floating point같은 것도 있긴 하지만 교수님은 이부분을 크게 다루시지 않아서 넘기겠다.
ALU
CA - chapter 3 Arithmetic for Computers
이번장에서는 컴퓨터가 계산하는 방식에 대해 볼것이다. Addition, subtraction, multiplication, overflow에 대해 다뤄볼 것이다. Division이나 floating point같은 것도 있긴 하지만 교수님은 이부분을 크게 다루시지 않아서 넘기겠다.
Binary Arithmetic
CA - chapter 3 Arithmetic for Computers
이번장에서는 컴퓨터가 계산하는 방식에 대해 볼것이다. Addition, subtraction, multiplication, overflow에 대해 다뤄볼 것이다. Division이나 floating point같은 것도 있긴 하지만 교수님은 이부분을 크게 다루시지 않아서 넘기겠다.
Multiplier
CA - chapter 3 Arithmetic for Computers
이번장에서는 컴퓨터가 계산하는 방식에 대해 볼것이다. Addition, subtraction, multiplication, overflow에 대해 다뤄볼 것이다. Division이나 floating point같은 것도 있긴 하지만 교수님은 이부분을 크게 다루시지 않아서 넘기겠다.
Datapath
CA - chapter 4 The Processor - Datapath and Control
앞에서는 성능과 명령어에 대하여 알아보았다. 이번 장에서는 하드웨어가 어떤식으로 구조가 돼있는지에 대해 배울 예정이다.
Control Unit
CA - chapter 4 The Processor - Datapath and Control
앞에서는 성능과 명령어에 대하여 알아보았다. 이번 장에서는 하드웨어가 어떤식으로 구조가 돼있는지에 대해 배울 예정이다.
Pipelining
CA - chapter 4 The Processor - Datapath and Control
앞에서는 성능과 명령어에 대하여 알아보았다. 이번 장에서는 하드웨어가 어떤식으로 구조가 돼있는지에 대해 배울 예정이다.
Pipeline Hazard
CA - chapter 4 The Processor - Datapath and Control
앞에서는 성능과 명령어에 대하여 알아보았다. 이번 장에서는 하드웨어가 어떤식으로 구조가 돼있는지에 대해 배울 예정이다.
Embedded Systems
Back to top ↑Vivado
Back to top ↑SoC
Back to top ↑Locality
CA - chapter 5 Large and Fast: Exploiting Memory Hierarchy
이제 우리는 전체적인 CPU의 구조에 대해 이해할 수 있게 됐다. 그런데 우리가 자세히 다루지 않고 계속 사용하던 것이 있다. 바로 memory이다. gate나 mux등을 통해 많은 것을 만들 수 있지만 저장공간에 대한것은 아무 설명 없이 그냥 사용했다. 이번 장에는 이 memor...
Sparsity
Back to top ↑Laconic
Back to top ↑Near-Memory Processing
Back to top ↑Memory Bandwidth
Back to top ↑Embedding
Back to top ↑Recommender Systems
Back to top ↑TensorDIMM
Back to top ↑Transformer
SpAtten
Sanger
Initial Value Problem
Ordinary Differential Equation (ODE)
1계 미분방정식의 기초
Integrating Factor
Ordinary Differential Equation (ODE)
1계 미분방정식의 기초
RLC Circuit
Higher-Order ODE
고계 미분방정식을 배우는 이유
Resonance
Higher-Order ODE
고계 미분방정식을 배우는 이유
Damping
Higher-Order ODE
고계 미분방정식을 배우는 이유
Laplace Transform
Back to top ↑Transfer Function
Back to top ↑Power Series
Power Series Solution
고계 미분방정식에서는 상수계수 미분방정식의 해를 지수함수로 찾았다. 라플라스 변환에서는 시간 미분을 $s$에 대한 곱셈으로 바꾸어 초기값 문제를 대수적으로 풀었다.
Frobenius Method
Power Series Solution
고계 미분방정식에서는 상수계수 미분방정식의 해를 지수함수로 찾았다. 라플라스 변환에서는 시간 미분을 $s$에 대한 곱셈으로 바꾸어 초기값 문제를 대수적으로 풀었다.
Legendre Polynomials
Power Series Solution
고계 미분방정식에서는 상수계수 미분방정식의 해를 지수함수로 찾았다. 라플라스 변환에서는 시간 미분을 $s$에 대한 곱셈으로 바꾸어 초기값 문제를 대수적으로 풀었다.
Bessel Functions
Power Series Solution
고계 미분방정식에서는 상수계수 미분방정식의 해를 지수함수로 찾았다. 라플라스 변환에서는 시간 미분을 $s$에 대한 곱셈으로 바꾸어 초기값 문제를 대수적으로 풀었다.
Waveguide
Power Series Solution
고계 미분방정식에서는 상수계수 미분방정식의 해를 지수함수로 찾았다. 라플라스 변환에서는 시간 미분을 $s$에 대한 곱셈으로 바꾸어 초기값 문제를 대수적으로 풀었다.
Vector Calculus
Vector and Vector Calculus
공업수학에서 벡터와 행렬은 여러 개의 값과 상태를 한꺼번에 다루는 언어이고, 벡터 미적분학은 공간에 분포한 전기장·자기장처럼 위치에 따라 변하는 양을 다루는 언어이다.
Maxwell Equations
Vector and Vector Calculus
공업수학에서 벡터와 행렬은 여러 개의 값과 상태를 한꺼번에 다루는 언어이고, 벡터 미적분학은 공간에 분포한 전기장·자기장처럼 위치에 따라 변하는 양을 다루는 언어이다.
Matrix Exponential
Linear System
연립선형미분방정식은 처음 보면 식이 갑자기 여러 개가 한꺼번에 묶여 나와서 좀 부담스럽다.
State Space
Linear System
연립선형미분방정식은 처음 보면 식이 갑자기 여러 개가 한꺼번에 묶여 나와서 좀 부담스럽다.
Phase Plane
Phase Plane, Critical Points and Stability
위상평면과 임계점 및 안정성
Stability
Phase Plane, Critical Points and Stability
위상평면과 임계점 및 안정성
Linearization
Phase Plane, Critical Points and Stability
위상평면과 임계점 및 안정성
Orthogonal Functions
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
Communication
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
OFDM
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
Complex Analysis
Orthogonal Functions, Fourier Analysis and Communication
복잡한 신호를 여러 기본 파형으로 분해하면 무엇이 좋아질까? 어떤 필터가 신호의 어느 부분을 없애는지, 서로 겹쳐 보이는 통신 신호를 어떻게 분리하는지, 샘플링이 왜 원래 신호를 잃게 만들 수 있는지를 계산할 수 있다. 푸리에 해석은 이 질문들에 공통으로 사용하는 언어이다.
Sampling
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
Z Transform
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
FFT
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
Digital Filter
Signals and Systems & Digital Signal Processing
신호와 시스템 · 디지털 신호처리
LeNet
Back to top ↑BCQ
BCQ-Binary Coded Quantization
BCQ가 필요한 이유와 양자화·LUT 구현 원리를 정리하고, ShiftAddLLM·AnyBCQ·LUT-GEMM·FIGLUT가 같은 표현을 어떻게 서로 다른 가속 전략으로 연결하는지 비교한다.
ShiftAddLLM
BCQ-Binary Coded Quantization
BCQ가 필요한 이유와 양자화·LUT 구현 원리를 정리하고, ShiftAddLLM·AnyBCQ·LUT-GEMM·FIGLUT가 같은 표현을 어떻게 서로 다른 가속 전략으로 연결하는지 비교한다.
AnyBCQ
BCQ-Binary Coded Quantization
BCQ가 필요한 이유와 양자화·LUT 구현 원리를 정리하고, ShiftAddLLM·AnyBCQ·LUT-GEMM·FIGLUT가 같은 표현을 어떻게 서로 다른 가속 전략으로 연결하는지 비교한다.
LUT-GEMM
BCQ-Binary Coded Quantization
BCQ가 필요한 이유와 양자화·LUT 구현 원리를 정리하고, ShiftAddLLM·AnyBCQ·LUT-GEMM·FIGLUT가 같은 표현을 어떻게 서로 다른 가속 전략으로 연결하는지 비교한다.
FIGLUT
BCQ-Binary Coded Quantization
BCQ가 필요한 이유와 양자화·LUT 구현 원리를 정리하고, ShiftAddLLM·AnyBCQ·LUT-GEMM·FIGLUT가 같은 표현을 어떻게 서로 다른 가속 전략으로 연결하는지 비교한다.