๐ง 1. LSTM์ด๋?
LSTM์ **RNN (Recurrent Neural Network)**์ ํ ์ข ๋ฅ๋ก, **์์๊ฐ ์๋ ๋ฐ์ดํฐ(์ํ์ค)**๋ฅผ ์ ์ฒ๋ฆฌํ๋ ๋ฅ๋ฌ๋ ๊ตฌ์กฐ์ ๋๋ค.
๐ ํต์ฌ ๋ชฉ์ :
๊ณผ๊ฑฐ์ ์ค์ํ ์ ๋ณด๋ฅผ ์ค๋ ๊ธฐ์ตํ๊ณ , ํ์ ์๋ ์ ๋ณด๋ ์์ ์ ์๋๋ก ์ค๊ณ๋ ์ ๊ฒฝ๋ง
๐งฉ 2. ์ LSTM์ด ํ์ํ ๊น?
๐ ๊ธฐ์กด RNN์ ๋ฌธ์ : “์ฅ๊ธฐ ๊ธฐ์ต ๋ถ์กฑ”
- RNN์ ์ด์ ์ ๋ณด๋ฅผ ๋ค์์ผ๋ก ๋๊ฒจ์ฃผ๋ ์ํ ๊ตฌ์กฐ์ง๋ง,
- ๋ฌธ์ฅ์ด ๊ธธ์ด์ง๋ฉด ์ด๊ธฐ ์ ๋ณด๊ฐ ๋ค๋ก ๊ฐ์๋ก ์ฌ๋ผ์ง (gradient vanishing ๋ฌธ์ )
๐ ๋น์ : ์งง์ ๋ฉ๋ชจ๋ ๊ธฐ์ต ์ํ๋๋ฐ, 10๋ถ์ง๋ฆฌ ๊ฐ์ ๋ด์ฉ์ ๋ค ๊ธฐ์ตํ๋ผ๊ณ ํ๋ฉด ์๋ถ๋ถ์ ์๋ ๊ฒ๊ณผ ๊ฐ์์.
โ LSTM์ ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๊ณ ์
- ๊ธฐ์ตํ ๊ฑด ๊ธฐ์ตํ๊ณ , ์์ ๊ฑด ์๋ ๊ตฌ์กฐ๋ฅผ ์ค์ค๋ก ๊ฒฐ์ ํ ์ ์์!
โ๏ธ 3. LSTM์ ๊ตฌ์กฐ – 3๊ฐ์ง ๋ฌธ(๊ฒ์ดํธ)
LSTM์ ํต์ฌ์ ๋ด๋ถ์ **“๊ฒ์ดํธ(gate)”**๋ผ๋ ์ฅ์น๋ค์ ๋๋ค. ๊ฐ ๊ฒ์ดํธ๋ 0~1 ์ฌ์ด ๊ฐ์ ๊ณ์ฐํด์ ์ ๋ณด๋ฅผ ์ผ๋ง๋ ํต๊ณผ์ํฌ์ง๋ฅผ ์กฐ์ ํฉ๋๋ค.
โ Forget Gate (์๊ธฐ ๊ฒ์ดํธ)

- ๋ฌด์์ ์์์ง ๊ฒฐ์
- ์: "์ด ๋จ์ด๋ ์ค์ํ์ง ์์ผ๋ ๊ธฐ์ต์์ ์ง์ฐ์"
โก Input Gate (์ ๋ ฅ ๊ฒ์ดํธ)
- ์๋ก์ด ์ ๋ณด๋ฅผ ์ผ๋ง๋ ๊ธฐ์ตํ ์ง ๊ฒฐ์
- ์: "์๋ก์ด ๋จ์ด๋ฅผ ์ผ๋ง๋งํผ ๊ธฐ์ตํด์ผ ํ ๊น?"
โข Output Gate (์ถ๋ ฅ ๊ฒ์ดํธ)
- ๋ค์ ๋จ๊ณ๋ก ์ด๋ค ์ ๋ณด๋ฅผ ๋ณด๋ผ์ง ๊ฒฐ์
- ์: "์ง๊ธ ๋งํ ๋ ์ด๋ค ์ ๋ณด๋ง ๋ด๋ณด๋ด์ผ ํ ๊น?"
๐ ์ด 3๊ฐ์ง ๊ฒ์ดํธ๊ฐ ํจ๊ป ์๋ํ์ฌ **๊ธฐ์ต ์ (cell state)**์ ์ ์งํ๊ณ ์กฐ์ ํฉ๋๋ค.
๐ 4. ์๋ ํ๋ฆ ์์ฝ
- ์ ๋ ฅ ๋จ์ด์ ์ด์ ์ํ๋ฅผ ๋ณด๊ณ → ์ด๋ค ์ ๋ณด๋ฅผ ๋ฒ๋ฆด์ง(F) ๊ฒฐ์
- ์ด๋ค ์ ๋ณด๋ฅผ ์๋ก ์ ์ฅํ ์ง(I), ์ผ๋ง๋ ๊ธฐ์ตํ ์ง(C) ๊ฒฐ์
- ๋ค์ ๋จ๊ณ๋ก ๋ด๋ณด๋ผ ์ ๋ณด(O)๋ฅผ ๊ฒฐ์
๐ ๋ฌธ์ฅ์ ์์๋๋ก ์ฒ๋ฆฌํ๋ฉด์, "์ด๊ฑด ์ค์ํ ๋จ์ด๋๊น ๊ธฐ์ตํ๊ณ , ์ด๊ฑด ๋ณ๋ก๋๊น ๋ฌด์ํ์" ์์ผ๋ก ์ค์ค๋ก ํ๋จํฉ๋๋ค.
๐ 5. ์์: LSTM์ผ๋ก ๋ฌธ์ฅ ์ดํดํ๊ธฐ
๋ฌธ์ฅ: "๋๋ ์ด์ ๋น๊ฐ ์๊ธฐ ๋๋ฌธ์ ์ฐ์ฐ์ ์ฑ๊ฒผ๋ค."
- ์ผ๋ฐ RNN์ "์ฐ์ฐ"์ ์ถ๋ ฅํ ๋ “๋น”์์ ๊ด๊ณ๋ฅผ ์์์ ์ ์์.
- LSTM์ "๋น๊ฐ ์๋ค"๋ ์ค์ํ ์ ๋ณด๋ฅผ ๊ธฐ์ตํด์, "์ฐ์ฐ"์ด๋ผ๋ ๋จ์ด๋ฅผ ์์ธกํ๋ ๋ฐ ํ์ฉํ ์ ์์.
๐ง 6. ์์ฝ ํ
| ํญ๋ชฉ | ์ค๋ช |
| ๊ตฌ์กฐ | ์ํ ์ ๊ฒฝ๋ง์ ์ผ์ข (RNN์ ํ์ฅ) |
| ํต์ฌ ๊ธฐ๋ฅ | ์ค์ํ ์ ๋ณด๋ ์ค๋ ๊ธฐ์ต, ๋ถํ์ํ ์ ๋ณด๋ ์์ |
| ๊ตฌ์ฑ ์์ | Forget, Input, Output ๊ฒ์ดํธ + ์ ์ํ |
| ์ฅ์ | ๊ธด ๋ฌธ์ฅ, ๋ณต์กํ ๋ฌธ๋งฅ๋ ์ ์ดํด ๊ฐ๋ฅ |
| ๋ํ ํ์ฉ ๋ถ์ผ | ๊ธฐ๊ณ ๋ฒ์ญ, ์์ฑ ์ธ์, ํ ์คํธ ์์ฑ ๋ฑ |
๐ ๋ง๋ฌด๋ฆฌ ์์ฝ
LSTM์ ๊ธฐ์ต๋ ฅ ์กฐ์ ๊ฐ๋ฅํ ๋๋ํ ์ํ์ค ์ฒ๋ฆฌ ๋ชจ๋ธ์ ๋๋ค.
ํนํ ๋ฌธ์ฅ, ์์ , ์ผ์ ๋ก๊ทธ ๋ฑ์์ ์๊ฐ์ ํ๋ฆ๊ณผ ๋ฌธ๋งฅ์ ๊ณ ๋ คํ ๋ถ์์ด ํ์ํ ๊ฒฝ์ฐ ๋งค์ฐ ์ ์ฉํฉ๋๋ค.
'์ธ๊ณต์ง๋ฅ' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
| ์ดํ ์ ์ ์ ํ 5๊ฐ์ง (0) | 2025.05.26 |
|---|---|
| seq2seq์ ์ดํ ์ ๋ฉ์ปค๋์ฆ์ ๊ฒฐํฉํ ๋ชจ๋ธ์ด ํธ๋์คํฌ๋จธ? (0) | 2025.05.26 |
| ์ดํ ์ ๋ฉ์ปค๋์ฆ๊ณผ Seq2Seq ๋ชจ๋ธ๊ณผ์ ๊ด๊ณ (0) | 2025.05.26 |
| ๐ง Seq2Seq ๋ชจ๋ธ์ด๋? (0) | 2025.05.23 |
| DNN, CNN, RNN ๋ชจ๋ธ ์ดํดํ๊ธฐ (3) | 2025.05.23 |