๐Ÿง  1. LSTM์ด๋ž€?

LSTM์€ **RNN (Recurrent Neural Network)**์˜ ํ•œ ์ข…๋ฅ˜๋กœ, **์ˆœ์„œ๊ฐ€ ์žˆ๋Š” ๋ฐ์ดํ„ฐ(์‹œํ€€์Šค)**๋ฅผ ์ž˜ ์ฒ˜๋ฆฌํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹ ๊ตฌ์กฐ์ž…๋‹ˆ๋‹ค.

๐Ÿ“Œ ํ•ต์‹ฌ ๋ชฉ์ :
๊ณผ๊ฑฐ์˜ ์ค‘์š”ํ•œ ์ •๋ณด๋ฅผ ์˜ค๋ž˜ ๊ธฐ์–ตํ•˜๊ณ , ํ•„์š” ์—†๋Š” ์ •๋ณด๋Š” ์žŠ์„ ์ˆ˜ ์žˆ๋„๋ก ์„ค๊ณ„๋œ ์‹ ๊ฒฝ๋ง




๐Ÿงฉ 2. ์™œ LSTM์ด ํ•„์š”ํ• ๊นŒ?

๐Ÿ” ๊ธฐ์กด RNN์˜ ๋ฌธ์ œ: “์žฅ๊ธฐ ๊ธฐ์–ต ๋ถ€์กฑ”

  • RNN์€ ์ด์ „ ์ •๋ณด๋ฅผ ๋‹ค์Œ์œผ๋กœ ๋„˜๊ฒจ์ฃผ๋Š” ์ˆœํ™˜ ๊ตฌ์กฐ์ง€๋งŒ,
  • ๋ฌธ์žฅ์ด ๊ธธ์–ด์ง€๋ฉด ์ดˆ๊ธฐ ์ •๋ณด๊ฐ€ ๋’ค๋กœ ๊ฐˆ์ˆ˜๋ก ์‚ฌ๋ผ์ง (gradient vanishing ๋ฌธ์ œ)

๐ŸŽ’ ๋น„์œ : ์งง์€ ๋ฉ”๋ชจ๋Š” ๊ธฐ์–ต ์ž˜ํ•˜๋Š”๋ฐ, 10๋ถ„์งœ๋ฆฌ ๊ฐ•์˜ ๋‚ด์šฉ์„ ๋‹ค ๊ธฐ์–ตํ•˜๋ผ๊ณ  ํ•˜๋ฉด ์•ž๋ถ€๋ถ„์„ ์žŠ๋Š” ๊ฒƒ๊ณผ ๊ฐ™์•„์š”.

โœ… LSTM์€ ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๊ณ ์•ˆ

  • ๊ธฐ์–ตํ•  ๊ฑด ๊ธฐ์–ตํ•˜๊ณ , ์žŠ์„ ๊ฑด ์žŠ๋Š” ๊ตฌ์กฐ๋ฅผ ์Šค์Šค๋กœ ๊ฒฐ์ •ํ•  ์ˆ˜ ์žˆ์Œ!

โš™๏ธ 3. LSTM์˜ ๊ตฌ์กฐ – 3๊ฐ€์ง€ ๋ฌธ(๊ฒŒ์ดํŠธ)

LSTM์˜ ํ•ต์‹ฌ์€ ๋‚ด๋ถ€์˜ **“๊ฒŒ์ดํŠธ(gate)”**๋ผ๋Š” ์žฅ์น˜๋“ค์ž…๋‹ˆ๋‹ค. ๊ฐ ๊ฒŒ์ดํŠธ๋Š” 0~1 ์‚ฌ์ด ๊ฐ’์„ ๊ณ„์‚ฐํ•ด์„œ ์ •๋ณด๋ฅผ ์–ผ๋งˆ๋‚˜ ํ†ต๊ณผ์‹œํ‚ฌ์ง€๋ฅผ ์กฐ์ ˆํ•ฉ๋‹ˆ๋‹ค.

โ‘  Forget Gate (์žŠ๊ธฐ ๊ฒŒ์ดํŠธ)

  • ๋ฌด์—‡์„ ์žŠ์„์ง€ ๊ฒฐ์ •
  • ์˜ˆ: "์ด ๋‹จ์–ด๋Š” ์ค‘์š”ํ•˜์ง€ ์•Š์œผ๋‹ˆ ๊ธฐ์–ต์—์„œ ์ง€์šฐ์ž"

โ‘ก Input Gate (์ž…๋ ฅ ๊ฒŒ์ดํŠธ)

  • ์ƒˆ๋กœ์šด ์ •๋ณด๋ฅผ ์–ผ๋งˆ๋‚˜ ๊ธฐ์–ตํ• ์ง€ ๊ฒฐ์ •
  • ์˜ˆ: "์ƒˆ๋กœ์šด ๋‹จ์–ด๋ฅผ ์–ผ๋งˆ๋งŒํผ ๊ธฐ์–ตํ•ด์•ผ ํ• ๊นŒ?"

โ‘ข Output Gate (์ถœ๋ ฅ ๊ฒŒ์ดํŠธ)

  • ๋‹ค์Œ ๋‹จ๊ณ„๋กœ ์–ด๋–ค ์ •๋ณด๋ฅผ ๋ณด๋‚ผ์ง€ ๊ฒฐ์ •
  • ์˜ˆ: "์ง€๊ธˆ ๋งํ•  ๋• ์–ด๋–ค ์ •๋ณด๋งŒ ๋‚ด๋ณด๋‚ด์•ผ ํ• ๊นŒ?"

๐Ÿ” ์ด 3๊ฐ€์ง€ ๊ฒŒ์ดํŠธ๊ฐ€ ํ•จ๊ป˜ ์ž‘๋™ํ•˜์—ฌ **๊ธฐ์–ต ์…€(cell state)**์„ ์œ ์ง€ํ•˜๊ณ  ์กฐ์ ˆํ•ฉ๋‹ˆ๋‹ค.


๐Ÿ”„ 4. ์ž‘๋™ ํ๋ฆ„ ์š”์•ฝ

  1. ์ž…๋ ฅ ๋‹จ์–ด์™€ ์ด์ „ ์ƒํƒœ๋ฅผ ๋ณด๊ณ  → ์–ด๋–ค ์ •๋ณด๋ฅผ ๋ฒ„๋ฆด์ง€(F) ๊ฒฐ์ •
  2. ์–ด๋–ค ์ •๋ณด๋ฅผ ์ƒˆ๋กœ ์ €์žฅํ• ์ง€(I), ์–ผ๋งˆ๋‚˜ ๊ธฐ์–ตํ• ์ง€(C) ๊ฒฐ์ •
  3. ๋‹ค์Œ ๋‹จ๊ณ„๋กœ ๋‚ด๋ณด๋‚ผ ์ •๋ณด(O)๋ฅผ ๊ฒฐ์ •

๐Ÿ“š ๋ฌธ์žฅ์„ ์ˆœ์„œ๋Œ€๋กœ ์ฒ˜๋ฆฌํ•˜๋ฉด์„œ, "์ด๊ฑด ์ค‘์š”ํ•œ ๋‹จ์–ด๋‹ˆ๊นŒ ๊ธฐ์–ตํ•˜๊ณ , ์ด๊ฑด ๋ณ„๋กœ๋‹ˆ๊นŒ ๋ฌด์‹œํ•˜์ž" ์‹์œผ๋กœ ์Šค์Šค๋กœ ํŒ๋‹จํ•ฉ๋‹ˆ๋‹ค.


๐Ÿ“š 5. ์˜ˆ์‹œ: LSTM์œผ๋กœ ๋ฌธ์žฅ ์ดํ•ดํ•˜๊ธฐ

๋ฌธ์žฅ: "๋‚˜๋Š” ์–ด์ œ ๋น„๊ฐ€ ์™”๊ธฐ ๋•Œ๋ฌธ์— ์šฐ์‚ฐ์„ ์ฑ™๊ฒผ๋‹ค."

  • ์ผ๋ฐ˜ RNN์€ "์šฐ์‚ฐ"์„ ์ถœ๋ ฅํ•  ๋•Œ “๋น„”์™€์˜ ๊ด€๊ณ„๋ฅผ ์žŠ์—ˆ์„ ์ˆ˜ ์žˆ์Œ.
  • LSTM์€ "๋น„๊ฐ€ ์™”๋‹ค"๋Š” ์ค‘์š”ํ•œ ์ •๋ณด๋ฅผ ๊ธฐ์–ตํ•ด์„œ, "์šฐ์‚ฐ"์ด๋ผ๋Š” ๋‹จ์–ด๋ฅผ ์˜ˆ์ธกํ•˜๋Š” ๋ฐ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Œ.

๐Ÿง  6. ์š”์•ฝ ํ‘œ


ํ•ญ๋ชฉ ์„ค๋ช…
๊ตฌ์กฐ ์ˆœํ™˜ ์‹ ๊ฒฝ๋ง์˜ ์ผ์ข… (RNN์˜ ํ™•์žฅ)
ํ•ต์‹ฌ ๊ธฐ๋Šฅ ์ค‘์š”ํ•œ ์ •๋ณด๋Š” ์˜ค๋ž˜ ๊ธฐ์–ต, ๋ถˆํ•„์š”ํ•œ ์ •๋ณด๋Š” ์žŠ์Œ
๊ตฌ์„ฑ ์š”์†Œ Forget, Input, Output ๊ฒŒ์ดํŠธ + ์…€ ์ƒํƒœ
์žฅ์  ๊ธด ๋ฌธ์žฅ, ๋ณต์žกํ•œ ๋ฌธ๋งฅ๋„ ์ž˜ ์ดํ•ด ๊ฐ€๋Šฅ
๋Œ€ํ‘œ ํ™œ์šฉ ๋ถ„์•ผ ๊ธฐ๊ณ„ ๋ฒˆ์—ญ, ์Œ์„ฑ ์ธ์‹, ํ…์ŠคํŠธ ์ƒ์„ฑ ๋“ฑ
 

 


๐Ÿ“Œ ๋งˆ๋ฌด๋ฆฌ ์š”์•ฝ

LSTM์€ ๊ธฐ์–ต๋ ฅ ์กฐ์ ˆ ๊ฐ€๋Šฅํ•œ ๋˜‘๋˜‘ํ•œ ์‹œํ€€์Šค ์ฒ˜๋ฆฌ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.
ํŠนํžˆ ๋ฌธ์žฅ, ์Œ์•…, ์„ผ์„œ ๋กœ๊ทธ ๋“ฑ์—์„œ ์‹œ๊ฐ„์˜ ํ๋ฆ„๊ณผ ๋ฌธ๋งฅ์„ ๊ณ ๋ คํ•œ ๋ถ„์„์ด ํ•„์š”ํ•œ ๊ฒฝ์šฐ ๋งค์šฐ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.

+ Recent posts