??

?? AI?? ???? ??? AI ??? ??

Screen Shot 2024-06-10 at 1.18.09 AM.png

?

?

?

LeCun ???? LLM? ??? ???? ?? ??? ????.

?? ? ?? ???,

?

- AI? ??? ?? ???? ??? ?? ??? ??. ?? ??? ?? ?? ???? ???? ?? ?? ?? ?? ???? ??. LLM? AI? ???? ???, LLM? ??? ??? ??? ??? ??? ??? ??? ??? ????. ????? ??? ????? ??? ??? ?? ???? ? ? ???? ???? AI? ??? ?? ???? ??. LLM? ?? ??? ???? ???? ?? ?? ???-??? ??? ????? ??? ?????.

?

- Transformer? ?? ??? building block?? ?? ?? ????? ??? ? ?? ?? ingredient?? ?? ?????. ?? ? ???? building block??. ???, CNN, LSTM? ???? Transformer? ???? ??? ???. ?? Transformer? ??? ??? ??? ???? ??? ??? ??. ??? ????? CNN?? Conv+MHSA ??? ? ?? ??? ?? ? ??. ? ??? ????? ???? ML??? CNN?? ?? ??? ?? ?? ??. ?, Transformer? ???? ??? ??? ??? ?? ??? building block? ???? ??.

?

- LLM? Transformer? ???. Transformer? MHSA, FFN, LN, skip connection, PE??? ??? building block, ?? architecture?? LLM? AR??? ?? ??? context??? ?? token? ???? AI????. ????? ??? SSL? ?? pretraining?? SL?? RL? ?? fine-tuning??. LLM? Transformer decoder, ?? encoder-decoder ??? ?? ???? ??? ?? ???? ???? ??. LLM? CNN?? RNN?? ??? ?? ??. ?, ??? Transformer?? LLM?? ???.

?

- LLM? ???? ??? ?? ???? World Model? ??. (RAG? ?? ???? ??? World Model? ? ? ??.) ??? ?????? ?? ???? ?? ?? ??? ???? ??? ?? ???? ??? ???. ?? ??, ??? ????? ??? ??? ?????, ?????? ??? ??? ??? ?? ??? ???? ?????? ? ? ??. (????? ??? ??? ??? ???? ????.) ??? LLM? ??? ????? ??? ??? simulate?? ????. (Weak AI? ? ?? ???? ?????? ??? ???.) ?, LLM? ??? ???? ??? ??????.

?

- LLM? ??? Transformer? ??? ???. ?? ??, JEPA? LLM? ???? Transformer? ??? ????? ??. ??? AI?? Transformer? ??? ??? ??.

?

- LLM? ? ??? ??? ??? ???? ??? ???? ??? ??. ???, ???? ??? ? ??. LeCun ???? ? ?? ? ???. ??? ??? 100% ???? ????? ??? ??? ??? ?? ???. LeCun ???? ??? ??? ??? ?? ??? ???? ??? ? ??? ???? ??? ??? ???

?

- LeCun ???? ??? LLM? ??? ??? ????? ??? ??? ?? ???. LLM? ?? ??? AI?? ???? LeCun ???? LLM? ???? ??? ??? ???? ??? ???. ?? ?? LLM ??? ?? ????? ???. LLM? ?? ???? ????? ??? ??? ?? ?? ???.

LLM? ??? ???? ?? ??? ???? ???? ?? ?? ???? ???. LLM? ??? ??? ?????? ??? ???? ?? ???? ????.

?

- LeCun ???? AI ????? LLM? ???? ??? ?? ??? LLM ??? ??? ???? ???? ???? ???? ? ? ?? ?? ?? ?? ????. LLM? ??? ???? ? ?? ????. ??? LLM? scratch?? ??? ?? ???? ?? ???? LLM? ??? ????? ???.

?

- LLM? ?? ??? ??? ??? ?? ??? ? ??. ??? ????? LLM? ???? ??? ?? ??? ????. ?? LLM? ??? ????? ?? AI ??? ?? ?? ????. ?? ???? LLM ???? ??? ???? ????? ?? ? ? ??? ???? ??? ?? ??. ?????? Wasserstein GAN?? DDPM?? ?? ?????. ???? ?? LLM? ???? ??? ??? ???? ?? ????.

?

- ????? AI ??? ??? LeCun ???? ?? ???? ??? ??? ?? ?????? ??? ??? ??? ????? ?? ?? ??? ??? ??? ??? ?? ????

?

447213749_7607889872599500_3391269298298620152_n.jpeg

34?? ??

13 ? ?

??? ?? ??? ?? ??????. ???? ????? AGI ??? AI? ???? ?? ML model?? ?? ?? ????? ???? ??? ?.

0
13 ? ?
@???????

AGI? ??? ??? ?? ?????? ??? ???? ????? ????? ?????. ??? ????? ???? ???? ?? ??? ????? ???? ?? ???? ??.. ?? ?? ???? ??? openai? nvidia? ???? ? ?? ????? ??? ? ????

0
13 ? ?
@???????

????? ? ????? ?? ?????..

0
10 ? ?
@???????

??? ?? ? ?? ??? llm? ???? ??? ?? ??? ??? ???? ??? ?? ?? ??? ??? ??? ??? ??? ??? ??? ????? ??? ??? ?? ?? ????? ?? ?? ??? ??? ? ???

0
13 ? ?

??? ??? ???.

? AI? ??? ??? ??? ??.

???? ??.

1
[??:7]???
13 ? ?

?? ????

0
13 ? ?

Ok ???

0
13 ? ?

??? ????.

?

?? ??? ???? ? ????? ??? ????, ?? ???? ??? ??? ??. ??? ??? ?? ????.

0
12 ? ?

?? elegance?? brilliant? analysis??.

0
12 ? ?

?? ?? ?? ? ????? ????? ?? ???? ?? ?? ? ?? ??? ? ??? ???? ? AI ?????? ??? ????? ????? 10? ????? ???? ? ???????

0
[??:2]???
12 ? ?

??? ??????? ?????? ??

0
12 ? ?
[?? ?????]
12 ? ?
@??html???

?? ?? ?

??? ???? ??? ????? LLM? ????? ?? ????? ??? ???, ????? ??? ??????7??? ??? ????

1
12 ? ?
@??html???

???? ??? ???????

0
10 ? ?
@??html???

? Vision? ??? ???? LLM ?? ?? ?????.. ??? ?? ????? ??? ?? ???? ?? ?? ???? ??????

0
12 ? ?

?? 3?-5??? ?? ????? ?? ?? ?? ?? ???? llm??... ?? ??? ?????

1
[??:4]??
12 ? ?
@anywhere

?? ???? ??? ??? ???? ??

0
12 ? ?
@??

?? ??? ??? 5?? AI ?? ???? 1? ???. ???

MS? 2030??? ??? ?? ??? 130?? ?? ??, ???? ???? ??? ???.

?? ?? ???? 1? ??? ??? ??? ??? ? ? ?? ?? ?? ???.

0
12 ? ?

?? ??? AI? ?? ??? ???? ??? ?? ??? ?? AI ??? ??? ??? ?????

1
[??:5]??
12 ? ?

????? ?: '??? ?? ??? ???.'

0
12 ? ?

????

0
[??:5]??
12 ? ?

?? ???? ???? ????

?

LLM?? agi? ? ???? ? ??? ???? ????? ??ai? ?? ? ???, ?? ? ???? ?????

?? LLM? ??? ???? ???? ?? ???? ???? ????????

0
12 ? ?

?? AI ?? ? ???? ?? ?? ??? ???? ?. ????? ??? ???? ???? ???? ?? ??? ??? ?? ?? ??? ??? ??, ?? 25? AGI? ???? ?? ?? ??? ?????? ???.

0
12 ? ?

?? LeCun? ?? LLM? ???? ?? ? ? ???? ??? ? ???

?? ???? World Model? ??? ?????

?? ???, World Model? ???? ??? ??? ??? ? ????? ???.

0
12 ? ?
@0?????

?? ? ??? ???, ?????? ???? ?? ?? ???.

???? ??? ?? ???? ??? rag? ??.

?

??? rag? ??? ??? ?? ?? db? ????, ??? ???? ?? ?? ?? ??? ?? ??? ???? ?? ???? ??? ??,

?

??? ??? ??? ???? ?? ?? ??? ????? ???? ?? ??? ???.

?

(???? ??? ?? ??? ?? ???, llm ??? ?? ???? ????)

?

?? ????? ??? ?? ? ???,

1.??? ???? ??? ????,

2. rag? ?? ??? ??? ??? ??? ??.

3. ???, ??? ??? ????? ???

4. ?? ??? ??? ??? ? ???.

5. 2-3 ?? ??? ?? ??? ???.

?

???? ????,

??? ?? ???? ?? ??? ? ? ????

????, ?? ?? ??? ?? ??

? ??????? ?????. ?? ??? ????. ?? ???? ??? ?? ??? ???

?? ?? ??.

?

?? ??? ??.

???? ?? ??? ???, ? ???? ???????????.

0
12 ? ?
@????

??? self-consistency ?? ??????? ????? "world"?? ???? ? ???.

0
[??:5]???
12 ? ?

????? ? ?? ? ??.

????, LLM? ?? ??? ? ???? ?? ???? ??? ???. ? ??? ??? ??? ??.

??, ?? ?? ??? AI? ? ????? ?? LLM??, ?? ?? ??? ??,???? ???. ??? ??? ???? ??? ?? ??. GPT5? ??? 1? ??? ????? ????? ???? ??? ????, ??? ?? ? ?? ????...??? openAI? ??? ???? ????? ???? ?? ???? ???? ??? ???? ??.

?? ?? ??? ?? ?? ???? ???? ??. openAI ????? ???.....

?

??? ?????, ??? ??? ?? ?? ????? ? ? ???.

?, ????? ?? ???? LLM ???....??? ???? ???? ???, ???? ???? ? ??.

???, ???? ??? ??? ??? ?? ????, ?? ??? ?? ?? ??? ? ?? ??.

openAI? ????? ?? ??? ?.

?

?????? ???? SORA?

??? ?????? ? ? ?? GPT4o? ??

?? ?? ??? ??? ??? ?.

?

?? SORA? ?? ?????, GPT4o? ?? ?????.

AGI? ?? ??? ???? ??. ????. ?? ? ?? ??? ??? ?? ????.

GPT5? ?? ??? ???, ???? ?? ? ? ??.

0
[??:8]??
12 ? ?

LLM ?? ??? ??? ?? ???? ????? ?????, ??? ???? ????? AI? ?? ?? ?? ??????, ?? ??? ???? ??? ???? ??? ? ??? ??? ???.

0
12 ? ?

??? ?? ???? ?? GPT? ??? ??? ??? ??? ??? ????? ?. ?? ???? ???? ?? ???? ???? SOTA ????? ??? ???? ???, ?? ??? ? ??? ???? trial-and-error? ?? ??? ?????? ?? ??? ??? ?? ??? ??.

?

?? ??? ??? ??? ??? ? ?????? ???? ??? ??. ?? ?? ?????? ??? ??? ?? ???? ?? ?? ? ?? ??? ??. optimization, kernel method, functional analysis ?? ?? ??? ??? ??? ??? ?? ??? ?? ? ???. (? ?? ?? diffusion? ?? ??? ????? ???? ???? ?? ???? ??? ???) ?? ??? ??? ???? ??? ??? ???? ?? ? ??? ?? ????, ? ??? ?? ??? ???? "??? ? ?? ?????" ?? ??? ??? ???? ??? ??.

?

??? ???? ???? ?? ????. ??? ???? ??? ?? ????, ??? ? ?? ?? ??? ?? ????? ???? eval ?? ???? ???? ??? ??? ???? AI ??? ???? ? ???? ?? "????" ??? ?? ????? ?. (???? ? ??? ?? ??)

?

??? ?? ??? ???? ??? ?? transformer ???? Mamba ?? ?? ??? ???? ??. control theory ???? ??? ???? ???? ??? ??? transformer? RNN? ???? ???? ??? ?? ? ????.

0
11 ? ?
@??????

? ???? ?? ???? ??????

mamba? ?? control theory? ?? ????? ??? ? ???

0
10 ? ?
@???schd

?? ??? ??? ???? ??? ?? ????? ???

?

?????? ??? ?? ??? ??? ?, ???? ??? ??? ?? ?? ????? ??? ????? ??? ?? ?? ??? ???? ??? ????? ?? ?? ????. ???? ?? ��??��? ?? ???? ??? ??? (??? ????), ???? ??? ???? ?? ?? ???? ???? ???? ? ??? ???? ? ??? ????? ??? ? control theory?

?

??? Mamba?? ? transformer? ???? ??? ??? ???, ?? transformer? ????? ?? ???? ??? ???? ???

?

Transformer? ????? ??? ??? ???? ? ??? ???? ??? ???? ???. ??? ????? ????

???? ?? ?? ??? ?????? ??? ?????? ? ?? ???? ????? ?? ??. ??? ?? ??? sliding window? ???? ??? ??? ???? ????? ??? ???

?

??? mamba? ??? ?? ?? ??? ?????? ?? ??? ??? ???? ????? ????, ???? RNN ???? gradient vanishing/exploding?? ??? ??? ?? ????

?

Control theory?? ? ????? ?? mamba? ??? control theory?? ????? ??? (? ??? ???? ???? ??? ??? ??, ?? ??? ???? https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mamba-and-state)

2
10 ? ?
@??????

???? ???? ??? ??? ??:)

0
10 ? ?
@??????

transformer ????? ????? ?? ?? ????? ??? ??? gpt??? ?? ??? dillation cnn?? ?? ??? ??? ??? ? ?? ???? ???? ??? ?????

0
8 ? ?

???? ? ???? ??? ????? ?

????, ?????, ???? ????

0
???? ??? ??? ? ????.