เชื่อว่าหลายคนน่าจะรู้แล้ว กับ AI ตัวใหม่ของจีนตัวนี้ Deepseek เท่าที่อ่านคือเอาโค้ดมาแกะรันเครื่องตัวเองได้เลย เพราะเป็น opensource แบบพวกที่อัพบน github ส่วนตัวสงสัยว่าโมเดลมันต่างกันไง ผมที่ใช้ python กับ C++ ยอมรับว่าเข้าไม่ถึงหลังบ้านจริง ๆ ครับ

ปล ที่หุ้นเมกาตัวเทคร่วง เพราะตัวนี้เลยครับ เข้าใจว่าถูกกว่า 95% เลย ฝรั่งบอกนี่เท่ากับตอนรัสเซียส่งดาวเทียมสปุตนิกไปก่อนเมกาเลยอ่ะ

ไม่ใช่คนสายเทค แต่ก็เกี่ยวข้องอยู่บ้าง มีความเห็นแบบนี้ครับ

- มันมีความก้าวหน้าในเรื่องการฝึกโมเดลที่ใช้ Mixed Precision
(ซึ่งช่วยลดต้นทุนการฝึกโมเดลได้) รวมถึงการจัดการปัญหา Loss Spiking ใน MOE
ที่สามารถช่วยลดต้นทุนได้มากเหมือนกัน

- DeepSeek โชว์ให้เห็นเลยว่า มันการปรับปรุงประสิทธิภาพการฝึกให้ดีขึ้นอย่างมากมาก
ในคหสต. โดยเฉพาะ โมเดลที่เรียกว่า R1 Zero
โมเดลนี้แสดงให้เห็นว่า test time compute scaling
สามารถทำได้ด้วย Reinforcement Learning เพียงอย่างเดียว
ไม่ต้องมี Supervised fine tuning

- อีกอันที่น่าสนใจคือ น่าสนใจมาก มันยืนยันได้ว่าไม่มีอะไรพิเศษในโครงสร้างการทำงานของ o1/o3
(ไม่มี MCTS หรืออื่นๆ) ซึ่ง OAI ก็เองก็เคยยืนยันไว้ แต่คนส่วนใหญ่ไม่ค่อยเชื่อ

- ถัดมาที่น่าสนใจมากๆ คือ R1 Zero มันจะคิดในแบบที่ไม่มีเหตุผล หรือ nonsensical
ไม่ใช่แค่การสลับระหว่างภาษา แต่ยังรวมถึงการสร้างข้อความที่ไม่มีความหมายสำหรับมนุษย์ด้วย
เพราะโมเดลมันต้องการแค่ต้องการ converge ไปที่ global minimum cost function ของมัน

output tokens หรือคำหรือข้อความที่ AI สร้างขึ้นมาเมื่อมันตอบคำถามหรือทำงานอะไรก็ตามที่ให้มันทำ
ตรงนี้เกิดขึ้นในเลเยอร์สุกท้ายของโมเดล หรือโดยสรุปก็คือ มันแฮกคอสฟังก์ชั่นโดยการไม่คิดแบบคน

คีย์หลักๆที่จับได้ ก็คงประมาณนี้โดยคร่าวๆ

ส่วนรายละเอียดเชิงลึกจริงๆของโมเดล ก็ต้องไปเรียน PyTorch หรือ TensorFlow ไรงั้นมั้งครับ
ถ้าสนใจโมเดล R1 ก็คงต้องไปศึกษาเชิงลึกเรื่อง Reinforcement Learning
ทดลองเปลี่ยน ไฮเปอร์พารามิเตอร์ อะไรงั้นหละมั้งครับ

อย่าไปอ้างอิงอะไรกับตลาดหุ้นเลยครับ แมวตดยังตกใจหนีกันทั้งวง ผมไปลองเล่นมาละตัว R1 ภาษาอังกฤษโคตรเอ๋อ

เท่าที่อ่านมาคร่าวๆ ที่เห็นชัดเลยคือไม่ต้องใช้ทรัพยากรมากในการเทรน เพราะเอาโมเดลใหญ่ที่เปลืองทรัพยากร ไปสอนโมเดลเล็ก

ประมาณ อาจารย์ (กังฟู) กับลูกศิษย์ ท่านอาจารย์ใช้เวลาศึกษาล้มลุกคุกคลานหลายปี (เปลือง GPU, จำนวน parameters) กว่าจะได้เคล็ดวิชามา ส่วนลูกศิษย์ก็เรียนจากอาจารย์ เก่งง่ายกว่าเดิม (ประหยัดขึ้น)

หลักๆ น่าจะความสามารถพอๆ กับ ChatGPT
แต่ใช้ทุนพัฒนาน้อยกว่าหลายร้อยหลายพันเท่าละมั้ง
หุ้น Tech เมการ่วงยาวๆ เลย ช้อนหักแล้วเนี่ย 555

ใจความสำคัญรวบรัดได้คือ ผมทำได้เหมือนคุณและอาจจะดีกว่าคุณ
พวกคุณใช้หลัก 100m แต่ผมใช้แค่ 5m อะครับ

ไม่ใช่คนสายเทค แต่ก็เกี่ยวข้องอยู่บ้าง มีความเห็นแบบนี้ครับ

- มันมีความก้าวหน้าในเรื่องการฝึกโมเดลที่ใช้ Mixed Precision
(ซึ่งช่วยลดต้นทุนการฝึกโมเดลได้) รวมถึงการจัดการปัญหา Loss Spiking ใน MOE
ที่สามารถช่วยลดต้นทุนได้มากเหมือนกัน

- DeepSeek โชว์ให้เห็นเลยว่า มันการปรับปรุงประสิทธิภาพการฝึกให้ดีขึ้นอย่างมากมาก
ในคหสต. โดยเฉพาะ โมเดลที่เรียกว่า R1 Zero
โมเดลนี้แสดงให้เห็นว่า test time compute scaling
สามารถทำได้ด้วย Reinforcement Learning เพียงอย่างเดียว
ไม่ต้องมี Supervised fine tuning

- อีกอันที่น่าสนใจคือ น่าสนใจมาก มันยืนยันได้ว่าไม่มีอะไรพิเศษในโครงสร้างการทำงานของ o1/o3
(ไม่มี MCTS หรืออื่นๆ) ซึ่ง OAI ก็เองก็เคยยืนยันไว้ แต่คนส่วนใหญ่ไม่ค่อยเชื่อ

- ถัดมาที่น่าสนใจมากๆ คือ R1 Zero มันจะคิดในแบบที่ไม่มีเหตุผล หรือ nonsensical
ไม่ใช่แค่การสลับระหว่างภาษา แต่ยังรวมถึงการสร้างข้อความที่ไม่มีความหมายสำหรับมนุษย์ด้วย
เพราะโมเดลมันต้องการแค่ต้องการ converge ไปที่ global minimum cost function ของมัน

output tokens หรือคำหรือข้อความที่ AI สร้างขึ้นมาเมื่อมันตอบคำถามหรือทำงานอะไรก็ตามที่ให้มันทำ
ตรงนี้เกิดขึ้นในเลเยอร์สุกท้ายของโมเดล หรือโดยสรุปก็คือ มันแฮกคอสฟังก์ชั่นโดยการไม่คิดแบบคน

คีย์หลักๆที่จับได้ ก็คงประมาณนี้โดยคร่าวๆ

ส่วนรายละเอียดเชิงลึกจริงๆของโมเดล ก็ต้องไปเรียน PyTorch หรือ TensorFlow ไรงั้นมั้งครับ
ถ้าสนใจโมเดล R1 ก็คงต้องไปศึกษาเชิงลึกเรื่อง Reinforcement Learning
ทดลองเปลี่ยน ไฮเปอร์พารามิเตอร์ อะไรงั้นหละมั้งครับ

ผมเข้าใจว่าไม่ได้ต่างกันมากนะ แต่มันไม่ต่างกันมากแบบที่ Deepseek เขาใช้เงินทุนน้อยกว่า ทีมงานน้อยกว่า เวลาน้อยกว่า แล้วก็ใช้ชิปเก่าๆพัฒนา ไม่ต้องไปใช้ชิปรุ่นแพงๆประมวลผล แล้วก็ให้ใช้ฟรี

คือเหมือนอเมริกาพัฒนาแทบตาย อันนี้พัฒนามาง่ายๆก็ได้ระดับเดียวกันแล้ว และก็ปล่อยให้ใช้สบายๆแบบฟรีๆก็ของธรรมดาอ่ะ จะหวงอะไรแบบนั้น

ถ้าอย่างเราๆก็พวกที่ใช้ตัวอื่นๆอย่าง ChatGPT Claude แบบเสียเงินอยู่ ก็มีตัว Deepseek มาให้ใช้ฟรีที่คุณภาพไม่ต่างกัน(บางที่บอกดีกว่าซะด้วยซ้ำ) แล้วจะไปเสียเงินทำไมละครับ

ปล. แต่ผมไม่เคยลองนะ

https://www.soccersuck.com/boards/topic/2532172/1

คร่าวๆ อะไรไม่จำเป็นตัดทิ้ง เอาให้ลีนที่สุด และมีประสิทธิภาพสูงสุด

สนใจว่าฟรีและดีแล้วจะเป็นแอนดรอยแห่งวงการเอไอได้มั้ย

ใช้ดีจริง ชอบฟังค์ชัน deepthink แล้วอ่าน log ที่มันคิดก่อนตอบเรา สนุกดี เหมือนอ่านความคิดคนเลย

ผมไปลองของมา ลองถามอะไรที่เกี่ยวกับรัฐบาลจีนที่เค้าบอกมันไม่ Gen ให้ ปรากฏผมเห็นหลังบ้านมันทำงานอยู่ แล้วพอขั้นสุดท้ายเหมือนมีโค้ดมาเขียนครอบเพื่อตรวจสอบสิ่งที่คิดอีกที แล้วก็ลบทั้งหมดทิ้ง แล้วที่มันเจนมาหลังบ้านก็ตรงกับข้อมูลทั่วไปธรรมดา ไม่ได้ไบแอสอะไรด้วยนะ ผมลองเอา deep tech ใส่พวกนี้ แต่ผลออกมาแย่กว่า นศ ป โท ผมอีก ส่วนตัวผมเลยให้ AI มันก็พอ ๆ กับการที่เราคิดไรไม่ทัน จัดเข้าโมเดลไปเลย ส่วนตัวผมก็ยังมองว่ามันคือ deterministic problem ที่ยังไงก็ต้องมีองค์ความรู้แบบนั้นอยู่แล้ว เพียงแต่จะจับมาชนกันได้ไหม เหมือนคิดโครงสร้างยา โปรตีน ให้เวลาคนก็ทำได้แหละ แต่นานกว่าโคตร ๆ ผมก็ vary ตัวแปรไปเรื่อย ๆ

ประเด็นคือมัน opensoure นั้นทำให้บริษัทเทคใหม่ๆที่อยากทำ ai มีความต้องการทรัพยากรที่จะนำไปเทรดลดลง ส่งผลกระทบผู้ผลิตชิบ

การที่มันเป็น opensoure นั้นทำให้บริษัทเทคหน้าใหม่ขึ้นมาเป็นคู่แข่งที่น่ากลัว แย่งตลาด บลาๆ ผลกระทบต่อหุ้นบิ๊กเทค ai เลยโดนไปด้วย

น่ากลัวขนาดทำเอาหุ้น Nvidia ตก 15% ในวันเดียว META ตั้ง War room ขึ้นมาเลยทีเดียว

ส่วนตัวก็เห็นด้วย และมันก็น่าจะเป็นไปทางนั้นแหละครับ

แต่คีย์ที่เป็นเรื่องใหญ่ที่กระทบตลาดหุ้นเมกา และเรื่องอื่นๆ กลับไม่น่าจะใช่ด้านนี้ครับ

ก็ไม่น่าแปลกนะครับ มันน่าจะข่าวดีมากกว่าข่าวร้ายสำหรับ META

ซักพักเมกาบอกเอไอตัวนี้มีความเชื่อมโยงรัฐบาลจีน เพราะงั้นต้องถุกแบน