สรุปว่า Model สามารถย่อได้ สามารถสกัดข้อมูลออกมา และสามารถคำนวนได้ค่ะ
งานวิจัยพวกนี้ทำมานานแล้ว ที่เราเห็นเขาทำเล่นใหญ่เพราะเขามีคนที่ต้องให้บริการมาก ไม่ได้ใช้งานคนเดียว
1.llma 3 มันมีหลายเวอร์ชั่นไอ่ตัวเล็กๆรันได้ใน high end gaming card อย่างที่ผมบอกไปไงแต่มันรัน model ตัวใหญ่ไม่ได้ แถมถึงรันได้ performance ก็ช้ากว่าใช้พวก H100 H200 ไม่ทันกินหรอกครับไม่ใช่ว่าแค่ vram ถึงแล้วจะเอามาใช้งาน production grade ได้นะครับ 4070 cuda core 5พันกว่า tensor 180 เอง H200 x4 เข้าไปเลยครับ ยิ่งเวอร์ชั่นรันบน smart phone คือ model เล็กมากๆๆ ใช้ process พวก task ง่ายๆเท่านั้น ไม่ใกล้เคียงกับคำว่าฉลาด - ทำได้ด้วยการ Quantization ลดจุดทศนิยมในการคิดลงจาก 16bit เหลือ 4bit โมเดลจะลดลงไปเยอะ
หนูทำใช้งานจริงมาแล้ว 70b quantize4 สมมติคิดเลข 1.1234567890123456 กับ 1.1234 ค่าไม่ต่างกันมาก แต่กิน memory ต่างกันมาก ความผิดพลาดมีได้แต่ไม่ใช่แบบคนละเรื่องกัน https://www.reddit.com/r/LocalLLaMA/comments/1cj4det/llama_3_70b_instruct_works_surprisingly_well_on/
2.ที่ผมบอกใช้ data center เท่า 2-3 สนามฟุตบอลคือจำลอง processing power ของสมองคนจริงๆครับ (ตอนนี้มีพวก black well แล้วอาจจะไม่ได้ใหญ่เท่า 2-3 สนามแต่ก็ใหญ่อยู่ดี) ซึ่ง processing power สมองคนเรามันไม่ใช่แค่การเติมคำในช่องว่างเหมือน Gen AI ไงครับ มันซับซ้อนกว่านั้นเยอะมากๆ
อย่างที่บอกว่า llm เบื้องหลังคือหลักสถิติมันคำนวนไม่ได้
แต่สามารถใช้สกัดข้อมูลออกมาได้ ดังนั้นไม่ใช่แค่เติมคำ
ต่อมานำข้อมูลที่ได้ โยนเข้า Machine Learning ธรรมดาที่ใช้ทรัพยากรเครื่องน้อย เอาง่ายๆเครื่องคิดเลขไม่ได้กินทรัพยากรเครื่อง
3.อย่างที่ผมบอกว่า Gen AI ผมไม่เห็นว่าจะเอามาฉลาดกว่ามนุษย์ได้เพราะมันถูก feed ข้อมูลที่มนุษย์คิดมาก่อนอยู่แล้วเข้าไป อย่างมากมันก็แค่ใช้ข้อมูลพวกนั้นเพื่อให้คำตอบที่ใกล้เคียงที่สุด ไม่ใช่เพราะมันรู้และเข้าใจคำตอบได้จริงๆ แต่อย่างที่คุณบอกมันเป็นเชิง stat มากกว่า ซึ่งถ้า AI จะฉลาดกว่ามนุษย์ได้ต้องไม่ใช่แค่เติมคำในช่องว่างจากสถิติ มันต้องสามารถเรียนรุ้เองได้ คิดอะไรใหม่ๆเองได้
AI ไม่ได้เก่งกว่าคนที่คิดค้น AI
แต่เก่งกว่าคนทั่วไปที่ไม่ได้คิด AI และมีส่วนมากของประชากรโลกค่ะ
แต่ AI ก็มีหลากหลายตัวช่วยกันทำงานได้ อย่า chatgpt มันทำงานเบื้องหลังอยู่หลายตัว ไม่ใช่แค่ model ภาษาอย่างเดียวค่ะ
ขออภัยนะคะ ตั้งแต่หัวกระทู้ไม่มีการยก Generative AI ขึ้นมา และหนูก็ไม่ได้พูดถึงเฉพาะ Gen AI เพราะการทำงานเบื้องหลังสามารถมีหลายตัวช่วยกันอยู่ได้ แต่หนูขอยืนยันว่ารัน AI ไม่ต้องใช้เครื่องใหญ่ ที่ใหญ่คือตอนเทรนค่ะ
หนูก็อ้างอิงจากข้อมูลที่เผยแพร่ อย่างโมเดลที่ทำโดยคนไทย ยังเก่งกว่าเด็กไทยไปแล้วเลยค่ะ โมเดล 7b เองนะคะ รันบนการ์ดจอได้ ดังนั้นหนูจึงยืนยันว่า ไม่ต้องใช้ data center สำหรับทำงานให้ได้เท่ามนุษย์
คุณบอกไม่ได้เจาะจง Gen AI แต่สิ่งที่คุณเอามาเถียงผมเรื่องขนาด data center เป็นการรัน model Gen AI ทั้งนั้น ผมงง ซึ่งผมก็บอกไว้แล้วถ้าพูดถึง Gen AI ยิ่ง model เล็กยิ่งความสามารถน้อยและเจาะจงมากยิ่งขึ้น ถึงรันบนร smar phone ได้มันก็ไม่ฉลาดกว่ามนุษย์ ตรงนี้คงไม่ต้องเถียงกันแล้ว ต่ให้ Gen AI ฉลาดกว่ามนุษย์ได้จริงๆต้องเป็น model ใหญ่มากๆ ไม่ก็ใช้หลายตัวมากๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆ
ผมว่าผมพูดจัดเจนแล้วนะว่าเวลาผมพูดถึง AI ที่ฉลาดกว่ามนุษย์ผมพูดถึงต้องเป็น AGI ไม่ใช่ Gen AI ด้วยเหตุผลหลายๆอย่างที่ผมอธิบายไปแล้วข้างบนว่าทำไม Gen AI ถึงจะไม่สามารถฉลาดกว่ามนุษย์ได้
AGI มันไม่มีจริงๆไงคะ แต่ไม่ได้หมายความว่ามันไม่ได้ฉลาดจริง
ความจริงคือ Multimodal AI คือมันทำงานร่วมกันต่อเนื่องกัน
เหมือนการเขียนโปรแกรมทั่วไปที่มีการไหลของข้อมูลไปทีละลำดับขั้นตอน
แต่การเขียนโปรแกรมนี้มนุษย์ไม่ได้เขียนเอง
เป็น AI มาเขียนว่า ข้อมูลแบบไหน ต้องใช้ Model ไหนตอบ
ได้ข้อมูลมาก็ไหล ไป Model อื่นๆ ไปจนกระทั้งได้ผลลัพธ์ออกไป
ไม่นับเรื่องการสร้างสรรค์หรืองานวิจัย AI มันสามารถคิดเล็กคิดน้อยได้ทั้งหมดที่คนไม่สนใจจนเกิดเป็นข้อมูล Insight ได้ ซึ่งคนต้องใช้เวลามากกว่ามันหลายพันหรือหลายล้านเท่ากว่าจะหาได้
ยืนยันคำเติมค่ะว่า AI ไม่ต้องรันบน data center ไม่ต้องเชื่อก็ได้ค่ะ
Generative AI มันตั้งอยู่บน LLM ซึ่งมันมีขนาดใหญ่ และใหญ่ที่สุดแล้ว
Model รูปภาพ การจำแนก การรู้จำ ต่างๆไม่ได้ใช้ทรัพยากรเยอะขนาดนั้น สามารถทำงานบน cpu ได้ด้วย อย่างระบบบัตรจอดรถตามห้างไม่ต้องใช้ถึง PC เอาแค่ arduino board ก็ติดตั้งใช้งานได้แล้ว AI อ่านป้ายทะเบียนไม่ต้องถึงกับรันอยู่บน data center แน่ๆ
สรุปนะคะ ถ้าไม่เชื่อรบกวนหาข้อมูลมาแปะก็ได้คะว่าทำบน Local PC ไม่ได้เพราะเหตุผลอะไร
เพราะหนูยืนยันคำเดิมว่าแม้แต่ LLM ก็รันบน GPU ได้ แต่ถ้าทำ Quantization แล้วจะลงไปอยู่บนมือถือได้ แต่ถ้ายังยืนยันว่าแค่ Generative AI ต้องรันบน data center เท่านั้นรบกวนแสดงข้อมูลให้ทีค่ะ
สมัยก่อนยังไม่มี llm ก็รันบนเครื่องธรรมดากันได้หมด
พอ llm มามันแค่บริโภคข้อมูลเยอะก็เลยต้องใช้เครื่องจำนวนเยอะสอน
พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่
ผมบอกตอนไหนหรอว่ารัน model บนเครื่อง PC ไมได้ ผมบอกว่ามันรัน model ตัวใหญ่ที่จะฉลาดกว่ามนุษย์ไม่ได้ ผมก็บอกอยู่ตัวเล็กรันได้ แต่ตัวเล็กมันไม่ได้ฉลาดกว่ามนุษย์
1.ประเด็น AGI ผมผมเคลียไปแล้วนะ ว่าถ้าคุณยังเชื่อว่า Gen AI สามารถฉลาดกว่ามนุษย์ได้ก็จบแล้วไม่ต้องคุยต่อ สำหรับผม AGI เท่านั้นที่มีโอกาสฉลาดกว่ามนุษย์จริงๆ
2.ประเด็น Data Center ผมไม่เคยพูดเลยว่าต้องเอา Datacenter มารัน Gen AI บ้าหรือเปล่า ผมบอกว่าจะ simulate processing power ของสมองมนุษย์ (ไม่ใช่ Gen AI ย้ำอีกครั้งนะ ) ต้องใช้ datacenter ขนาด 2-3 สนามฟุตบอล ซึ่งตรงนี้คุณไม่เข้าใจไง เพราะคุณเอะอะอะไรก็ gen AI gen AI model model เอ้ออ
สรุปว่า Model สามารถย่อได้ สามารถสกัดข้อมูลออกมา และสามารถคำนวนได้ค่ะ
งานวิจัยพวกนี้ทำมานานแล้ว ที่เราเห็นเขาทำเล่นใหญ่เพราะเขามีคนที่ต้องให้บริการมาก ไม่ได้ใช้งานคนเดียว
1.llma 3 มันมีหลายเวอร์ชั่นไอ่ตัวเล็กๆรันได้ใน high end gaming card อย่างที่ผมบอกไปไงแต่มันรัน model ตัวใหญ่ไม่ได้ แถมถึงรันได้ performance ก็ช้ากว่าใช้พวก H100 H200 ไม่ทันกินหรอกครับไม่ใช่ว่าแค่ vram ถึงแล้วจะเอามาใช้งาน production grade ได้นะครับ 4070 cuda core 5พันกว่า tensor 180 เอง H200 x4 เข้าไปเลยครับ ยิ่งเวอร์ชั่นรันบน smart phone คือ model เล็กมากๆๆ ใช้ process พวก task ง่ายๆเท่านั้น ไม่ใกล้เคียงกับคำว่าฉลาด - ทำได้ด้วยการ Quantization ลดจุดทศนิยมในการคิดลงจาก 16bit เหลือ 4bit โมเดลจะลดลงไปเยอะ
หนูทำใช้งานจริงมาแล้ว 70b quantize4 สมมติคิดเลข 1.1234567890123456 กับ 1.1234 ค่าไม่ต่างกันมาก แต่กิน memory ต่างกันมาก ความผิดพลาดมีได้แต่ไม่ใช่แบบคนละเรื่องกัน https://www.reddit.com/r/LocalLLaMA/comments/1cj4det/llama_3_70b_instruct_works_surprisingly_well_on/
2.ที่ผมบอกใช้ data center เท่า 2-3 สนามฟุตบอลคือจำลอง processing power ของสมองคนจริงๆครับ (ตอนนี้มีพวก black well แล้วอาจจะไม่ได้ใหญ่เท่า 2-3 สนามแต่ก็ใหญ่อยู่ดี) ซึ่ง processing power สมองคนเรามันไม่ใช่แค่การเติมคำในช่องว่างเหมือน Gen AI ไงครับ มันซับซ้อนกว่านั้นเยอะมากๆ
อย่างที่บอกว่า llm เบื้องหลังคือหลักสถิติมันคำนวนไม่ได้
แต่สามารถใช้สกัดข้อมูลออกมาได้ ดังนั้นไม่ใช่แค่เติมคำ
ต่อมานำข้อมูลที่ได้ โยนเข้า Machine Learning ธรรมดาที่ใช้ทรัพยากรเครื่องน้อย เอาง่ายๆเครื่องคิดเลขไม่ได้กินทรัพยากรเครื่อง
3.อย่างที่ผมบอกว่า Gen AI ผมไม่เห็นว่าจะเอามาฉลาดกว่ามนุษย์ได้เพราะมันถูก feed ข้อมูลที่มนุษย์คิดมาก่อนอยู่แล้วเข้าไป อย่างมากมันก็แค่ใช้ข้อมูลพวกนั้นเพื่อให้คำตอบที่ใกล้เคียงที่สุด ไม่ใช่เพราะมันรู้และเข้าใจคำตอบได้จริงๆ แต่อย่างที่คุณบอกมันเป็นเชิง stat มากกว่า ซึ่งถ้า AI จะฉลาดกว่ามนุษย์ได้ต้องไม่ใช่แค่เติมคำในช่องว่างจากสถิติ มันต้องสามารถเรียนรุ้เองได้ คิดอะไรใหม่ๆเองได้
AI ไม่ได้เก่งกว่าคนที่คิดค้น AI
แต่เก่งกว่าคนทั่วไปที่ไม่ได้คิด AI และมีส่วนมากของประชากรโลกค่ะ
แต่ AI ก็มีหลากหลายตัวช่วยกันทำงานได้ อย่า chatgpt มันทำงานเบื้องหลังอยู่หลายตัว ไม่ใช่แค่ model ภาษาอย่างเดียวค่ะ
ขออภัยนะคะ ตั้งแต่หัวกระทู้ไม่มีการยก Generative AI ขึ้นมา และหนูก็ไม่ได้พูดถึงเฉพาะ Gen AI เพราะการทำงานเบื้องหลังสามารถมีหลายตัวช่วยกันอยู่ได้ แต่หนูขอยืนยันว่ารัน AI ไม่ต้องใช้เครื่องใหญ่ ที่ใหญ่คือตอนเทรนค่ะ
หนูก็อ้างอิงจากข้อมูลที่เผยแพร่ อย่างโมเดลที่ทำโดยคนไทย ยังเก่งกว่าเด็กไทยไปแล้วเลยค่ะ โมเดล 7b เองนะคะ รันบนการ์ดจอได้ ดังนั้นหนูจึงยืนยันว่า ไม่ต้องใช้ data center สำหรับทำงานให้ได้เท่ามนุษย์
คุณบอกไม่ได้เจาะจง Gen AI แต่สิ่งที่คุณเอามาเถียงผมเรื่องขนาด data center เป็นการรัน model Gen AI ทั้งนั้น ผมงง ซึ่งผมก็บอกไว้แล้วถ้าพูดถึง Gen AI ยิ่ง model เล็กยิ่งความสามารถน้อยและเจาะจงมากยิ่งขึ้น ถึงรันบนร smar phone ได้มันก็ไม่ฉลาดกว่ามนุษย์ ตรงนี้คงไม่ต้องเถียงกันแล้ว ต่ให้ Gen AI ฉลาดกว่ามนุษย์ได้จริงๆต้องเป็น model ใหญ่มากๆ ไม่ก็ใช้หลายตัวมากๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆ
ผมว่าผมพูดจัดเจนแล้วนะว่าเวลาผมพูดถึง AI ที่ฉลาดกว่ามนุษย์ผมพูดถึงต้องเป็น AGI ไม่ใช่ Gen AI ด้วยเหตุผลหลายๆอย่างที่ผมอธิบายไปแล้วข้างบนว่าทำไม Gen AI ถึงจะไม่สามารถฉลาดกว่ามนุษย์ได้
AGI มันไม่มีจริงๆไงคะ แต่ไม่ได้หมายความว่ามันไม่ได้ฉลาดจริง
ความจริงคือ Multimodal AI คือมันทำงานร่วมกันต่อเนื่องกัน
เหมือนการเขียนโปรแกรมทั่วไปที่มีการไหลของข้อมูลไปทีละลำดับขั้นตอน
แต่การเขียนโปรแกรมนี้มนุษย์ไม่ได้เขียนเอง
เป็น AI มาเขียนว่า ข้อมูลแบบไหน ต้องใช้ Model ไหนตอบ
ได้ข้อมูลมาก็ไหล ไป Model อื่นๆ ไปจนกระทั้งได้ผลลัพธ์ออกไป
ไม่นับเรื่องการสร้างสรรค์หรืองานวิจัย AI มันสามารถคิดเล็กคิดน้อยได้ทั้งหมดที่คนไม่สนใจจนเกิดเป็นข้อมูล Insight ได้ ซึ่งคนต้องใช้เวลามากกว่ามันหลายพันหรือหลายล้านเท่ากว่าจะหาได้
ยืนยันคำเติมค่ะว่า AI ไม่ต้องรันบน data center ไม่ต้องเชื่อก็ได้ค่ะ
Generative AI มันตั้งอยู่บน LLM ซึ่งมันมีขนาดใหญ่ และใหญ่ที่สุดแล้ว
Model รูปภาพ การจำแนก การรู้จำ ต่างๆไม่ได้ใช้ทรัพยากรเยอะขนาดนั้น สามารถทำงานบน cpu ได้ด้วย อย่างระบบบัตรจอดรถตามห้างไม่ต้องใช้ถึง PC เอาแค่ arduino board ก็ติดตั้งใช้งานได้แล้ว AI อ่านป้ายทะเบียนไม่ต้องถึงกับรันอยู่บน data center แน่ๆ
สรุปนะคะ ถ้าไม่เชื่อรบกวนหาข้อมูลมาแปะก็ได้คะว่าทำบน Local PC ไม่ได้เพราะเหตุผลอะไร
เพราะหนูยืนยันคำเดิมว่าแม้แต่ LLM ก็รันบน GPU ได้ แต่ถ้าทำ Quantization แล้วจะลงไปอยู่บนมือถือได้ แต่ถ้ายังยืนยันว่าแค่ Generative AI ต้องรันบน data center เท่านั้นรบกวนแสดงข้อมูลให้ทีค่ะ
สมัยก่อนยังไม่มี llm ก็รันบนเครื่องธรรมดากันได้หมด
พอ llm มามันแค่บริโภคข้อมูลเยอะก็เลยต้องใช้เครื่องจำนวนเยอะสอน
พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่
ผมบอกตอนไหนหรอว่ารัน model บนเครื่อง PC ไมได้ ผมบอกว่ามันรัน model ตัวใหญ่ที่จะฉลาดกว่ามนุษย์ไม่ได้ ผมก็บอกอยู่ตัวเล็กรันได้ แต่ตัวเล็กมันไม่ได้ฉลาดกว่ามนุษย์
1.ประเด็น AGI ผมผมเคลียไปแล้วนะ ว่าถ้าคุณยังเชื่อว่า Gen AI สามารถฉลาดกว่ามนุษย์ได้ก็จบแล้วไม่ต้องคุยต่อ สำหรับผม AGI เท่านั้นที่มีโอกาสฉลาดกว่ามนุษย์จริงๆ
AGI ไม่มีจริง ถ้ามีมันไม่เรียก Artificial ค่ะ ปัจจุบันเป็นแค่นิยามของมนุษย์สายศิลป์
AI ปัจจุบันมันคือคนประดิษฐ์ทั้งหมด ดังนั้นแล้วการมีอยู่ของมันคือการสอนจากมนุษย์ มนุษย์คือผู้สอน
2.ประเด็น Data Center ผมไม่เคยพูดเลยว่าต้องเอา Datacenter มารัน Gen AI บ้าหรือเปล่า ผมบอกว่าจะ simulate processing power ของสมองมนุษย์ (ไม่ใช่ Gen AI ย้ำอีกครั้งนะ ) ต้องใช้ datacenter ขนาด 2-3 สนามฟุตบอล ซึ่งตรงนี้คุณไม่เข้าใจไง เพราะคุณเอะอะอะไรก็ gen AI gen AI model model เอ้ออ
ตั้งแต่เดิมหนูก็ไม่เคยพูด Gen AI คุณเป็นคนเริ่ม แต่หนูยกตัวอย่างให้เห็นว่า
แม้แต่ LLM mี่ว่าใหญ่ยังตั้งอยู่บน GPU ได้ ดังนั้นแล้วอะไรที่เล็กกว่าก็รันได้
ต่อมา ChatGPT-4o มันเป็น Multi Expert Model
มันคือ Model หลายๆตัวมาช่วยกันทำ ไม่ใช่ตัวเดียว
ไม่ต้องใช้ data center อะไรทั้งนั้น ไม่มีใครอยากเปิดไฟเล่น
แต่ละตัวก็รันบน GPU แค่ตัวเดียว พอหลายตัวก็เคลมว่าเป็นล้านล้านพารามีเตอร์
ผมไม่รู้ว่าท่านไปเอามาจากไหนนะว่า "พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่" เพราะความจริงคือ ขนาดของ vram/tpu แปรผันกับขนาด model เสมอยิ่ง
สรุปว่า Model สามารถย่อได้ สามารถสกัดข้อมูลออกมา และสามารถคำนวนได้ค่ะ
งานวิจัยพวกนี้ทำมานานแล้ว ที่เราเห็นเขาทำเล่นใหญ่เพราะเขามีคนที่ต้องให้บริการมาก ไม่ได้ใช้งานคนเดียว
1.llma 3 มันมีหลายเวอร์ชั่นไอ่ตัวเล็กๆรันได้ใน high end gaming card อย่างที่ผมบอกไปไงแต่มันรัน model ตัวใหญ่ไม่ได้ แถมถึงรันได้ performance ก็ช้ากว่าใช้พวก H100 H200 ไม่ทันกินหรอกครับไม่ใช่ว่าแค่ vram ถึงแล้วจะเอามาใช้งาน production grade ได้นะครับ 4070 cuda core 5พันกว่า tensor 180 เอง H200 x4 เข้าไปเลยครับ ยิ่งเวอร์ชั่นรันบน smart phone คือ model เล็กมากๆๆ ใช้ process พวก task ง่ายๆเท่านั้น ไม่ใกล้เคียงกับคำว่าฉลาด - ทำได้ด้วยการ Quantization ลดจุดทศนิยมในการคิดลงจาก 16bit เหลือ 4bit โมเดลจะลดลงไปเยอะ
หนูทำใช้งานจริงมาแล้ว 70b quantize4 สมมติคิดเลข 1.1234567890123456 กับ 1.1234 ค่าไม่ต่างกันมาก แต่กิน memory ต่างกันมาก ความผิดพลาดมีได้แต่ไม่ใช่แบบคนละเรื่องกัน https://www.reddit.com/r/LocalLLaMA/comments/1cj4det/llama_3_70b_instruct_works_surprisingly_well_on/
2.ที่ผมบอกใช้ data center เท่า 2-3 สนามฟุตบอลคือจำลอง processing power ของสมองคนจริงๆครับ (ตอนนี้มีพวก black well แล้วอาจจะไม่ได้ใหญ่เท่า 2-3 สนามแต่ก็ใหญ่อยู่ดี) ซึ่ง processing power สมองคนเรามันไม่ใช่แค่การเติมคำในช่องว่างเหมือน Gen AI ไงครับ มันซับซ้อนกว่านั้นเยอะมากๆ
อย่างที่บอกว่า llm เบื้องหลังคือหลักสถิติมันคำนวนไม่ได้
แต่สามารถใช้สกัดข้อมูลออกมาได้ ดังนั้นไม่ใช่แค่เติมคำ
ต่อมานำข้อมูลที่ได้ โยนเข้า Machine Learning ธรรมดาที่ใช้ทรัพยากรเครื่องน้อย เอาง่ายๆเครื่องคิดเลขไม่ได้กินทรัพยากรเครื่อง
3.อย่างที่ผมบอกว่า Gen AI ผมไม่เห็นว่าจะเอามาฉลาดกว่ามนุษย์ได้เพราะมันถูก feed ข้อมูลที่มนุษย์คิดมาก่อนอยู่แล้วเข้าไป อย่างมากมันก็แค่ใช้ข้อมูลพวกนั้นเพื่อให้คำตอบที่ใกล้เคียงที่สุด ไม่ใช่เพราะมันรู้และเข้าใจคำตอบได้จริงๆ แต่อย่างที่คุณบอกมันเป็นเชิง stat มากกว่า ซึ่งถ้า AI จะฉลาดกว่ามนุษย์ได้ต้องไม่ใช่แค่เติมคำในช่องว่างจากสถิติ มันต้องสามารถเรียนรุ้เองได้ คิดอะไรใหม่ๆเองได้
AI ไม่ได้เก่งกว่าคนที่คิดค้น AI
แต่เก่งกว่าคนทั่วไปที่ไม่ได้คิด AI และมีส่วนมากของประชากรโลกค่ะ
แต่ AI ก็มีหลากหลายตัวช่วยกันทำงานได้ อย่า chatgpt มันทำงานเบื้องหลังอยู่หลายตัว ไม่ใช่แค่ model ภาษาอย่างเดียวค่ะ
ขออภัยนะคะ ตั้งแต่หัวกระทู้ไม่มีการยก Generative AI ขึ้นมา และหนูก็ไม่ได้พูดถึงเฉพาะ Gen AI เพราะการทำงานเบื้องหลังสามารถมีหลายตัวช่วยกันอยู่ได้ แต่หนูขอยืนยันว่ารัน AI ไม่ต้องใช้เครื่องใหญ่ ที่ใหญ่คือตอนเทรนค่ะ
หนูก็อ้างอิงจากข้อมูลที่เผยแพร่ อย่างโมเดลที่ทำโดยคนไทย ยังเก่งกว่าเด็กไทยไปแล้วเลยค่ะ โมเดล 7b เองนะคะ รันบนการ์ดจอได้ ดังนั้นหนูจึงยืนยันว่า ไม่ต้องใช้ data center สำหรับทำงานให้ได้เท่ามนุษย์
คุณบอกไม่ได้เจาะจง Gen AI แต่สิ่งที่คุณเอามาเถียงผมเรื่องขนาด data center เป็นการรัน model Gen AI ทั้งนั้น ผมงง ซึ่งผมก็บอกไว้แล้วถ้าพูดถึง Gen AI ยิ่ง model เล็กยิ่งความสามารถน้อยและเจาะจงมากยิ่งขึ้น ถึงรันบนร smar phone ได้มันก็ไม่ฉลาดกว่ามนุษย์ ตรงนี้คงไม่ต้องเถียงกันแล้ว ต่ให้ Gen AI ฉลาดกว่ามนุษย์ได้จริงๆต้องเป็น model ใหญ่มากๆ ไม่ก็ใช้หลายตัวมากๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆ
ผมว่าผมพูดจัดเจนแล้วนะว่าเวลาผมพูดถึง AI ที่ฉลาดกว่ามนุษย์ผมพูดถึงต้องเป็น AGI ไม่ใช่ Gen AI ด้วยเหตุผลหลายๆอย่างที่ผมอธิบายไปแล้วข้างบนว่าทำไม Gen AI ถึงจะไม่สามารถฉลาดกว่ามนุษย์ได้
AGI มันไม่มีจริงๆไงคะ แต่ไม่ได้หมายความว่ามันไม่ได้ฉลาดจริง
ความจริงคือ Multimodal AI คือมันทำงานร่วมกันต่อเนื่องกัน
เหมือนการเขียนโปรแกรมทั่วไปที่มีการไหลของข้อมูลไปทีละลำดับขั้นตอน
แต่การเขียนโปรแกรมนี้มนุษย์ไม่ได้เขียนเอง
เป็น AI มาเขียนว่า ข้อมูลแบบไหน ต้องใช้ Model ไหนตอบ
ได้ข้อมูลมาก็ไหล ไป Model อื่นๆ ไปจนกระทั้งได้ผลลัพธ์ออกไป
ไม่นับเรื่องการสร้างสรรค์หรืองานวิจัย AI มันสามารถคิดเล็กคิดน้อยได้ทั้งหมดที่คนไม่สนใจจนเกิดเป็นข้อมูล Insight ได้ ซึ่งคนต้องใช้เวลามากกว่ามันหลายพันหรือหลายล้านเท่ากว่าจะหาได้
ยืนยันคำเติมค่ะว่า AI ไม่ต้องรันบน data center ไม่ต้องเชื่อก็ได้ค่ะ
Generative AI มันตั้งอยู่บน LLM ซึ่งมันมีขนาดใหญ่ และใหญ่ที่สุดแล้ว
Model รูปภาพ การจำแนก การรู้จำ ต่างๆไม่ได้ใช้ทรัพยากรเยอะขนาดนั้น สามารถทำงานบน cpu ได้ด้วย อย่างระบบบัตรจอดรถตามห้างไม่ต้องใช้ถึง PC เอาแค่ arduino board ก็ติดตั้งใช้งานได้แล้ว AI อ่านป้ายทะเบียนไม่ต้องถึงกับรันอยู่บน data center แน่ๆ
สรุปนะคะ ถ้าไม่เชื่อรบกวนหาข้อมูลมาแปะก็ได้คะว่าทำบน Local PC ไม่ได้เพราะเหตุผลอะไร
เพราะหนูยืนยันคำเดิมว่าแม้แต่ LLM ก็รันบน GPU ได้ แต่ถ้าทำ Quantization แล้วจะลงไปอยู่บนมือถือได้ แต่ถ้ายังยืนยันว่าแค่ Generative AI ต้องรันบน data center เท่านั้นรบกวนแสดงข้อมูลให้ทีค่ะ
สมัยก่อนยังไม่มี llm ก็รันบนเครื่องธรรมดากันได้หมด
พอ llm มามันแค่บริโภคข้อมูลเยอะก็เลยต้องใช้เครื่องจำนวนเยอะสอน
พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่
ผมบอกตอนไหนหรอว่ารัน model บนเครื่อง PC ไมได้ ผมบอกว่ามันรัน model ตัวใหญ่ที่จะฉลาดกว่ามนุษย์ไม่ได้ ผมก็บอกอยู่ตัวเล็กรันได้ แต่ตัวเล็กมันไม่ได้ฉลาดกว่ามนุษย์
1.ประเด็น AGI ผมผมเคลียไปแล้วนะ ว่าถ้าคุณยังเชื่อว่า Gen AI สามารถฉลาดกว่ามนุษย์ได้ก็จบแล้วไม่ต้องคุยต่อ สำหรับผม AGI เท่านั้นที่มีโอกาสฉลาดกว่ามนุษย์จริงๆ
AGI ไม่มีจริง ถ้ามีมันไม่เรียก Artificial ค่ะ ปัจจุบันเป็นแค่นิยามของมนุษย์สายศิลป์
AI ปัจจุบันมันคือคนประดิษฐ์ทั้งหมด ดังนั้นแล้วการมีอยู่ของมันคือการสอนจากมนุษย์ มนุษย์คือผู้สอน
2.ประเด็น Data Center ผมไม่เคยพูดเลยว่าต้องเอา Datacenter มารัน Gen AI บ้าหรือเปล่า ผมบอกว่าจะ simulate processing power ของสมองมนุษย์ (ไม่ใช่ Gen AI ย้ำอีกครั้งนะ ) ต้องใช้ datacenter ขนาด 2-3 สนามฟุตบอล ซึ่งตรงนี้คุณไม่เข้าใจไง เพราะคุณเอะอะอะไรก็ gen AI gen AI model model เอ้ออ
ตั้งแต่เดิมหนูก็ไม่เคยพูด Gen AI คุณเป็นคนเริ่ม แต่หนูยกตัวอย่างให้เห็นว่า
แม้แต่ LLM mี่ว่าใหญ่ยังตั้งอยู่บน GPU ได้ ดังนั้นแล้วอะไรที่เล็กกว่าก็รันได้
ต่อมา ChatGPT-4o มันเป็น Multi Expert Model
มันคือ Model หลายๆตัวมาช่วยกันทำ ไม่ใช่ตัวเดียว
ไม่ต้องใช้ data center อะไรทั้งนั้น ไม่มีใครอยากเปิดไฟเล่น
แต่ละตัวก็รันบน GPU แค่ตัวเดียว พอหลายตัวก็เคลมว่าเป็นล้านล้านพารามีเตอร์
ผมไม่รู้ว่าท่านไปเอามาจากไหนนะว่า "พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่" เพราะความจริงคือ ขนาดของ vram/tpu แปรผันกับขนาด model เสมอยิ่ง
บอกทีว่าหนูข้อมูลผิดหรือเข้าใจอะไรผิด
ผิดตรงที่เข้าใจว่าผมพูดถึง Gen AI มีประโยคไหนผมบอกว่า Gen AI ต้องใช้สนามฟุตบอล 2-3 สนามเพื่อรันหรอครับ? น่าจะแยกไม่ออกระหว่าง AI + Gen AI หรือเปล่าครับ เพราะผมไม่ได้พูดถึง Gen AI เลยในเม้นแรก
สรุปว่า Model สามารถย่อได้ สามารถสกัดข้อมูลออกมา และสามารถคำนวนได้ค่ะ
งานวิจัยพวกนี้ทำมานานแล้ว ที่เราเห็นเขาทำเล่นใหญ่เพราะเขามีคนที่ต้องให้บริการมาก ไม่ได้ใช้งานคนเดียว
1.llma 3 มันมีหลายเวอร์ชั่นไอ่ตัวเล็กๆรันได้ใน high end gaming card อย่างที่ผมบอกไปไงแต่มันรัน model ตัวใหญ่ไม่ได้ แถมถึงรันได้ performance ก็ช้ากว่าใช้พวก H100 H200 ไม่ทันกินหรอกครับไม่ใช่ว่าแค่ vram ถึงแล้วจะเอามาใช้งาน production grade ได้นะครับ 4070 cuda core 5พันกว่า tensor 180 เอง H200 x4 เข้าไปเลยครับ ยิ่งเวอร์ชั่นรันบน smart phone คือ model เล็กมากๆๆ ใช้ process พวก task ง่ายๆเท่านั้น ไม่ใกล้เคียงกับคำว่าฉลาด - ทำได้ด้วยการ Quantization ลดจุดทศนิยมในการคิดลงจาก 16bit เหลือ 4bit โมเดลจะลดลงไปเยอะ
หนูทำใช้งานจริงมาแล้ว 70b quantize4 สมมติคิดเลข 1.1234567890123456 กับ 1.1234 ค่าไม่ต่างกันมาก แต่กิน memory ต่างกันมาก ความผิดพลาดมีได้แต่ไม่ใช่แบบคนละเรื่องกัน https://www.reddit.com/r/LocalLLaMA/comments/1cj4det/llama_3_70b_instruct_works_surprisingly_well_on/
2.ที่ผมบอกใช้ data center เท่า 2-3 สนามฟุตบอลคือจำลอง processing power ของสมองคนจริงๆครับ (ตอนนี้มีพวก black well แล้วอาจจะไม่ได้ใหญ่เท่า 2-3 สนามแต่ก็ใหญ่อยู่ดี) ซึ่ง processing power สมองคนเรามันไม่ใช่แค่การเติมคำในช่องว่างเหมือน Gen AI ไงครับ มันซับซ้อนกว่านั้นเยอะมากๆ
อย่างที่บอกว่า llm เบื้องหลังคือหลักสถิติมันคำนวนไม่ได้
แต่สามารถใช้สกัดข้อมูลออกมาได้ ดังนั้นไม่ใช่แค่เติมคำ
ต่อมานำข้อมูลที่ได้ โยนเข้า Machine Learning ธรรมดาที่ใช้ทรัพยากรเครื่องน้อย เอาง่ายๆเครื่องคิดเลขไม่ได้กินทรัพยากรเครื่อง
3.อย่างที่ผมบอกว่า Gen AI ผมไม่เห็นว่าจะเอามาฉลาดกว่ามนุษย์ได้เพราะมันถูก feed ข้อมูลที่มนุษย์คิดมาก่อนอยู่แล้วเข้าไป อย่างมากมันก็แค่ใช้ข้อมูลพวกนั้นเพื่อให้คำตอบที่ใกล้เคียงที่สุด ไม่ใช่เพราะมันรู้และเข้าใจคำตอบได้จริงๆ แต่อย่างที่คุณบอกมันเป็นเชิง stat มากกว่า ซึ่งถ้า AI จะฉลาดกว่ามนุษย์ได้ต้องไม่ใช่แค่เติมคำในช่องว่างจากสถิติ มันต้องสามารถเรียนรุ้เองได้ คิดอะไรใหม่ๆเองได้
AI ไม่ได้เก่งกว่าคนที่คิดค้น AI
แต่เก่งกว่าคนทั่วไปที่ไม่ได้คิด AI และมีส่วนมากของประชากรโลกค่ะ
แต่ AI ก็มีหลากหลายตัวช่วยกันทำงานได้ อย่า chatgpt มันทำงานเบื้องหลังอยู่หลายตัว ไม่ใช่แค่ model ภาษาอย่างเดียวค่ะ
ขออภัยนะคะ ตั้งแต่หัวกระทู้ไม่มีการยก Generative AI ขึ้นมา และหนูก็ไม่ได้พูดถึงเฉพาะ Gen AI เพราะการทำงานเบื้องหลังสามารถมีหลายตัวช่วยกันอยู่ได้ แต่หนูขอยืนยันว่ารัน AI ไม่ต้องใช้เครื่องใหญ่ ที่ใหญ่คือตอนเทรนค่ะ
หนูก็อ้างอิงจากข้อมูลที่เผยแพร่ อย่างโมเดลที่ทำโดยคนไทย ยังเก่งกว่าเด็กไทยไปแล้วเลยค่ะ โมเดล 7b เองนะคะ รันบนการ์ดจอได้ ดังนั้นหนูจึงยืนยันว่า ไม่ต้องใช้ data center สำหรับทำงานให้ได้เท่ามนุษย์
คุณบอกไม่ได้เจาะจง Gen AI แต่สิ่งที่คุณเอามาเถียงผมเรื่องขนาด data center เป็นการรัน model Gen AI ทั้งนั้น ผมงง ซึ่งผมก็บอกไว้แล้วถ้าพูดถึง Gen AI ยิ่ง model เล็กยิ่งความสามารถน้อยและเจาะจงมากยิ่งขึ้น ถึงรันบนร smar phone ได้มันก็ไม่ฉลาดกว่ามนุษย์ ตรงนี้คงไม่ต้องเถียงกันแล้ว ต่ให้ Gen AI ฉลาดกว่ามนุษย์ได้จริงๆต้องเป็น model ใหญ่มากๆ ไม่ก็ใช้หลายตัวมากๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆ
ผมว่าผมพูดจัดเจนแล้วนะว่าเวลาผมพูดถึง AI ที่ฉลาดกว่ามนุษย์ผมพูดถึงต้องเป็น AGI ไม่ใช่ Gen AI ด้วยเหตุผลหลายๆอย่างที่ผมอธิบายไปแล้วข้างบนว่าทำไม Gen AI ถึงจะไม่สามารถฉลาดกว่ามนุษย์ได้
AGI มันไม่มีจริงๆไงคะ แต่ไม่ได้หมายความว่ามันไม่ได้ฉลาดจริง
ความจริงคือ Multimodal AI คือมันทำงานร่วมกันต่อเนื่องกัน
เหมือนการเขียนโปรแกรมทั่วไปที่มีการไหลของข้อมูลไปทีละลำดับขั้นตอน
แต่การเขียนโปรแกรมนี้มนุษย์ไม่ได้เขียนเอง
เป็น AI มาเขียนว่า ข้อมูลแบบไหน ต้องใช้ Model ไหนตอบ
ได้ข้อมูลมาก็ไหล ไป Model อื่นๆ ไปจนกระทั้งได้ผลลัพธ์ออกไป
ไม่นับเรื่องการสร้างสรรค์หรืองานวิจัย AI มันสามารถคิดเล็กคิดน้อยได้ทั้งหมดที่คนไม่สนใจจนเกิดเป็นข้อมูล Insight ได้ ซึ่งคนต้องใช้เวลามากกว่ามันหลายพันหรือหลายล้านเท่ากว่าจะหาได้
ยืนยันคำเติมค่ะว่า AI ไม่ต้องรันบน data center ไม่ต้องเชื่อก็ได้ค่ะ
Generative AI มันตั้งอยู่บน LLM ซึ่งมันมีขนาดใหญ่ และใหญ่ที่สุดแล้ว
Model รูปภาพ การจำแนก การรู้จำ ต่างๆไม่ได้ใช้ทรัพยากรเยอะขนาดนั้น สามารถทำงานบน cpu ได้ด้วย อย่างระบบบัตรจอดรถตามห้างไม่ต้องใช้ถึง PC เอาแค่ arduino board ก็ติดตั้งใช้งานได้แล้ว AI อ่านป้ายทะเบียนไม่ต้องถึงกับรันอยู่บน data center แน่ๆ
สรุปนะคะ ถ้าไม่เชื่อรบกวนหาข้อมูลมาแปะก็ได้คะว่าทำบน Local PC ไม่ได้เพราะเหตุผลอะไร
เพราะหนูยืนยันคำเดิมว่าแม้แต่ LLM ก็รันบน GPU ได้ แต่ถ้าทำ Quantization แล้วจะลงไปอยู่บนมือถือได้ แต่ถ้ายังยืนยันว่าแค่ Generative AI ต้องรันบน data center เท่านั้นรบกวนแสดงข้อมูลให้ทีค่ะ
สมัยก่อนยังไม่มี llm ก็รันบนเครื่องธรรมดากันได้หมด
พอ llm มามันแค่บริโภคข้อมูลเยอะก็เลยต้องใช้เครื่องจำนวนเยอะสอน
พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่
ผมบอกตอนไหนหรอว่ารัน model บนเครื่อง PC ไมได้ ผมบอกว่ามันรัน model ตัวใหญ่ที่จะฉลาดกว่ามนุษย์ไม่ได้ ผมก็บอกอยู่ตัวเล็กรันได้ แต่ตัวเล็กมันไม่ได้ฉลาดกว่ามนุษย์
1.ประเด็น AGI ผมผมเคลียไปแล้วนะ ว่าถ้าคุณยังเชื่อว่า Gen AI สามารถฉลาดกว่ามนุษย์ได้ก็จบแล้วไม่ต้องคุยต่อ สำหรับผม AGI เท่านั้นที่มีโอกาสฉลาดกว่ามนุษย์จริงๆ
AGI ไม่มีจริง ถ้ามีมันไม่เรียก Artificial ค่ะ ปัจจุบันเป็นแค่นิยามของมนุษย์สายศิลป์
AI ปัจจุบันมันคือคนประดิษฐ์ทั้งหมด ดังนั้นแล้วการมีอยู่ของมันคือการสอนจากมนุษย์ มนุษย์คือผู้สอน
2.ประเด็น Data Center ผมไม่เคยพูดเลยว่าต้องเอา Datacenter มารัน Gen AI บ้าหรือเปล่า ผมบอกว่าจะ simulate processing power ของสมองมนุษย์ (ไม่ใช่ Gen AI ย้ำอีกครั้งนะ ) ต้องใช้ datacenter ขนาด 2-3 สนามฟุตบอล ซึ่งตรงนี้คุณไม่เข้าใจไง เพราะคุณเอะอะอะไรก็ gen AI gen AI model model เอ้ออ
ตั้งแต่เดิมหนูก็ไม่เคยพูด Gen AI คุณเป็นคนเริ่ม แต่หนูยกตัวอย่างให้เห็นว่า
แม้แต่ LLM mี่ว่าใหญ่ยังตั้งอยู่บน GPU ได้ ดังนั้นแล้วอะไรที่เล็กกว่าก็รันได้
ต่อมา ChatGPT-4o มันเป็น Multi Expert Model
มันคือ Model หลายๆตัวมาช่วยกันทำ ไม่ใช่ตัวเดียว
ไม่ต้องใช้ data center อะไรทั้งนั้น ไม่มีใครอยากเปิดไฟเล่น
แต่ละตัวก็รันบน GPU แค่ตัวเดียว พอหลายตัวก็เคลมว่าเป็นล้านล้านพารามีเตอร์
ผมไม่รู้ว่าท่านไปเอามาจากไหนนะว่า "พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่" เพราะความจริงคือ ขนาดของ vram/tpu แปรผันกับขนาด model เสมอยิ่ง
บอกทีว่าหนูข้อมูลผิดหรือเข้าใจอะไรผิด
ผิดตรงที่เข้าใจว่าผมพูดถึง Gen AI มีประโยคไหนผมบอกว่า Gen AI ต้องใช้สนามฟุตบอล 2-3 สนามเพื่อรันหรอครับ? น่าจะแยกไม่ออกระหว่าง AI + Gen AI หรือเปล่าครับ เพราะผมไม่ได้พูดถึง Gen AI เลยในเม้นแรก
จับใจความยังไง หนูพยายามบอกว่าแม้แต่ LLM ยังรันบน GPU ได้แล้วตัวอื่นๆที่เล็กกว่ามันจะรันมากกว่าได้อย่างไร ขอให้คิดแบบมีเหตุผล
เมื่อก่อนมันไม่มีอะไรใหญ่จนกระทั้งการมาของ Large Language Model ซึ่งมันใหญ่กว่าตระกูลอื่น
ดังนั้นแล้วการรัน AI ใดๆก็ตามไม่ต้องใช้ data center ทั้งนั้น
แสดงว่าคุณไม่ได้เรียน หรือไม่เคยเขียน AI มาเลยคุณจึงไม่เข้าใจเรื่อง หลักการคิดของ AI ตั้งแต่ต้น
Model ใหญ่ ย่อให้เล็ก เท่า Model เล็ก สมมติ 70b > 7b โมเดลใหญ่ย่อเล็กฉลากกว่า อ่านได้จากตรงนี้
แต่สิ่งที่น่าจะเข้าใจผิดคือ model มีโอกาสจะฉลาดกว่ามนุษย์จริงๆไม่มีทางขนาดแค่ 7B หรือรัน quantize 8bit 16bit แน่นอน ต้องรันเต็มประสิทธิภาพถึงจะมีโอกาส ยกตัวอย่างเช่น model ที่ advance ที่สุดตัวหนึ่งของโลก gpt-4, Gemini 1.5 pro ตอนนี้ก็ไปถึง 1.7 Trillion param แล้วครับถึงฉลาดขนาดนั้นได้
เขาใช้จริงกันไปหมดแล้ว ถ้าเคยทำ Model จะต้องรู้ว่าต้องลดการกินไฟและการใช้ทรัพยากรลงเรื่อยๆ ขนาดเขียนโปรแกรมยังต้องรู้จักทำ Mocri service เขียน AI ก็ต้องทำ multimodal แยกเป็นเปลาย expert
มี expert model 70b quantize4bit 1 ตัว หรือ n ตัวก็ใช้ memory เท่า 1 ตัว เพราะมันทำงานทีละตัว ไม่ต้องเปิดไฟสแตนบายรอคำสั่ง
อย่าไปหลงว่า Open AI ใช้ general model 1 ตัวทำทุกอย่าง จริงๆมันคือหลายตัวช่วยกันทำค่ะ บอก 100b จริงๆอาจจะ 10b 10 ตัวก็ได้ค่ะ
สรุปว่า Model สามารถย่อได้ สามารถสกัดข้อมูลออกมา และสามารถคำนวนได้ค่ะ
งานวิจัยพวกนี้ทำมานานแล้ว ที่เราเห็นเขาทำเล่นใหญ่เพราะเขามีคนที่ต้องให้บริการมาก ไม่ได้ใช้งานคนเดียว
1.llma 3 มันมีหลายเวอร์ชั่นไอ่ตัวเล็กๆรันได้ใน high end gaming card อย่างที่ผมบอกไปไงแต่มันรัน model ตัวใหญ่ไม่ได้ แถมถึงรันได้ performance ก็ช้ากว่าใช้พวก H100 H200 ไม่ทันกินหรอกครับไม่ใช่ว่าแค่ vram ถึงแล้วจะเอามาใช้งาน production grade ได้นะครับ 4070 cuda core 5พันกว่า tensor 180 เอง H200 x4 เข้าไปเลยครับ ยิ่งเวอร์ชั่นรันบน smart phone คือ model เล็กมากๆๆ ใช้ process พวก task ง่ายๆเท่านั้น ไม่ใกล้เคียงกับคำว่าฉลาด - ทำได้ด้วยการ Quantization ลดจุดทศนิยมในการคิดลงจาก 16bit เหลือ 4bit โมเดลจะลดลงไปเยอะ
หนูทำใช้งานจริงมาแล้ว 70b quantize4 สมมติคิดเลข 1.1234567890123456 กับ 1.1234 ค่าไม่ต่างกันมาก แต่กิน memory ต่างกันมาก ความผิดพลาดมีได้แต่ไม่ใช่แบบคนละเรื่องกัน https://www.reddit.com/r/LocalLLaMA/comments/1cj4det/llama_3_70b_instruct_works_surprisingly_well_on/
2.ที่ผมบอกใช้ data center เท่า 2-3 สนามฟุตบอลคือจำลอง processing power ของสมองคนจริงๆครับ (ตอนนี้มีพวก black well แล้วอาจจะไม่ได้ใหญ่เท่า 2-3 สนามแต่ก็ใหญ่อยู่ดี) ซึ่ง processing power สมองคนเรามันไม่ใช่แค่การเติมคำในช่องว่างเหมือน Gen AI ไงครับ มันซับซ้อนกว่านั้นเยอะมากๆ
อย่างที่บอกว่า llm เบื้องหลังคือหลักสถิติมันคำนวนไม่ได้
แต่สามารถใช้สกัดข้อมูลออกมาได้ ดังนั้นไม่ใช่แค่เติมคำ
ต่อมานำข้อมูลที่ได้ โยนเข้า Machine Learning ธรรมดาที่ใช้ทรัพยากรเครื่องน้อย เอาง่ายๆเครื่องคิดเลขไม่ได้กินทรัพยากรเครื่อง
3.อย่างที่ผมบอกว่า Gen AI ผมไม่เห็นว่าจะเอามาฉลาดกว่ามนุษย์ได้เพราะมันถูก feed ข้อมูลที่มนุษย์คิดมาก่อนอยู่แล้วเข้าไป อย่างมากมันก็แค่ใช้ข้อมูลพวกนั้นเพื่อให้คำตอบที่ใกล้เคียงที่สุด ไม่ใช่เพราะมันรู้และเข้าใจคำตอบได้จริงๆ แต่อย่างที่คุณบอกมันเป็นเชิง stat มากกว่า ซึ่งถ้า AI จะฉลาดกว่ามนุษย์ได้ต้องไม่ใช่แค่เติมคำในช่องว่างจากสถิติ มันต้องสามารถเรียนรุ้เองได้ คิดอะไรใหม่ๆเองได้
AI ไม่ได้เก่งกว่าคนที่คิดค้น AI
แต่เก่งกว่าคนทั่วไปที่ไม่ได้คิด AI และมีส่วนมากของประชากรโลกค่ะ
แต่ AI ก็มีหลากหลายตัวช่วยกันทำงานได้ อย่า chatgpt มันทำงานเบื้องหลังอยู่หลายตัว ไม่ใช่แค่ model ภาษาอย่างเดียวค่ะ
ขออภัยนะคะ ตั้งแต่หัวกระทู้ไม่มีการยก Generative AI ขึ้นมา และหนูก็ไม่ได้พูดถึงเฉพาะ Gen AI เพราะการทำงานเบื้องหลังสามารถมีหลายตัวช่วยกันอยู่ได้ แต่หนูขอยืนยันว่ารัน AI ไม่ต้องใช้เครื่องใหญ่ ที่ใหญ่คือตอนเทรนค่ะ
หนูก็อ้างอิงจากข้อมูลที่เผยแพร่ อย่างโมเดลที่ทำโดยคนไทย ยังเก่งกว่าเด็กไทยไปแล้วเลยค่ะ โมเดล 7b เองนะคะ รันบนการ์ดจอได้ ดังนั้นหนูจึงยืนยันว่า ไม่ต้องใช้ data center สำหรับทำงานให้ได้เท่ามนุษย์
คุณบอกไม่ได้เจาะจง Gen AI แต่สิ่งที่คุณเอามาเถียงผมเรื่องขนาด data center เป็นการรัน model Gen AI ทั้งนั้น ผมงง ซึ่งผมก็บอกไว้แล้วถ้าพูดถึง Gen AI ยิ่ง model เล็กยิ่งความสามารถน้อยและเจาะจงมากยิ่งขึ้น ถึงรันบนร smar phone ได้มันก็ไม่ฉลาดกว่ามนุษย์ ตรงนี้คงไม่ต้องเถียงกันแล้ว ต่ให้ Gen AI ฉลาดกว่ามนุษย์ได้จริงๆต้องเป็น model ใหญ่มากๆ ไม่ก็ใช้หลายตัวมากๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆ
ผมว่าผมพูดจัดเจนแล้วนะว่าเวลาผมพูดถึง AI ที่ฉลาดกว่ามนุษย์ผมพูดถึงต้องเป็น AGI ไม่ใช่ Gen AI ด้วยเหตุผลหลายๆอย่างที่ผมอธิบายไปแล้วข้างบนว่าทำไม Gen AI ถึงจะไม่สามารถฉลาดกว่ามนุษย์ได้
AGI มันไม่มีจริงๆไงคะ แต่ไม่ได้หมายความว่ามันไม่ได้ฉลาดจริง
ความจริงคือ Multimodal AI คือมันทำงานร่วมกันต่อเนื่องกัน
เหมือนการเขียนโปรแกรมทั่วไปที่มีการไหลของข้อมูลไปทีละลำดับขั้นตอน
แต่การเขียนโปรแกรมนี้มนุษย์ไม่ได้เขียนเอง
เป็น AI มาเขียนว่า ข้อมูลแบบไหน ต้องใช้ Model ไหนตอบ
ได้ข้อมูลมาก็ไหล ไป Model อื่นๆ ไปจนกระทั้งได้ผลลัพธ์ออกไป
ไม่นับเรื่องการสร้างสรรค์หรืองานวิจัย AI มันสามารถคิดเล็กคิดน้อยได้ทั้งหมดที่คนไม่สนใจจนเกิดเป็นข้อมูล Insight ได้ ซึ่งคนต้องใช้เวลามากกว่ามันหลายพันหรือหลายล้านเท่ากว่าจะหาได้
ยืนยันคำเติมค่ะว่า AI ไม่ต้องรันบน data center ไม่ต้องเชื่อก็ได้ค่ะ
Generative AI มันตั้งอยู่บน LLM ซึ่งมันมีขนาดใหญ่ และใหญ่ที่สุดแล้ว
Model รูปภาพ การจำแนก การรู้จำ ต่างๆไม่ได้ใช้ทรัพยากรเยอะขนาดนั้น สามารถทำงานบน cpu ได้ด้วย อย่างระบบบัตรจอดรถตามห้างไม่ต้องใช้ถึง PC เอาแค่ arduino board ก็ติดตั้งใช้งานได้แล้ว AI อ่านป้ายทะเบียนไม่ต้องถึงกับรันอยู่บน data center แน่ๆ
สรุปนะคะ ถ้าไม่เชื่อรบกวนหาข้อมูลมาแปะก็ได้คะว่าทำบน Local PC ไม่ได้เพราะเหตุผลอะไร
เพราะหนูยืนยันคำเดิมว่าแม้แต่ LLM ก็รันบน GPU ได้ แต่ถ้าทำ Quantization แล้วจะลงไปอยู่บนมือถือได้ แต่ถ้ายังยืนยันว่าแค่ Generative AI ต้องรันบน data center เท่านั้นรบกวนแสดงข้อมูลให้ทีค่ะ
สมัยก่อนยังไม่มี llm ก็รันบนเครื่องธรรมดากันได้หมด
พอ llm มามันแค่บริโภคข้อมูลเยอะก็เลยต้องใช้เครื่องจำนวนเยอะสอน
พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่
ผมบอกตอนไหนหรอว่ารัน model บนเครื่อง PC ไมได้ ผมบอกว่ามันรัน model ตัวใหญ่ที่จะฉลาดกว่ามนุษย์ไม่ได้ ผมก็บอกอยู่ตัวเล็กรันได้ แต่ตัวเล็กมันไม่ได้ฉลาดกว่ามนุษย์
1.ประเด็น AGI ผมผมเคลียไปแล้วนะ ว่าถ้าคุณยังเชื่อว่า Gen AI สามารถฉลาดกว่ามนุษย์ได้ก็จบแล้วไม่ต้องคุยต่อ สำหรับผม AGI เท่านั้นที่มีโอกาสฉลาดกว่ามนุษย์จริงๆ
AGI ไม่มีจริง ถ้ามีมันไม่เรียก Artificial ค่ะ ปัจจุบันเป็นแค่นิยามของมนุษย์สายศิลป์
AI ปัจจุบันมันคือคนประดิษฐ์ทั้งหมด ดังนั้นแล้วการมีอยู่ของมันคือการสอนจากมนุษย์ มนุษย์คือผู้สอน
2.ประเด็น Data Center ผมไม่เคยพูดเลยว่าต้องเอา Datacenter มารัน Gen AI บ้าหรือเปล่า ผมบอกว่าจะ simulate processing power ของสมองมนุษย์ (ไม่ใช่ Gen AI ย้ำอีกครั้งนะ ) ต้องใช้ datacenter ขนาด 2-3 สนามฟุตบอล ซึ่งตรงนี้คุณไม่เข้าใจไง เพราะคุณเอะอะอะไรก็ gen AI gen AI model model เอ้ออ
ตั้งแต่เดิมหนูก็ไม่เคยพูด Gen AI คุณเป็นคนเริ่ม แต่หนูยกตัวอย่างให้เห็นว่า
แม้แต่ LLM mี่ว่าใหญ่ยังตั้งอยู่บน GPU ได้ ดังนั้นแล้วอะไรที่เล็กกว่าก็รันได้
ต่อมา ChatGPT-4o มันเป็น Multi Expert Model
มันคือ Model หลายๆตัวมาช่วยกันทำ ไม่ใช่ตัวเดียว
ไม่ต้องใช้ data center อะไรทั้งนั้น ไม่มีใครอยากเปิดไฟเล่น
แต่ละตัวก็รันบน GPU แค่ตัวเดียว พอหลายตัวก็เคลมว่าเป็นล้านล้านพารามีเตอร์
ผมไม่รู้ว่าท่านไปเอามาจากไหนนะว่า "พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่" เพราะความจริงคือ ขนาดของ vram/tpu แปรผันกับขนาด model เสมอยิ่ง
บอกทีว่าหนูข้อมูลผิดหรือเข้าใจอะไรผิด
ผิดตรงที่เข้าใจว่าผมพูดถึง Gen AI มีประโยคไหนผมบอกว่า Gen AI ต้องใช้สนามฟุตบอล 2-3 สนามเพื่อรันหรอครับ? น่าจะแยกไม่ออกระหว่าง AI + Gen AI หรือเปล่าครับ เพราะผมไม่ได้พูดถึง Gen AI เลยในเม้นแรก
จับใจความยังไง หนูพยายามบอกว่าแม้แต่ LLM ยังรันบน GPU ได้แล้วตัวอื่นๆที่เล็กกว่ามันจะรันมากกว่าได้อย่างไร ขอให้คิดแบบมีเหตุผล
เมื่อก่อนมันไม่มีอะไรใหญ่จนกระทั้งการมาของ Large Language Model ซึ่งมันใหญ่กว่าตระกูลอื่น
ดังนั้นแล้วการรัน AI ใดๆก็ตามไม่ต้องใช้ data center ทั้งนั้น
แสดงว่าคุณไม่ได้เรียน หรือไม่เคยเขียน AI มาเลยคุณจึงไม่เข้าใจเรื่อง หลักการคิดของ AI ตั้งแต่ต้น
Model ใหญ่ ย่อให้เล็ก เท่า Model เล็ก สมมติ 70b > 7b โมเดลใหญ่ย่อเล็กฉลากกว่า อ่านได้จากตรงนี้
แต่สิ่งที่น่าจะเข้าใจผิดคือ model มีโอกาสจะฉลาดกว่ามนุษย์จริงๆไม่มีทางขนาดแค่ 7B หรือรัน quantize 8bit 16bit แน่นอน ต้องรันเต็มประสิทธิภาพถึงจะมีโอกาส ยกตัวอย่างเช่น model ที่ advance ที่สุดตัวหนึ่งของโลก gpt-4, Gemini 1.5 pro ตอนนี้ก็ไปถึง 1.7 Trillion param แล้วครับถึงฉลาดขนาดนั้นได้
เขาใช้จริงกันไปหมดแล้ว ถ้าเคยทำ Model จะต้องรู้ว่าต้องลดการกินไฟและการใช้ทรัพยากรลงเรื่อยๆ ขนาดเขียนโปรแกรมยังต้องรู้จักทำ Mocri service เขียน AI ก็ต้องทำ multimodal แยกเป็นเปลาย expert
มี expert model 70b quantize4bit 1 ตัว หรือ n ตัวก็ใช้ memory เท่า 1 ตัว เพราะมันทำงานทีละตัว ไม่ต้องเปิดไฟสแตนบายรอคำสั่ง
อย่าไปหลงว่า Open AI ใช้ general model 1 ตัวทำทุกอย่าง จริงๆมันคือหลายตัวช่วยกันทำค่ะ บอก 100b จริงๆอาจจะ 10b 10 ตัวก็ได้ค่ะ
จับใจความยังไง หนูพยายามบอกว่าแม้แต่ LLM ยังรันบน GPU ได้แล้วตัวอื่นๆที่เล็กกว่ามันจะรันมากกว่าได้อย่างไร ขอให้คิดแบบมีเหตุผล
เมื่อก่อนมันไม่มีอะไรใหญ่จนกระทั้งการมาของ Large Language Model ซึ่งมันใหญ่กว่าตระกูลอื่น
ดังนั้นแล้วการรัน AI ใดๆก็ตามไม่ต้องใช้ data center ทั้งนั้น
อืมผมว่าคุณน่าจะยังไม่เข้าใจว่า model ที่ฉลาดพอๆหรือมากกว่ามนุษย์มันต้องใหญ่ขนาดไหน คุณยังติดภาพ 7B param อยู่ อธิบายยังไงก้ไม่เห็นภาพสักที ผมท้อละ ในเมื่อคุณยังคิดว่า 7B param ฉลาดกว่ามนุษย์ผมก็คงต้องปล่อยคุณไป
แสดงว่าคุณไม่ได้เรียน หรือไม่เคยเขียน AI มาเลยคุณจึงไม่เข้าใจเรื่อง หลักการคิดของ AI ตั้งแต่ต้น
Model ใหญ่ ย่อให้เล็ก เท่า Model เล็ก สมมติ 70b > 7b โมเดลใหญ่ย่อเล็กฉลากกว่า
ถ้าคุณอยากจะพิศูจน์คุณอัดหน้าจอตอนที่คุณรัน GPT-4 model บนเครื่องตัวเองให้ผมดูครับแล้วผมจะเชื่อ ไม่เอาพวกตัวเล็กกระจอกๆนะ เอาของแทร้เต็มประสิทธิภาพฉลาดที่สุด
ที่สุดแล้วถ้าคุณยังคิดว่า quantize แล้วมันฉลาดเท่าเดิม คิดง่ายๆทำไมไม่ quantize เหลือ 1 bit แม่มเลยแล้วรันบร arduino ทำไม apple intelligence ยังต้องแบ่ง process Local กับ cloud ทำไม Microsoft laptop อันใหม่ต้องสร้าง model ตัวเล็กมาทำ local proessing บาง task เท่านั้น นอกนั้นยังใช้ cloud
สรุปว่า Model สามารถย่อได้ สามารถสกัดข้อมูลออกมา และสามารถคำนวนได้ค่ะ
งานวิจัยพวกนี้ทำมานานแล้ว ที่เราเห็นเขาทำเล่นใหญ่เพราะเขามีคนที่ต้องให้บริการมาก ไม่ได้ใช้งานคนเดียว
1.llma 3 มันมีหลายเวอร์ชั่นไอ่ตัวเล็กๆรันได้ใน high end gaming card อย่างที่ผมบอกไปไงแต่มันรัน model ตัวใหญ่ไม่ได้ แถมถึงรันได้ performance ก็ช้ากว่าใช้พวก H100 H200 ไม่ทันกินหรอกครับไม่ใช่ว่าแค่ vram ถึงแล้วจะเอามาใช้งาน production grade ได้นะครับ 4070 cuda core 5พันกว่า tensor 180 เอง H200 x4 เข้าไปเลยครับ ยิ่งเวอร์ชั่นรันบน smart phone คือ model เล็กมากๆๆ ใช้ process พวก task ง่ายๆเท่านั้น ไม่ใกล้เคียงกับคำว่าฉลาด - ทำได้ด้วยการ Quantization ลดจุดทศนิยมในการคิดลงจาก 16bit เหลือ 4bit โมเดลจะลดลงไปเยอะ
หนูทำใช้งานจริงมาแล้ว 70b quantize4 สมมติคิดเลข 1.1234567890123456 กับ 1.1234 ค่าไม่ต่างกันมาก แต่กิน memory ต่างกันมาก ความผิดพลาดมีได้แต่ไม่ใช่แบบคนละเรื่องกัน https://www.reddit.com/r/LocalLLaMA/comments/1cj4det/llama_3_70b_instruct_works_surprisingly_well_on/
2.ที่ผมบอกใช้ data center เท่า 2-3 สนามฟุตบอลคือจำลอง processing power ของสมองคนจริงๆครับ (ตอนนี้มีพวก black well แล้วอาจจะไม่ได้ใหญ่เท่า 2-3 สนามแต่ก็ใหญ่อยู่ดี) ซึ่ง processing power สมองคนเรามันไม่ใช่แค่การเติมคำในช่องว่างเหมือน Gen AI ไงครับ มันซับซ้อนกว่านั้นเยอะมากๆ
อย่างที่บอกว่า llm เบื้องหลังคือหลักสถิติมันคำนวนไม่ได้
แต่สามารถใช้สกัดข้อมูลออกมาได้ ดังนั้นไม่ใช่แค่เติมคำ
ต่อมานำข้อมูลที่ได้ โยนเข้า Machine Learning ธรรมดาที่ใช้ทรัพยากรเครื่องน้อย เอาง่ายๆเครื่องคิดเลขไม่ได้กินทรัพยากรเครื่อง
3.อย่างที่ผมบอกว่า Gen AI ผมไม่เห็นว่าจะเอามาฉลาดกว่ามนุษย์ได้เพราะมันถูก feed ข้อมูลที่มนุษย์คิดมาก่อนอยู่แล้วเข้าไป อย่างมากมันก็แค่ใช้ข้อมูลพวกนั้นเพื่อให้คำตอบที่ใกล้เคียงที่สุด ไม่ใช่เพราะมันรู้และเข้าใจคำตอบได้จริงๆ แต่อย่างที่คุณบอกมันเป็นเชิง stat มากกว่า ซึ่งถ้า AI จะฉลาดกว่ามนุษย์ได้ต้องไม่ใช่แค่เติมคำในช่องว่างจากสถิติ มันต้องสามารถเรียนรุ้เองได้ คิดอะไรใหม่ๆเองได้
AI ไม่ได้เก่งกว่าคนที่คิดค้น AI
แต่เก่งกว่าคนทั่วไปที่ไม่ได้คิด AI และมีส่วนมากของประชากรโลกค่ะ
แต่ AI ก็มีหลากหลายตัวช่วยกันทำงานได้ อย่า chatgpt มันทำงานเบื้องหลังอยู่หลายตัว ไม่ใช่แค่ model ภาษาอย่างเดียวค่ะ
ขออภัยนะคะ ตั้งแต่หัวกระทู้ไม่มีการยก Generative AI ขึ้นมา และหนูก็ไม่ได้พูดถึงเฉพาะ Gen AI เพราะการทำงานเบื้องหลังสามารถมีหลายตัวช่วยกันอยู่ได้ แต่หนูขอยืนยันว่ารัน AI ไม่ต้องใช้เครื่องใหญ่ ที่ใหญ่คือตอนเทรนค่ะ
หนูก็อ้างอิงจากข้อมูลที่เผยแพร่ อย่างโมเดลที่ทำโดยคนไทย ยังเก่งกว่าเด็กไทยไปแล้วเลยค่ะ โมเดล 7b เองนะคะ รันบนการ์ดจอได้ ดังนั้นหนูจึงยืนยันว่า ไม่ต้องใช้ data center สำหรับทำงานให้ได้เท่ามนุษย์
คุณบอกไม่ได้เจาะจง Gen AI แต่สิ่งที่คุณเอามาเถียงผมเรื่องขนาด data center เป็นการรัน model Gen AI ทั้งนั้น ผมงง ซึ่งผมก็บอกไว้แล้วถ้าพูดถึง Gen AI ยิ่ง model เล็กยิ่งความสามารถน้อยและเจาะจงมากยิ่งขึ้น ถึงรันบนร smar phone ได้มันก็ไม่ฉลาดกว่ามนุษย์ ตรงนี้คงไม่ต้องเถียงกันแล้ว ต่ให้ Gen AI ฉลาดกว่ามนุษย์ได้จริงๆต้องเป็น model ใหญ่มากๆ ไม่ก็ใช้หลายตัวมากๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆๆ
ผมว่าผมพูดจัดเจนแล้วนะว่าเวลาผมพูดถึง AI ที่ฉลาดกว่ามนุษย์ผมพูดถึงต้องเป็น AGI ไม่ใช่ Gen AI ด้วยเหตุผลหลายๆอย่างที่ผมอธิบายไปแล้วข้างบนว่าทำไม Gen AI ถึงจะไม่สามารถฉลาดกว่ามนุษย์ได้
AGI มันไม่มีจริงๆไงคะ แต่ไม่ได้หมายความว่ามันไม่ได้ฉลาดจริง
ความจริงคือ Multimodal AI คือมันทำงานร่วมกันต่อเนื่องกัน
เหมือนการเขียนโปรแกรมทั่วไปที่มีการไหลของข้อมูลไปทีละลำดับขั้นตอน
แต่การเขียนโปรแกรมนี้มนุษย์ไม่ได้เขียนเอง
เป็น AI มาเขียนว่า ข้อมูลแบบไหน ต้องใช้ Model ไหนตอบ
ได้ข้อมูลมาก็ไหล ไป Model อื่นๆ ไปจนกระทั้งได้ผลลัพธ์ออกไป
ไม่นับเรื่องการสร้างสรรค์หรืองานวิจัย AI มันสามารถคิดเล็กคิดน้อยได้ทั้งหมดที่คนไม่สนใจจนเกิดเป็นข้อมูล Insight ได้ ซึ่งคนต้องใช้เวลามากกว่ามันหลายพันหรือหลายล้านเท่ากว่าจะหาได้
ยืนยันคำเติมค่ะว่า AI ไม่ต้องรันบน data center ไม่ต้องเชื่อก็ได้ค่ะ
Generative AI มันตั้งอยู่บน LLM ซึ่งมันมีขนาดใหญ่ และใหญ่ที่สุดแล้ว
Model รูปภาพ การจำแนก การรู้จำ ต่างๆไม่ได้ใช้ทรัพยากรเยอะขนาดนั้น สามารถทำงานบน cpu ได้ด้วย อย่างระบบบัตรจอดรถตามห้างไม่ต้องใช้ถึง PC เอาแค่ arduino board ก็ติดตั้งใช้งานได้แล้ว AI อ่านป้ายทะเบียนไม่ต้องถึงกับรันอยู่บน data center แน่ๆ
สรุปนะคะ ถ้าไม่เชื่อรบกวนหาข้อมูลมาแปะก็ได้คะว่าทำบน Local PC ไม่ได้เพราะเหตุผลอะไร
เพราะหนูยืนยันคำเดิมว่าแม้แต่ LLM ก็รันบน GPU ได้ แต่ถ้าทำ Quantization แล้วจะลงไปอยู่บนมือถือได้ แต่ถ้ายังยืนยันว่าแค่ Generative AI ต้องรันบน data center เท่านั้นรบกวนแสดงข้อมูลให้ทีค่ะ
สมัยก่อนยังไม่มี llm ก็รันบนเครื่องธรรมดากันได้หมด
พอ llm มามันแค่บริโภคข้อมูลเยอะก็เลยต้องใช้เครื่องจำนวนเยอะสอน
พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่
ผมบอกตอนไหนหรอว่ารัน model บนเครื่อง PC ไมได้ ผมบอกว่ามันรัน model ตัวใหญ่ที่จะฉลาดกว่ามนุษย์ไม่ได้ ผมก็บอกอยู่ตัวเล็กรันได้ แต่ตัวเล็กมันไม่ได้ฉลาดกว่ามนุษย์
1.ประเด็น AGI ผมผมเคลียไปแล้วนะ ว่าถ้าคุณยังเชื่อว่า Gen AI สามารถฉลาดกว่ามนุษย์ได้ก็จบแล้วไม่ต้องคุยต่อ สำหรับผม AGI เท่านั้นที่มีโอกาสฉลาดกว่ามนุษย์จริงๆ
AGI ไม่มีจริง ถ้ามีมันไม่เรียก Artificial ค่ะ ปัจจุบันเป็นแค่นิยามของมนุษย์สายศิลป์
AI ปัจจุบันมันคือคนประดิษฐ์ทั้งหมด ดังนั้นแล้วการมีอยู่ของมันคือการสอนจากมนุษย์ มนุษย์คือผู้สอน
2.ประเด็น Data Center ผมไม่เคยพูดเลยว่าต้องเอา Datacenter มารัน Gen AI บ้าหรือเปล่า ผมบอกว่าจะ simulate processing power ของสมองมนุษย์ (ไม่ใช่ Gen AI ย้ำอีกครั้งนะ ) ต้องใช้ datacenter ขนาด 2-3 สนามฟุตบอล ซึ่งตรงนี้คุณไม่เข้าใจไง เพราะคุณเอะอะอะไรก็ gen AI gen AI model model เอ้ออ
ตั้งแต่เดิมหนูก็ไม่เคยพูด Gen AI คุณเป็นคนเริ่ม แต่หนูยกตัวอย่างให้เห็นว่า
แม้แต่ LLM mี่ว่าใหญ่ยังตั้งอยู่บน GPU ได้ ดังนั้นแล้วอะไรที่เล็กกว่าก็รันได้
ต่อมา ChatGPT-4o มันเป็น Multi Expert Model
มันคือ Model หลายๆตัวมาช่วยกันทำ ไม่ใช่ตัวเดียว
ไม่ต้องใช้ data center อะไรทั้งนั้น ไม่มีใครอยากเปิดไฟเล่น
แต่ละตัวก็รันบน GPU แค่ตัวเดียว พอหลายตัวก็เคลมว่าเป็นล้านล้านพารามีเตอร์
ผมไม่รู้ว่าท่านไปเอามาจากไหนนะว่า "พอสอนเสร็จได้โครงของโปรแกรมมา ก็ใช้ model นั้นแหละอันไม่ใหญ่" เพราะความจริงคือ ขนาดของ vram/tpu แปรผันกับขนาด model เสมอยิ่ง
บอกทีว่าหนูข้อมูลผิดหรือเข้าใจอะไรผิด
ผิดตรงที่เข้าใจว่าผมพูดถึง Gen AI มีประโยคไหนผมบอกว่า Gen AI ต้องใช้สนามฟุตบอล 2-3 สนามเพื่อรันหรอครับ? น่าจะแยกไม่ออกระหว่าง AI + Gen AI หรือเปล่าครับ เพราะผมไม่ได้พูดถึง Gen AI เลยในเม้นแรก
จับใจความยังไง หนูพยายามบอกว่าแม้แต่ LLM ยังรันบน GPU ได้แล้วตัวอื่นๆที่เล็กกว่ามันจะรันมากกว่าได้อย่างไร ขอให้คิดแบบมีเหตุผล
เมื่อก่อนมันไม่มีอะไรใหญ่จนกระทั้งการมาของ Large Language Model ซึ่งมันใหญ่กว่าตระกูลอื่น
ดังนั้นแล้วการรัน AI ใดๆก็ตามไม่ต้องใช้ data center ทั้งนั้น
แสดงว่าคุณไม่ได้เรียน หรือไม่เคยเขียน AI มาเลยคุณจึงไม่เข้าใจเรื่อง หลักการคิดของ AI ตั้งแต่ต้น
Model ใหญ่ ย่อให้เล็ก เท่า Model เล็ก สมมติ 70b > 7b โมเดลใหญ่ย่อเล็กฉลากกว่า อ่านได้จากตรงนี้
แต่สิ่งที่น่าจะเข้าใจผิดคือ model มีโอกาสจะฉลาดกว่ามนุษย์จริงๆไม่มีทางขนาดแค่ 7B หรือรัน quantize 8bit 16bit แน่นอน ต้องรันเต็มประสิทธิภาพถึงจะมีโอกาส ยกตัวอย่างเช่น model ที่ advance ที่สุดตัวหนึ่งของโลก gpt-4, Gemini 1.5 pro ตอนนี้ก็ไปถึง 1.7 Trillion param แล้วครับถึงฉลาดขนาดนั้นได้
เขาใช้จริงกันไปหมดแล้ว ถ้าเคยทำ Model จะต้องรู้ว่าต้องลดการกินไฟและการใช้ทรัพยากรลงเรื่อยๆ ขนาดเขียนโปรแกรมยังต้องรู้จักทำ Mocri service เขียน AI ก็ต้องทำ multimodal แยกเป็นเปลาย expert
มี expert model 70b quantize4bit 1 ตัว หรือ n ตัวก็ใช้ memory เท่า 1 ตัว เพราะมันทำงานทีละตัว ไม่ต้องเปิดไฟสแตนบายรอคำสั่ง
อย่าไปหลงว่า Open AI ใช้ general model 1 ตัวทำทุกอย่าง จริงๆมันคือหลายตัวช่วยกันทำค่ะ บอก 100b จริงๆอาจจะ 10b 10 ตัวก็ได้ค่ะ
จับใจความยังไง หนูพยายามบอกว่าแม้แต่ LLM ยังรันบน GPU ได้แล้วตัวอื่นๆที่เล็กกว่ามันจะรันมากกว่าได้อย่างไร ขอให้คิดแบบมีเหตุผล
เมื่อก่อนมันไม่มีอะไรใหญ่จนกระทั้งการมาของ Large Language Model ซึ่งมันใหญ่กว่าตระกูลอื่น
ดังนั้นแล้วการรัน AI ใดๆก็ตามไม่ต้องใช้ data center ทั้งนั้น
อืมผมว่าคุณน่าจะยังไม่เข้าใจว่า model ที่ฉลาดพอๆหรือมากกว่ามนุษย์มันต้องใหญ่ขนาดไหน คุณยังติดภาพ 7B param อยู่ อธิบายยังไงก้ไม่เห็นภาพสักที ผมท้อละ ในเมื่อคุณยังคิดว่า 7B param ฉลาดกว่ามนุษย์ผมก็คงต้องปล่อยคุณไป
แสดงว่าคุณไม่ได้เรียน หรือไม่เคยเขียน AI มาเลยคุณจึงไม่เข้าใจเรื่อง หลักการคิดของ AI ตั้งแต่ต้น
Model ใหญ่ ย่อให้เล็ก เท่า Model เล็ก สมมติ 70b > 7b โมเดลใหญ่ย่อเล็กฉลากกว่า
1. base model 7b เพียงพอต่อการใช้งานเฉพาะทางแล้ว และเก่งกว่าประชากรบนโลกแล้ว จากผลการทำข้อสอบ ถ้าไม่เชื่อมาตราวัดนี้ ก็เสนอมาว่าให้เขาต้องพิสูจน์ด้วยอะไร เดี๋ยวหนูเอาไปตีเปเปอร์ให้เครดิตด้วย
การที่คุณพูดว่าของแทร่เต็มประสิทธิภาพนั้นแปลว่าคุณไม่เข้าใจว่าแตกย่อยเป็น expert model เลย และไม่เข้าใจว่า model ขนาดนั้นมันไมไ่ด้ทำด้วยตัว model ตัวเดียว
---
ยื่นยันเหมือนเดิมว่า model ฉลาดกว่ามนุษย์ธรรมดา ก็สามารถรันบน gpu ได้โดยไม่ต้องไปที่ datacenter เพราะมีการใช้งานแผ่พลายไปแล้ว มีองค์กรนำไปใช้มากมาย
: 0 ใบ
: 0 ใบ
ผมบอกว่ามันรัน model ตัวใหญ่ที่จะฉลาดกว่ามนุษย์ไม่ได้ ผมก็บอกอยู่ตัวเล็กรันได้ แต่ตัวเล็กมันไม่ได้ฉลาดกว่ามนุษย์ 
) ต้องใช้ datacenter ขนาด 2-3 สนามฟุตบอล ซึ่งตรงนี้คุณไม่เข้าใจไง เพราะคุณเอะอะอะไรก็ gen AI gen AI model model เอ้ออ 
โถสภาพพพพพพ ไปเอา bare minimum param model มาแล้วมาเคลมว่าฉลาดกว่ามนุษย์หรอ พวก Gpt-4 นี่ 1.76 trillion param นะครับ 
ในการรัน เพราะฉะนั้นตัด PC กับ smartphone ทิ้งไปได้เลย ขนาด Apple Intelligence ยังแบ่งงาน งานง่ายๆใช้ model ตัวเล็ก process บน iphone ส่วนงานยากๆส่งขึ้น cloud ครับ
My Locker