चीनी स्टार्ट-अप डीपसेक ने आर्टिफिशियल इंटेलिजेंस यूनिवर्स को हिला दिया

व्यक्तिगत रूप से, प्रत्येक एआई में एक महत्वपूर्ण छलांग है; साथ में, यह और भी अधिक है।

सिवाय, 20 जनवरी को कुछ और हुआ, इन सभी ने ओवरशैड किया। चीन के अपेक्षाकृत अज्ञात डीपसेक ने एआई मॉडल की एक नई पीढ़ी लॉन्च की, जो यूएस बिग टेक द्वारा विकसित लोगों के साथ प्रतिस्पर्धा करती है, लेकिन लागत के एक अंश पर।

अचानक, हर कोई केवल दीपसेक के बारे में बात कर रहा है, जिसका लॉन्च यह भी उजागर करता है कि अमेरिकी प्रतिबंधों का मतलब था कि चीन की एआई प्रगति को धीमा करने के लिए वास्तव में काम नहीं किया है। इसमें एक सप्ताह का समय लगा, लेकिन दीपसेक के लिए ध्यान ने अपने एआई सहायक को संयुक्त राज्य अमेरिका में ऐप्पल के ऐप स्टोर पर उपलब्ध शीर्ष-रेटेड फ्री एप्लिकेशन बना दिया। ऐप ने एंड्रॉइड फोन के लिए Google के प्ले स्टोर पर एक मिलियन से अधिक डाउनलोड भी किए हैं।

इसके अलावा, दीपसेक के आसपास के उत्साह ने सोमवार को अमेरिकी बाजारों में एक रूट को उकसाया, जो 18 महीनों में बढ़ी है, जो अमेरिकी एआई कंपनियों को प्यूमेल कर रही है।

नैस्डैक ने प्रारंभिक व्यापार में 3% से अधिक की डुबकी लगाई, क्योंकि एआई की ओर दौड़ में एक अमेरिकी पेससेटर चिप दिग्गज एनवीडिया के रूप में, 13% गिर गया, बाजार मूल्य में $ 465 बिलियन की हिट – अमेरिकी बाजार के इतिहास में सबसे बड़ा।

इससे भी बदतर, दीपसेक, जो लगभग सभी मेट्रिक्स पर अन्य एआई मॉडल को आगे बढ़ाता है, जो कि प्रशिक्षण की लागत, हार्डवेयर, क्षमता और उपलब्धता तक पहुंच – अकेले नहीं है। एक अन्य चीनी फर्म मूनशॉट एआई ने किमी चैट नामक एक चैटबॉट जारी किया है, जिसमें माना जाता है कि ओपनई की नवीनतम पीढ़ी के ओ 1 लार्ज लैंग्वेज मॉडल (एलएलएम) के समान क्षमताएं हैं।

दीपसेक ने अपने वी 3 मॉडल को प्रशिक्षित करने के लिए लगभग 5.5 मिलियन डॉलर खर्च करने का दावा किया है, एक ही परिणाम देने के लिए काफी मितव्ययी दृष्टिकोण है, जिसने Google, Openai, मेटा और अन्य लोगों की पसंद को प्राप्त किया, जो सैकड़ों लाखों डॉलर निवेश को प्राप्त करने के लिए थे।

Epoch.ai के शोध के अनुसार, Google और Openai ने 2023 में क्रमशः $ 70 मिलियन और $ 100 मिलियन के बीच मिथुन 1.0 अल्ट्रा और GPT-4 फ्रंटियर मॉडल को प्रशिक्षित करने के लिए खर्च किया।

दीपसेक द्वारा जारी की गई जानकारी से जो कुछ है, वह हार्डवेयर की मितव्ययिता भी है।

“मुझे NVIDIA A100 और H100 GPU के संयोजन पर प्रशिक्षित किया गया था,” दीपसेक चैटबॉट हमें बताता है। यह एक सटीक संख्या साझा नहीं करता है, और यह R1 मॉडल के लिए विशिष्ट है।

दीपसेक के सीईओ लियांग वेनफेंग एक अरबपति हैं, जो एक हेज फंड चलाते हैं और डीपसेक को वित्तपोषित कर रहे हैं, जिसने कथित तौर पर अन्य चीनी तकनीकी कंपनियों से शीर्ष प्रतिभा को काम पर रखा है, जिसमें बाईडेंस और टेन्सेंट शामिल हैं।

यह सुनिश्चित करने के लिए, दीपसेक स्पष्ट रूप से चीन पर अपनी प्रतिक्रियाओं के बारे में सावधान है।

उदाहरण के लिए, इस लेखक के एक प्रश्न के जवाब में, चुनौतियों की एक सूची में, मानवाधिकारों सहित, चीन का सामना करना, दीपसेक ने इंटरनेट सेंसरशिप, शहरी-ग्रामीण विभाजन, आवास बाजार की जटिलताओं और शिनजियांग में उइघुर मुसलमानों के उपचार सहित कई सूचीबद्ध कई सूचीबद्ध हैं। , इससे पहले कि इसे मिटा दिया गया और एक सरल “” क्षमा करें, यह मेरे वर्तमान दायरे से परे है। चलो कुछ अलग से इसके बारे मे बात करते है।”

यह चीन के सामने आर्थिक चुनौतियों पर और भारत और अमेरिका द्वारा सामना की जाने वाली आर्थिक और सामाजिक चुनौतियों पर भी बहुत अधिक आगामी था।

दीपसेक, यह उभरता है, अब कुछ समय के लिए इस पर रहा है, बस यह कि कोई भी वास्तव में नहीं देख रहा था। डीपसेक कोडर को 2023 के अंत में जारी किया गया था, और 2024 के माध्यम से, इसके बाद 67 बिलियन पैरामीटर डीपसेक एलएलएम, डीपसेक वी 2, एक अधिक उन्नत डीपसेक कोडर वी 2 236 बिलियन मापदंडों के साथ, 671 बिलियन पैरामीटर डीपसेक वी 3 और साथ ही साथ साथ ही साथ जारी किया गया था। डीपसेक आर 1 के 32 बिलियन और 70 बिलियन मॉडल।

“एक बजट का एक मजाक,” कैसे आंद्रेज करपथी, यूरेखलाबसाई के संस्थापक, कंपनी की यह सब अपने प्रशिक्षण खर्च के साथ यह सब करने की उपलब्धि का वर्णन करते हैं। वह केवल एक ही नहीं है।

“डीपसेक अब ऐप स्टोर पर नंबर 1 है, चैट को पार कर रहा है – कोई एनवीडिया सुपर कंप्यूटर या $ 100 मीटर की जरूरत नहीं है। एआई का असली खजाना यूआई या मॉडल नहीं है – वे वस्तु बन गए हैं। वास्तविक मूल्य डेटा और मेटाडेटा में निहित है, ऑक्सीजन एआई की क्षमता को ईंधन दे रहा है, ”सेल्सफोर्स के सीईओ मार्क बेनिओफ ने एक्स पर एक पोस्ट में लिखा।

विश्लेषक पहले से ही एआई अर्थशास्त्र के टिपिंग पॉइंट कह रहे हैं। यह देखना आसान है कि क्यों: डीपसेक आर 1 के एपीआई की लागत $ 0.55 प्रति मिलियन प्रति मिलियन इनपुट टोकन और $ 2.19 प्रति मिलियन आउटपुट टोकन है। इसकी तुलना में, Openai के API की लागत आमतौर पर $ 15 प्रति मिलियन इनपुट और $ 60 प्रति मिलियन आउटपुट टोकन होती है।

Openai के O1 मॉडल की तरह, R1 भी प्रबलित सीखने, या RL का उपयोग करता है। इसका मतलब है, मॉडल एल्गोरिथम पुरस्कारों के माध्यम से परीक्षण और त्रुटि और आत्म-सुधार के माध्यम से सीखते हैं, कुछ ऐसा जो तर्क क्षमताओं को विकसित करता है। मॉडल उनकी बातचीत के आधार पर प्रतिक्रिया प्राप्त करके सीखते हैं।

R1 के साथ, दीपसेक ने AI मॉडल के लिए पारंपरिक दृष्टिकोण को पुनः प्राप्त किया। पारंपरिक जनरेटिव और प्रासंगिक एआई यूएसईएस 32-बिट फ्लोटिंग पॉइंट्स (एक फ्लोटिंग पॉइंट बड़ी और छोटी संख्या को एनकोड करने का एक तरीका है)। दीपसेक का दृष्टिकोण सटीकता से समझौता किए बिना, 8-बिट फ़ॉलिंग पॉइंट का उपयोग करता है। वास्तव में, यह कई कार्यों में GPT-4 और क्लाउड से बेहतर है। परिणाम, एआई को चलाने के लिए 75% कम मेमोरी की आवश्यकता थी।

फिर बहु-टोकन प्रणाली है जो संपूर्ण वाक्यांशों को पढ़ती है और एक पर शब्दों का सेट, अनुक्रम के बजाय और एक-एक करके। इसका मतलब है कि AI दो बार तेजी से जवाब देने में सक्षम होगा।

दीपसेक के मिश्रण-के-विशेषज्ञ (एमओई) भाषा मॉडल एक विकास भी है। उदाहरण के लिए, डीपसेक वी 3, कुल 671 बिलियन मापदंडों के साथ, प्रत्येक टोकन के लिए 37 बिलियन मापदंडों को सक्रिय करेगा – कुंजी है, ये पैरामीटर उस विशिष्ट टोकन के लिए सबसे अधिक प्रासंगिक हैं।

“एक बड़े पैमाने पर एआई के बजाय सब कुछ जानने की कोशिश कर रहा है (जैसे कि एक व्यक्ति एक डॉक्टर, वकील, और इंजीनियर होना), उनके पास विशेष विशेषज्ञ हैं जो केवल जरूरत पड़ने पर जागते हैं,” मॉर्गन ब्राउन, उत्पाद और विकास के वीपी बताते हैं – एआई, एआई, एआई, ड्रॉपबॉक्स पर। पारंपरिक मॉडल प्रत्येक टोकन और क्वेरी के लिए सभी मापदंडों को सक्रिय रखते हैं।

बेशक, दीपसेक, मूनशॉट एआई और चीन की अन्य सभी तकनीकी कंपनियों से जुड़ी आशंका है। किसी भी चीनी टेक कंपनी की निकटता (ज्ञात, या अन्यथा) के बारे में प्रश्न सरकार के साथ हमेशा स्पॉटलाइट में होंगे जब यह डेटा साझा करने की बात आती है।

सामान्य रूप से नवीनतम पीढ़ी के जीपीयू और एआई चिप्स के लिए चीनी टेक की पहुंच के बारे में स्पष्टता की कमी भी है। सेमियालिसिस ‘डायलन पटेल का अनुमान है कि डीपसेक में 50,000 एनवीडिया जीपीयू हैं, और 10,000 नहीं हैं जैसा कि कुछ ऑनलाइन बकबक सुझाव देते हैं।

NVIDIA A100 (लगभग $ 16,000 प्रत्येक, 2020 में लॉन्च किया गया) और H100 (2022 में लॉन्च किया गया $ 30,000 चिप) सिलिकॉन वैली की पहुंच की तुलना में एज चिप्स को काट नहीं रहे हैं, लेकिन यह स्पष्ट नहीं है कि एक चीनी तकनीक कंपनी कैसे रखी गई है। उन पर हाथ।

कंपनी ने आधिकारिक तौर पर इन बारीकियों को विस्तृत नहीं किया है। यह संभावना नहीं है कि अगर दुनिया हर उस सभी हार्डवेयर को जान लेगी जो खेल में था, और यह कैसे खट्टा था। हालांकि, यह आर 1 बनाने की सही लागत को प्रकट कर सकता है, और इससे पहले कि मॉडल।