অ্যান্ড্রয়েড অথরিটির মতে, অ্যাপলের গবেষণাপত্রে সীমিত র্যামযুক্ত ডিভাইসে বৃহৎ ভাষার মডেল (LLM) চালানোর একটি সমাধানের বিস্তারিত বর্ণনা দেওয়া হয়েছে। গবেষণাপত্রটি প্রকাশ করে যে কীভাবে কোম্পানি "মডেল প্যারামিটার" সংরক্ষণ করতে পারে এবং প্রয়োজনে সেগুলির একটি অংশ ডিভাইসের র্যামে লোড করতে পারে, পুরো মডেলটি র্যামে লোড করার পরিবর্তে।
কম র্যামের পুরোনো আইফোনগুলোকে সাধারণ এআই চালাতে সাহায্য করার চেষ্টা করছে অ্যাপল
গবেষণাপত্রটিতে দাবি করা হয়েছে যে এই পদ্ধতিটি এমন মডেলগুলি চালানোর অনুমতি দেয় যেগুলিতে আইফোনের দ্বিগুণ র্যামের প্রয়োজন হয়, একই সাথে সিপিইউ এবং জিপিইউতে সহজ লোডিং পদ্ধতির তুলনায় যথাক্রমে ৪-৫x এবং ২০-২৫x ইনফারেন্স গতি নিশ্চিত করে।
বেশি RAM আছে এমন ডিভাইসে সিন্থেটিক AI স্থাপন করা একটি বিশাল সুবিধা হবে কারণ এটি দ্রুত পঠন/লেখার গতি প্রদান করবে। ডিভাইসে থাকা AI-এর জন্য গতি গুরুত্বপূর্ণ, যা অনেক দ্রুত অনুমানের সময় প্রদান করে কারণ ব্যবহারকারীদের প্রতিক্রিয়া বা চূড়ান্ত ফলাফলের জন্য দশ সেকেন্ড (বা তার বেশি) অপেক্ষা করতে হয় না। এর অর্থ হল একটি ডিভাইসে থাকা AI সহকারী সম্ভাব্যভাবে কথোপকথনের গতিতে চলতে পারে, ছবি/টেক্সট অনেক দ্রুত তৈরি করতে পারে, দ্রুত নিবন্ধগুলি সংক্ষিপ্ত করতে পারে ইত্যাদি। কিন্তু অ্যাপলের সমাধানের অর্থ হল ব্যবহারকারীদের ডিভাইসে থাকা AI টাস্ক রেসপন্সিভিটি দ্রুত করার জন্য খুব বেশি RAM-এর প্রয়োজন হয় না।
অ্যাপলের এই পদ্ধতির ফলে নতুন এবং পুরনো আইফোনগুলিতে সরাসরি ডিভাইসে কৃত্রিম এআই বৈশিষ্ট্যগুলি ব্যবহার করা সম্ভব হতে পারে। এটি গুরুত্বপূর্ণ কারণ অ্যাপলের আইফোনগুলিতে সাধারণত উচ্চমানের অ্যান্ড্রয়েড ফোনের তুলনায় কম র্যাম থাকে। উদাহরণস্বরূপ, আইফোন ১১ সিরিজে মাত্র ৪ জিবি র্যাম রয়েছে, যেখানে এন্ট্রি-লেভেল আইফোন ১৫-তেও মাত্র ৬ জিবি র্যাম রয়েছে।
LLM সঙ্কুচিত করার জন্য কাজ করা একমাত্র মোবাইল কোম্পানি অ্যাপল নয়। Qualcomm এবং MediaTek-এর সাম্প্রতিক ফ্ল্যাগশিপ চিপগুলি এই মডেলগুলিকে সঙ্কুচিত করার জন্য INT4 নির্ভুলতা সমর্থন করে। যেভাবেই হোক, কোম্পানিগুলি ডিভাইসে AI-এর জন্য সিস্টেমের প্রয়োজনীয়তা কমানোর জন্য নতুন উপায় খুঁজে বের করার চেষ্টা করছে, এমনকি কম দামের ফোনগুলিতেও এই বৈশিষ্ট্যটি অফার করার সুযোগ করে দিচ্ছে।
[বিজ্ঞাপন_২]
উৎস লিঙ্ক
মন্তব্য (0)