গুগলে প্ৰকাশ কৰে VaultGemma: প্ৰশিক্ষণ ডাটাৰ উল্কাপাত ৰোধৰ বাবে গোপনীয়তা-কেন্দ্ৰিক AI মডেল

Google এ VaultGemma নামৰ এটা নতুন AI ভাষা মডেল উন্মুক্ত কৰিছে, যি প্ৰাইভেছী-সুৰক্ষিত আৰু এজন বিলিয়ন পেৰামিটাৰৰ সৈতে গঢ় দিয়া হৈছে। এই মডেলটো differential privacy (DP) ব্যৱহাৰ কৰি প্ৰশিক্ষণ তথ্য গোপন ৰাখিবলৈ প্ৰস্তুত কৰা হৈছে। DeepMindৰ সৈতে সহযোগত নতুন স্কেলিং নিয়ম অনুসৰি উন্নয়ন কৰা VaultGemma, pre-training পৰ্যায়তে calibrated noise যোগ কৰি ডেটা মুখস্থ কৰাৰ পৰা ৰক্ষা কৰে। প্ৰাইভেছী নিশ্চিত কৰাৰ লগে লগে DPৰ ফলত training stability কমি যায়, batch size ডাঙৰ হয়, আৰু computation cost বৃদ্ধি পায়। VaultGemma, HellaSwag আৰু TriviaQAৰ দৰে benchmarksত GPT-2ৰ সৈতে তুলনীয় প্ৰদৰ্শন প্ৰদৰ্শন কৰিছে। Googleয়ে কৈছে যে আংশিক prompts ডেটা প্ৰকাশ নকৰে, যদিও সমষ্টিগত patternবোৰে তথ্য প্ৰদান কৰিব পাৰে, আৰু utility gap বন্ধ কৰিবলৈ অধিক গৱেষণা প্ৰয়োজন।