অনেকেই মনে করেন ভোটাধিকার সর্বজনীন হওয়া উচিত নয়। তাদের যুক্তি নিম্নরূপ:

১. ভোটাধিকার জন্মগত নয় কোনো মানুষই ভোটাধিকার নিয়ে জন্মগ্রহণ করে না। এটা মূলত রাষ্ট্রপ্রদত্ত অধিকার।

২. শিক্ষাগত যোগ্যতা: জন স্টুয়ার্ট মিল বলেন, সর্বজনীন ভোটাধিকারের পূর্বে সর্বজনীন শিক্ষা প্রয়োজন। কারণ শিক্ষা না থাকলে জনগণ রাষ্ট্রের জটিল সমস্যা উপলব্ধি করতে পারবে না। এজন্য শিক্ষা ভোটাধিকারের পূর্বশর্ত।

৩. ব্যক্তিগত সম্পত্তি: অনেকেই ভোটাধিকারের যোগ্যতা হিসেবে ব্যক্তিগত সম্পত্তির উল্লেখ করেছেন। যাদের সম্পত্তি নেই তারা রাষ্ট্রকে Tax দেয় না। সুতরাং, তাদের ভোটাধিকার থাকা সমীচীন নয়। অর্থাৎ কর প্রদানের দায়িত্ব পালন না করলে সরকারি কার্যে অংশগ্রহণেরও অধিকার থাকা সঙ্গত নয়।

৪. মূর্খদের শাসন প্রতিষ্ঠার সম্ভাবনা সর্বজনীন ভোটাধিকার নীতি গ্রহণ করা হলে মূর্খ ব্যক্তিগণ প্রার্থীদের যোগ্যতার পরিমাপ ছাড়াই আবেগের তাড়নায় মূর্খ অযোগ্য ব্যক্তিদের নির্বাচিত করবে। ফলে মূর্খদের শাসন প্রতিষ্ঠা পাবে।

৫. প্রগতির পরিপন্থী: সর্বজনীন প্রাপ্তবয়স্কদের ভোটাধিকারের বিরুদ্ধবাদীরা মনে করেন যে, এ নীতি প্রগতি ও উন্নয়নের পরিপন্থী। হেনরি মেইন, লেকী প্রমুখ এরূপ মত পোষণ করেছেন।

৬. অস্থিতিশীলতা সৃষ্টি সর্বস্তরের মানুষকে ভোটের অধিকার প্রদান করলে রাষ্ট্রের মধ্যে অস্থিতিশীলতা দেখা দেবে। নির্বাচনকে কেন্দ্র করে সংঘর্ষ, হাঙ্গামার সৃষ্টি হবে; অনেক প্রাণহানি ও সম্পদের ক্ষতি হবে। কিন্তু শর্তসাপেক্ষে ভোটাধিকার প্রদান করলে এরূপ হবে না।

৭. বাস্তব বিচার-বিবেচনা: বাস্তবতার নিরিখে সর্বজনীন ভোটাধিকার গ্রহণ উচিত নয়। কারণ মানুষের মেধা ও জ্ঞানবুদ্ধি, অভিজ্ঞতা, দূরদর্শিতা ইত্যাদি সমান নয়।

উপর্যুক্ত আলোচনার প্রেক্ষিতে প্রতীয়মান হয় যে, গণতান্ত্রিক রাষ্ট্রে অবশ্যই ভোটাধিকার স্বীকৃত। তবে তার সর্বজনীনতা নিয়ে পক্ষে-বিপক্ষে যে যুক্তির অবতারণা করা হয়েছে তার আলোকে বলা যায় গণতান্ত্রিক শাসনকে সুদৃঢ় ভিত্তির উপর প্রতিষ্ঠিত করার জন্য ভোটাধিকার অবশ্যই সর্বজনীন হওয়া উচিত।