Las evaluaciones de gran escala se utilizan con muy diversos propósitos, entre los que destacan dos: exámenes de ingreso y de diagnóstico. Estos exámenes, por lo general, utilizan procedimientos estandarizados y automatizados que sean válidos y confiables, para lo cual se basan en el modelo de preguntas de opción múltiple y en la Teoría Clásica de la Medida. A pesar de su uso intensivo en las instituciones educativas, este modelo de examen tiene serias limitaciones, tales como: una gran complejidad para elaborar reactivos de calidad; limitaciones para valorar conocimientos complejos; distancia pedagógica con la forma en que se enseña y se evalúa en el salón de clases; sesgos ocasionados por la adivinación; y, desgaste rápido de los reactivos de los exámenes. En este trabajo se hacen dos planteamientos para superar las limitaciones de los exámenes tradicionales que se utilizan para el ingreso a las instituciones educativas: 1) evaluar a gran escala las competencias escolares alineadas al currículo, que logran los estudiantes con base en preguntas de respuesta construida (o abierta) o semi construida, que se puedan administrar y calificar con el uso de computadoras, 2) construir exámenes equivalentes, conceptual y métricamente, con base en un generador automático de ítems, y 3) utilizar los resultados de los exámenes de ingreso como diagnóstico académico. En este trabajo se presenta el desarrollo y resultados del diseño conceptual de las competencias académicas a evaluar, del editor y generador de reactivos, así como de la interfaz electrónica que administra y califica los diversos exámenes que permite el sistema. Se ofrecen ejemplos de los distintos tipos de ítems que se pueden diseñar, generar, administrar y calificar de manera automática, y se ofrecen ejemplos de su capacidad diagnóstica.