Хиймэл оюунд суурилсан онлайн шалгалтын хяналтын систем

Abstract

Сүүлийн жилүүдэд онлайн шалгалтын хэрэглээ нэмэгдэхийн зэрэгцээ үнэлгээний шударга байдлыг хангах хэрэгцээ улам бодит шаардлага болсон билээ. Энэхүү дипломын төслийн зорилго нь шалгуулагчийг танин баталгаажуулах, шалгалтын явц дахь зөрчилтэй байж болзошгүй үйлдлийг хиймэл оюуны аргаар илрүүлэх, эцсийн шийдвэрийг хүний нягтлалд тулгуурлуулсан, олон төрлийн өгөгдлийг нэгтгэсэн онлайн шалгалтын хяналтын системийн загвар боловсруулж, туршилтын түвшинд хэрэгжүүлэхэд оршино.

Судалгаанд ажиглалт, баримт бичгийн шинжилгээ, прототайп боловсруулалт, туршилт зэрэг арга зүйг хослуулан хэрэглэсэн бөгөөд системийг Next.js (frontend), FastAPI (backend), SQLite (database), WebSocket (хоёр чигийн харилцаа холбоо) дээр суурилуулж, MediaPipe (нүүр илрүүлэлт), YOLOv8 (объект таних), Silero VAD ба WavLM (аудио шинжилгээ) зэрэг хиймэл оюуны загваруудыг нэгтгэн ажиллуулсан. Систем нь 8 төрлийн зөрчил (нүүр алга болох, олон хүн илрэх, харц өөр тийш чиглэх, хориглосон объект, чанга яриа, шивнэх, цонх солих, хуулах) илрүүлэх боломжтой.

Бодит орчинд 62 удаагийн туршилт явуулсан үр дүнд систем нийт 57 тохиолдлыг ~92% зөв илрүүлсэн. Хувь хүний компьютер харааны ~95% болон цонх солих 100% илрүүлэлт хамгийн өндөр гүйцэтгэлтэй, харин аудио ангилагч WavLM нь сургалтын өгөгдөл болон production орчны domain shift-ийн улмаас бодит хэрэглээнд ажиллахгүй байсныг тогтоож, VAD + RMS heuristic дээр суурилсан hybrid аргаар шийдвэрлэв. Судалгааны үр дүнд хиймэл оюун дангаараа эцсийн шийдвэр гаргахгүй, харин эрсдэлийг тэмдэглэн багшид мэдэгдэх, эцсийн шийдвэрийг хүн гаргах загвар оновчтой болохыг харуулав.