Featured ProjectAusgewähltes Projektمشروع مميز

StockBotStockBotStockBot

A fully automated robotic delivery system — request an item through a web interface, and a mobile manipulator retrieves, transports, and delivers it, then returns for the next order.Ein vollautomatisiertes robotisches Liefersystem — fordern Sie einen Artikel über eine Weboberfläche an, und ein mobiler Manipulator holt ihn, transportiert und liefert ihn aus und kehrt dann für die nächste Bestellung zurück.نظام توصيل روبوتي مؤتمت بالكامل — اطلب عنصرًا عبر واجهة ويب، فيقوم مناول متنقل باسترجاعه ونقله وتسليمه، ثم يعود لتنفيذ الطلب التالي.

HardwareHardwareالأجهزة
Kinova Gen3 · Fetch Mobile ManipulatorKinova Gen3 · Fetch Mobile ManipulatorKinova Gen3 · Fetch Mobile Manipulator
SoftwareSoftwareالبرمجيات
Python · OpenCV · ArUcoPython · OpenCV · ArUcoPython · OpenCV · ArUco
ProgramProgrammالبرنامج
Global Innovation Exchange (GIX)Global Innovation Exchange (GIX)Global Innovation Exchange (GIX)
OverviewÜberblickنظرة عامة

Four systems working as one.Vier Systeme, die als eines funktionieren.أربعة أنظمة تعمل كنظام واحد.

StockBot connects storage, transport, decision-making, and the user into a single automated loop — no manual handoff between request and delivery.StockBot verbindet Lagerung, Transport, Entscheidungsfindung und den Nutzer zu einem einzigen automatisierten Kreislauf — ohne manuelle Übergabe zwischen Anfrage und Lieferung.يربط StockBot التخزين والنقل واتخاذ القرار والمستخدم في حلقة آلية واحدة — دون أي تسليم يدوي بين الطلب والتوصيل.

01 · Storage01 · Lagerung01 · التخزين

SortingSortierungالفرز

A Kinova Gen3 robotic arm sorts requested items into a tray.Ein Kinova-Gen3-Roboterarm sortiert angeforderte Artikel in ein Tablett.يقوم ذراع روبوتي من طراز Kinova Gen3 بفرز العناصر المطلوبة في صينية.

02 · Transport02 · Transport02 · النقل

DeliveryLieferungالتوصيل

A Fetch Mobile Manipulator picks up the tray, delivers it to the user, then returns it to storage.Ein Fetch Mobile Manipulator nimmt das Tablett auf, liefert es an den Nutzer und bringt es anschließend zurück ins Lager.يلتقط Fetch Mobile Manipulator الصينية، ويوصلها إلى المستخدم، ثم يعيدها إلى التخزين.

03 · Backend03 · Backend03 · النظام الخلفي

Decision EngineEntscheidungs-Engineمحرك القرار

Manages the distributed system and plans the action pipeline end to end.Verwaltet das verteilte System und plant die Aktionspipeline von Anfang bis Ende.يدير النظام الموزع ويخطط لسلسلة الإجراءات من البداية إلى النهاية.

04 · Interaction04 · Interaktion04 · التفاعل

Web InterfacesWeboberflächenواجهات الويب

Connects users, the backend system, and the robots in one experience.Verbindet Nutzer, das Backend-System und die Roboter in einer Erfahrung.يربط المستخدمين والنظام الخلفي والروبوتات في تجربة واحدة.

My ContributionsMeine Beiträgeمساهماتي

Where I focused.Worauf ich mich konzentriert habe.أين ركزت جهودي.

01

Kinova Gen3 Robotic Arm GraspingKinova Gen3 Roboterarm beim Greifenإمساك ذراع Kinova Gen3 الروبوتي

Developed pick-and-place code in Python and OpenCV, running on the Kinova Gen3 to detect objects via Entwickelte Pick-and-Place-Code in Python und OpenCV, der auf dem Kinova Gen3 läuft, um Objekte mittels طوّر كودًا للالتقاط والوضع بلغة Python وOpenCV، يعمل على Kinova Gen3 لاكتشاف الأجسام باستخدام ArUco fiducial markersArUco-Fiducial-Markernعلامات ArUco المرجعية, then tested and debugged with the physical arm. zu erkennen, und testete sowie debuggte ihn anschließend mit dem physischen Arm.، ثم اختبره ونقّحه باستخدام الذراع الفعلي.

02

Fetch Mobile Manipulator GraspingFetch Mobile Manipulator beim Greifenإمساك Fetch Mobile Manipulator

Built the environment map for the Fetch Mobile Manipulator and supported teammates during navigation testing.Erstellte die Umgebungskarte für den Fetch Mobile Manipulator und unterstützte Teamkollegen bei den Navigationstests.أنشأ خريطة البيئة الخاصة بـ Fetch Mobile Manipulator ودعم زملاء الفريق أثناء اختبارات الملاحة.

03

User ResearchNutzerforschungأبحاث المستخدمين

Ran competitive analysis on similar systems already in market and worked with the team to sharpen StockBot's value proposition.Führte eine Wettbewerbsanalyse ähnlicher, bereits am Markt verfügbarer Systeme durch und arbeitete mit dem Team daran, StockBots Wertversprechen zu schärfen.أجرى تحليلاً تنافسياً لأنظمة مماثلة موجودة بالفعل في السوق، وعمل مع الفريق على صقل عرض القيمة الخاص بـ StockBot.

04

Testing PlanTestplanخطة الاختبار

Scheduled usability testing, ran surveys with teammates, and folded feedback back into the design.Plante Usability-Tests, führte Umfragen mit Teamkollegen durch und integrierte das Feedback zurück in das Design.خطط لاختبارات قابلية الاستخدام، وأجرى استبيانات مع زملاء الفريق، وأعاد دمج الملاحظات في التصميم.

ProcessProzessالعملية

From research to a working system.Von der Recherche zu einem funktionierenden System.من البحث إلى نظام عملي.

 
SecondarySekundärثانوي
ResearchRechercheالبحث
Competitive analysis, technology and business research.Wettbewerbsanalyse, Technologie- und Marktforschung.تحليل تنافسي، وأبحاث تقنية وتجارية.
InterviewsInterviewsمقابلات
SurveysUmfragenاستبيانات
PrimaryPrimärأساسي
ResearchRechercheالبحث
 
 
DesignDesignالتصميم
Define system requirements and features.Definiert Systemanforderungen und Funktionen.تحديد متطلبات النظام وميزاته.
User Evals (2x)Nutzerbewertungen (2x)تقييمات المستخدمين (مرتان)
FeedbackFeedbackالملاحظات
UserNutzerالمستخدم
TestingTestاختبار
 
 
FunctionalFunktionalوظيفي
TestingTestاختبار
System validation.Systemvalidierung.التحقق من صحة النظام.
Approach to DesignDesign-Ansatzنهج التصميم

The core equation.Die Kerngleichung.المعادلة الأساسية.

Automation equals Mobility plus Accuracy, illustrated with the Fetch Mobile Manipulator and Kinova Gen3 arm.
Automation = Automatisierung = الأتمتة = MobilityMobilitätالتنقل + Accuracy + Genauigkeit + الدقة
Fetch Mobile Manipulator · navigation & transportFetch Mobile Manipulator · Navigation & TransportFetch Mobile Manipulator · الملاحة والنقل
Kinova Gen3 · precision graspingKinova Gen3 · präzises GreifenKinova Gen3 · إمساك دقيق
User Experience FlowNutzererlebnis-Ablaufتدفق تجربة المستخدم

A closed loop between storage and user.Ein geschlossener Kreislauf zwischen Lager und Nutzer.حلقة مغلقة بين التخزين والمستخدم.

StorageLagerالتخزين OrderBestellungالطلب DecisionEntscheidungالقرار KittingZusammenstellungالتجميع TransportTransportالنقل ReceivingEmpfangالاستلام UserNutzerالمستخدم
then, check-in & returndann: Check-in & Rückgabeثم: Check-in والإرجاع
UserNutzerالمستخدم Check-in OrderCheck-in-Bestellungطلب Check-in DecisionEntscheidungالقرار TransportTransportالنقل SortSortierenالفرز StoreEinlagernتخزين StorageLagerالتخزين
Prototype IterationPrototyp-Iterationتكرار النموذج الأولي

Three passes, from proof of concept to reliable navigation.Drei Durchläufe, vom Proof of Concept bis zur zuverlässigen Navigation.ثلاث محاولات، من إثبات المفهوم إلى الملاحة الموثوقة.

Prototype iteration diagram across three versions: WebApp, Decision Engine, Kinova arm, Fetch robot, and delivery tray, from V1 through V3.
Version 1Version 1الإصدار 1

Proof of conceptProof of Conceptإثبات المفهوم

WebAppWebAppWebAppCheck-in / check-out item functionalityCheck-in-/Check-out-Funktion für Artikelوظيفة Check-in / Check-out للعنصر
Decision EngineEntscheidungs-Engineمحرك القرارMultiple robots, async message routingMehrere Roboter, asynchrones Message-Routingروبوتات متعددة، وتوجيه رسائل غير متزامن
KinovaKinovaKinovaOpen-loop control on the armOpen-Loop-Steuerung des Armsتحكم من نوع Open-Loop في الذراع
FetchFetchFetchNavigation stackNavigations-StackNavigation Stack
Version 2Version 2الإصدار 2

Closing the perception loopSchließen der Wahrnehmungsschleifeإغلاق حلقة الإدراك

WebAppWebAppWebAppImproved GUIVerbesserte GUIواجهة GUI محسّنة
KinovaKinovaKinovaOpenCV + ArUco marker detectionOpenCV + ArUco-MarkererkennungOpenCV + اكتشاف علامات ArUco
FetchFetchFetchTracking camera (Intel RealSense T265)Tracking-Kamera (Intel RealSense T265)كاميرا تتبع (Intel RealSense T265)
Version 3 · RefinedVersion 3 · Verfeinertالإصدار 3 · مُحسَّن

Reliable recalibrationZuverlässige Neukalibrierungإعادة معايرة موثوقة

KinovaKinovaKinovaArUco markersArUco-Markerعلامات ArUco
FetchFetchFetchArUco markers for navigation recalibrationArUco-Marker zur Neukalibrierung der Navigationعلامات ArUco لإعادة معايرة الملاحة