Oscar Ernesto Perez‑Cham

Open access. One citation.

heterogeneous computing; meta-heuristic; video tracking; system-on-chip; field-programmable gate array; evolutionary computing; swarm intelligence; embedded system design; graphics processing unit; computer vision

Video tracking involves detecting previously designated objects of interest within a sequence of image frames. It can be applied in robotics, unmanned vehicles, and automation, among other fields of interest. Video tracking is still regarded as an open problem due to a number of obstacles that still need to be overcome, including the need for high precision and real‑time results, as well as portability and low‑power demands. This work presents the design, implementation and assessment of a low‑power embedded system based on an SoC‑FPGA platform and the honeybee search algorithm (HSA) for real‑time video tracking. HSA is a meta‑heuristic that combines evolutionary computing and swarm intelligence techniques. Our findings demonstrated that the combination of SoC‑FPGA and HSA reduced the consumption of computational resources, allowing real‑time multiprocessing without a reduction in precision, and with the advantage of lower power consumption, which enabled portability. A starker difference was observed when measuring the power consumption. The proposed SoC‑FPGA system consumed about 5 Watts, whereas the CPU‑GPU system required more than 200 Watts. A general recommendation obtained from this research is to use SoC‑FPGA over CPU‑GPU to work with meta‑heuristics in computer vision applications when an embedded solution is required.

Request access. Four citations.

swarm intelligence; evolutionary algorithms; meta-heuristic; video tracking; three-dimensional scene reconstruction

Honeybees, as social insects, follow a modular strategy applied to dynamic environments to provide reasonable opportunities for partial solutions to evolve in the form of interacting coadapted subcomponents. The honeybee search algorithm combines concepts from the areas of evolutionary algorithms and swarm intelligence to solve optimization problems. This algorithm is mainly based on the foraging behavior of honeybees and the search power of evolution strategies, a type of evolutionary algorithm used for real-valued problems. This paper shows the integration between an automaton and the honeybee search algorithm to formalize the algorithm mathematically. The combination mentioned above is tested here with the innovative applications of three-dimensional scene reconstruction and video tracking. The experimental results for both applications show evidence that the honeybee search algorithm can be used to improve time costs in challenging computer vision tasks through controlled experiments and objective comparisons. Also, the validation of results demonstrates that the measured accuracy ranks top-tier among other algorithms in the ALOV++ benchmark.

Request access.

source code metrics; metrics extraction; software metrics tool

Source code metrics extraction is a complex task that has to be done automatically given the current size of software. They are extracted using software metric tools and more generic extraction mechanisms. These mechanisms usually work by querying a source code representation model. These models are static, and the information that can be obtained from them is limited. In this work an extraction methodology is presented in which the model is created every time certain information is needed. This is accomplished by querying the language context-free grammar, and from the information obtained by the query, a dynamic model is created. Current extraction mechanisms work by querying a model, while the proposed methodology queries the grammar directly, thus the model is created afterwards from the query result, and contains all the needed information. A metrics tool is created based on the proposed methodology, and in order to prove the correct functioning of extracting the desired information from the source code, not as already predefined as in current tools, several metrics are extracted as defined by four existing metrics tools. Querying the language grammar allows access to all available data in the source code, regardless of the programming language and paradigm.

Open access. Twelve citations.

object tracking; honeybee search algorithm; swarm intelligence; parallel computing; graphics processing unit

Object tracking refers to the relocation of specific objects in consecutive frames of a video sequence. Presently, this visual task is still considered an open research issue, and the computer science community attempted solutions from the standpoint of methodologies, algorithms, criteria, benchmarks, and so on. This article introduces a GPU-parallelized swarm algorithm, called the Honeybee Search Algorithm (HSA), which is a hybrid algorithm combining swarm intelligence and evolutionary algorithm principles, and was previously designed for three-dimensional reconstruction. This heuristic inspired by the search for food of honeybees, and here adapted to the problem of object tracking using GPU parallel computing, is extended from the original proposal of HSA towards video processing. In this work, the normalized cross-correlation (NCC) criteria is used as the fitness function. Experiments using 314 video sequences of the ALOV benchmark provides evidence about the quality regarding tracking accuracy and processing time. Also, according to these experiments, the proposed methodology is robust to high levels of Gaussian noise added to the image frames, and this confirms that the accuracy of the original NCC is preserved with the advantage of acceleration, offering the possibility of accelerating latest trackers using this methodology.

Request access. One citation

field programmable gate arrays; hardware description languages; object-oriented programming; software metrics; source code (software); very high speed integrated circuits

Current research on source code metrics is heavily focused on measuring quality attributes for object oriented source code, for common languages such as C++, Java and C#. However, source code metrics are good predictors and evaluators of software systems characteristics, thereby researchers have found other uses and applications for other computing related areas. In this research, source code metrics for Very High Speed Integrated Circuit Hardware Description Language (VHDL) are proposed and used to predict the synthesized product properties for Field Programmable Gate Array (FPGA) based digital systems. Code written in VHDL is used to generate a configuration file for a specific FPGA in a process named design synthesis. Physical properties of the FPGA/VHDL based synthesized product are measured for performance evaluation in a testing process, but it can be a time consuming process. In this paper we aim to correlate source code metrics with the FPGA/VHDL based synthesized product properties, in order to determine if source code metrics can be used as predictors of certain synthesized product properties. A case of study correlating three source code metrics with three synthesized product properties is presented. The results of the study provide evidence that source code metrics can be used as predictors of FPGA/VHDL based synthesized product properties.

This research project studies how to design and evaluate a real-time video tracking HSA-based multiprocessing system that uses a SoC-FPGA platform. This task is performed with the intention of answering if a given video tracker can be accelerated while maintaining its precision using that system. However other important variables are observed such as power consumption and area. The presented study follows a general research methodology which is divided in three main phases: research definition, model design, and model evaluation.

Video tracking is one of the many problems in the field of Computer Vision; it is a basic component for many and more complex vision systems that are useful for several real world applications in the areas of medical research, surveillance, robotics, tele-collaboration, etc. A video tracking algorithm tries to follow an object of interest trough the frames of a given video sequence. This thesis studies the effects of performing video tracking aided by the Honeybee Search Algorithm, a Swarm Intelligence (SI) algorithm that is inspired in the foraging behavior of honeybees; and Graphics Processing Units (GPUs), which are an example of a Parallel Computing technology designed specifically for graphic rendering operations. The results prove that it is possible to parallelize the Honeybee Search Algorithm and use it for video tracking. In comparison with a parallel version of the same video tracking algorithm, the addition of the Honeybee Search Algorithm helps to provide a more stable time to deliver results, making them less dependent on the size of the specific video, and without causing notable negative effects in the accuracy of the results.

operador Sobel; FPGA; detección de bordes

En este artículo se presenta la implementación en FPGA y el análisis del funcionamiento del operador Sobel para la detección de bordes en imágenes. Originalmente este operador es una operación matemática de convolución entre una señal y un filtro, que nos permite ver la variación de los pixeles en una imagen. Se concluyó que se puede simplificar el algoritmo de dicho operador mediante operaciones básicas como sumas y restas. Se obtuvo como resultado un sistema que logra procesar los datos de una imagen por medio de la FPGA.

SoC-FPGA; visión artificial; inteligencia de enjambre

El seguimiento de objetos en video o video tracking es una técnica de visión computacional que permite identificar de forma automática el movimiento en video de un objeto cualquiera. Una manera de lograr esto es implementando algoritmos bioinspirados en sistemas de hardware de cómputo heterogéneo. Dicha técnica es especialmente útil en el desarrollo de aplicaciones portátiles de procesamiento de video que, a fin de lograr una alta precisión en dicha tarea, requieren de un alto desempeño computacional en conjunto con un bajo consumo de energía. En este documento se describen algunas consideraciones importantes para mejorar el rendimiento de un futuro sistema de seguimiento de video implementado sobre estas tecnologías.

WSN, ZigBee, co-design, componentes virtuales, XML

Ante la reciente necesidad de automatizar el monitoreo de entornos tanto internos como externos, surge la necesidad de encontrar tecnologías que lo permitan. Una de ellas es implementar una red inalámbrica de sensores (WSN, Wireless Sensor Networks) en la que se distribuyen sistemas embebidos autónomos de bajo costo conocidos como Motes. Estos Motes contienen en su interior, Software embebido personalizado y por lo general, se emplean dos o más microcontroladores en su desarrollo, pero sin seguir una metodología de desarrollo además de ser difíciles de programar. Lo anterior, incrementa el costo de las WSN, su consumo de energía y tiempos de desarrollo. En este artículo se presenta una metodología genérica basada en componentes virtuales de Hardware para implementar una WSN de forma ágil y a bajo costo. Dicha metodología facilita el trabajo no solo del programador a nivel de Hardware sino del programador a nivel de aplicaciones.

HSA; portabilidad; seguimiento de objetos en video

Este articulo propone la implementación de una interfaz amigable y portable para un sistema de seguimiento de objetos en video. Dicha interfaz permite demostrar la efectividad del algoritmo de una manera visual y comprensible para investigadores de áreas ajenas a la visión computacional e inteligencia artificial. La solución busca resolver el problema de seguimiento de objetos en video, que consiste en estimar en el tiempo y espacio la ubicación de un objeto móvil capturado por una cámara. Para lograr el objetivo se implementa el algoritmo de búsqueda de abejas, una metaheurística inspirada en la manera en la que las abejas buscan comida en su entorno lo que permite un uso eficiente de los recursos de cómputo.

WSN; ZigBee; Mote; XML; GUI; componente virtual

Actualmente, la implementación de redes de sensores inalámbricas (WSN, Wireless Sensor Networks) se realiza por medio de software embebido personalizado para los diferentes nodos que las conforman. Comúnmente se emplean dos o más microcontroladores (MCU) para el desarrollo de cada nodo sensor o Mote. Un MCU se utiliza como radio (dedicado al protocolo inalámbrico), los demás MCU se usan para la adquisición y acondicionamiento de las señales obtenidas por los sensores. Lo anterior, incrementa el costo de las WSN, su consumo de energía y los tiempos de desarrollo, causando problemas de mantenimiento y escalabilidad. En este artículo se presenta una plataforma de HW/SW basada en el Core XBee PRO S2B para implementar de forma ágil una WSN para monitoreo ambiental de bajo costo con topología de estrella basada en el protocolo ZigBee. Dicha plataforma tiene la ventaja de facilitar la configuración de sensores analógicos o digitales por medio de componentes virtuales, además de generar el software embebido para los diferentes Motes (Router o End-Devices) de la WSN. Los componentes virtuales son interfaces gráficas de usuario (GUI, Graphic User Interface) que se desarrollan mediante el lenguaje extendido de marcado (XML, Extended Markup Language) y consideran pines específicos para conectar diferentes sensores en nuestro prototipo de hardware que se indican mediante un pin-map. La comparación en cuanto a costo, consumo energético, mantenibilidad y escalabilidad con respecto a otras plataformas del estado del arte, confirma que nuestra propuesta es una mejor opción para implementar este tipo de WSN.

SoC-FPGA; HSA; embebido; evolutivo

El presente trabajo describe el diseño, implementación y evaluación de un sistema embebido evolutivo para realizar el seguimiento de objetos en video, basado en una plataforma SoC-FPGA y una metaheurística llamada HSA, que combina los enfoques de Cómputo Evolutivo e Inteligencia de Enjambre. Se emplea la medida de semejanza de ZNCC como función objetivo del HSA. Los resultados muestran que la combinación de SoC-FPGA, HSA y ZNCC reducen el uso de recursos computacionales y consumo de energía, permitiendo el multiprocesamiento en tiempo real sin reducción de la exactitud. El sistema embebido evolutivo que se propone para el seguimiento de objetos en video tiene potenciales aplicaciones en diferentes áreas como son: la robótica, tecnología para vehículos no tripulados, tecnología para drones, automatización de procesos mediante visión artificial, entre otros.

seguimiento de objetos en video; inteligencia de enjambre; arreglo de compuertas programables en campo

En este artículo se revisan varias arquitecturas computacionales para determinar cuál es la más apropiada para acelerar el Algoritmo de Búsqueda de las Abejas usado para el seguimiento de objetos en video. Se llega a la conclusión de que es necesario un sistema heterogéneo que contenga un CPU y una FPGA (Arreglo de Compuertas Programables en Campo). Como conclusión se propone un sistema heterogéneo basado en una plataforma SoC-FPGA.

Esta investigación es parte del proyecto “Implementación del uso de energía solar automatizada por dispositivos electrónicos aplicada al proceso de producción sustentable del mezcal”, patrocinado por CONACyT. El proyecto se basa en el desarrollo de una herramienta que permita predecir la configuración ideal de parámetros de un colector solar mediante el diseño y análisis de experimentos utilizando los datos de la herramienta. Además el proyecto resultará útil para estimar la eficiencia del trabajo de un colector solar ya construido al reproducir los parámetros del colector en la interfaz. Se diseñó una interfaz en LabVIEW que muestra gráficamente y en tiempo real la medición de un piranómetro, instrumento con la función de medir la radiación solar. El proyecto se enfoca a concentradores solares del tipo cilíndrico parabólico. En la interfaz se tienen varias opciones de materiales con los que el usuario, en una interfaz amigable, puede seleccionar diferentes opciones, comparar los modelos propuestos y obtener el mejor resultado para satisfacer sus necesidades. Con esta interfaz se puede simular el funcionamiento de los concentradores, así como realizar pronósticos para cierto tipo de variables como temperatura de salida. Gracias a que se tienen los datos en tiempo real, la simulación es adaptable a cualquier medio y se puede probar en distintos lugares. Esta aplicación entrega un reporte cada cierto intervalo de tiempo con los datos del modelo, para después utilizarlos para los fines que se deseen como realizar análisis de datos, gráficas, tablas etcétera.

There is an increasing demand for computer vision systems that provide high precision, real‑time processing, portability, and low‑power consumption for applications in fields such as robotics, automation, and surveillance, among other areas of study. One important task in these areas is object tracking. In this article, we describe the methods and the dataset used to evaluate heterogeneous computing systems that implement the Honeybee Search Algorithm (HSA) to perform object tracking. HSA is a meta‑heuristic that combines techniques from evolutionary computing and swarm intelligence. The data analysis revealed that the combination of SoC‑FPGA and HSA enables real‑time multiprocessing, lower power consumption, and portability without sacrificing precision. It also shows that SoC‑FPGA devices outperform CPU‑GPU devices in meta‑heuristic focused implementations for computer vision applications. We hope that providing access to the dataset might increase research on the combination of SoC‑FPGA platforms and meta‑heuristics which has not been explored sufficiently. The dataset availability can serve to replicate our experiments and to contrast new proposed approaches with our results.